标题 | 大数据背景下智能交通系统发展综述 |
范文 | 孙马驰 摘 要:21世纪以来,人们在时代进步和发展过程中不知不觉地进入了信息时代。在信息时代,大量数据进入新时代。在数据时代,人们仍然迫切要求提高生产和生活质量。智能交通的发展要满足人们的生活和现实社会的需求,大量的信息和数据在智能交通的建设中也发生了变化和增加了难度。高效便捷的智能交通系统已成为当今大数据时代研究的主题。本文从智能交通方式在大数据时代下发生的变化、大数据的融合给智能交通带来的优劣势以及带来的问题与挑战出发探究大数据背景下智能交通系统的发展。 关键词:智能交通;大数据;应用;发展 一、绪论 大数据时代已经到来。这无疑对城市交通来说,既是机遇又是挑战。作为主要支柱的城市交通在传统的交通方式中具有根本性作用。大数据时代的特点人们用四个V字符开头的英文单词Velocity,Variety,Volume和Value等词汇表达。快速性和可预测性的大数据能使得交通预测的水平提升。未来的交通运行状态、验证可行性的技术方案依靠各个部门提供的有效数据进行精准提炼和建构合适的交通预测模型进行有效模拟。而在实时交通预测领域,车辆碰撞、车辆换道、检测车辆驾驶员行为状态可以依靠大数据的快速信息处理能力进行实时预测。在大数据时代,城市交通和大数据将不可避免地冗合在各个环节。大数据带来的技术突破将城市交通推向一个全面的信息时代。 二、智能交通在大数据时代下发生的变化和带来的优劣势 (一)传统公共交通管理在大数据时代变化的途径 大数据可能会超出管理区域的限制。行政区划的划分是国家划分为不同的行政区域进行有效的规则和管理,同时也带动地方政府追求各自辖区利益最大化,将各类用户可能使用的交通数据整合到系统中,利用整体交通功能建立公交信息综合利用模式。为解决实时交通障碍,需要将大数据集成起来检索、利用和分析来提取相关信息满足交通需求。 名古屋市中心京都地区从1970年到2004年汽车分流比呈现上升趋势,而公共汽车和铁路呈现下降趋势,城市交通模式与公共交通发展方向不一致。 (二)数据迁移问题 近年来,互联网,云计算等技术的快速发展,越来越多的个人和企业选择将大量信息数据业务转移到服务优势和技术优势明显的云计算平台。规模化的数据中心将减少本地硬件的投资和维护成本,还能确保安全性。但是,我们知道Chao Daoo的数据迁移并不那么容易。它必须得到可行、可靠和安全的技术解决方案的支持。一旦出现错误将出现安全危险,进而影响现实社会和实体经济。此外,为了实现大规模数据迁移任务,必须保证传输技术支持大带宽的有效空间。带宽技术的发展目前虽然发展迅速,但随着大数据时代的到来,其发展速度已经与大量海域信息传输的要求步调落后,以至于其可能成为数据迁移的障碍。 (三)大数据下智能交通的劣势 大数据的扩张加速了信息传递和共享的速度。大数据管理系统使可以使用拥有交通数据的交通部门、交警部门的相关数据。然而系统的计数功能无法被除人以外的任何其他功能检索到以静态格式存储的计算交通数据。用智能手机、传感器和机载车辆不断收集、交流和处理移动数据,例如交通状况和天气状况,这是交通数据的目标。 三、智能交通在大数据时代下产生的问题与挑战 (一)数据综合体 目前,像浮动车数据、智能交通卡之类的信息数据也已经广泛分布在信息处理与记录领域。例如城市中有20000辆车辆,由20000车辆轨迹产生的实时传输记录能够生成的平均数据长度为50B。这样每天就能生成4.75 GB的数据。如果加入视频、图像、音频,那么整个数据系统将具有更复杂、经历動态和不确定的变化的相互关联关系,从而产生错综复杂并且难以处理的数据关联模型。 (二)实时数据接收 交通领域在现代智能交通的发展过程中呈现出动态多方向发展。在网上大量的数据被接受、记录和处理,这是现代智能交通的发展需要。例如在交通领域,出租车在行驶以及停放位置的轨迹数据记录、长途客车驾驶员在驾驶时的轨迹数据记录、公务车辆外出办理业务或者出差时的驾驶轨迹记录以及出租车在与乘客进行交易时的交易信息数据记录也需要大量的实时接收、记录和处理。 (三)海量数据的计算 大数据的计算和处理要求繁琐且对数据要求严格,传统的计算和处理方法已经不能满足。密集计算和新的计算模型能打破传统的思维模式保证大数据的计算和处理。大数据时代的数据计算需要自下而上的以数据为中心的计算模型代替自顶向下的集中式模型。该模型在技术上的支持离不开数据计算效率的评估方法和数据计算复杂度的基础研究理论。 (四)大数据带给城市交通环境的挑战 大数据环境给城市交通带来信息密度较低,存在一定的不确定性的变化;单一的数据源不能完整的描述图像,只能从某一角度对图像的某一个特征进行描述;来源不一样的数据源因参考系统的选取不同而得到不一样的错误分布结论;关注更多地数据之间的联系分析以发现新的知识和法律。因此,以上海为例,城市扩张给交通带来了新的挑战:“上海社会经济发展与城市交通之间的关系进行研究”。2030年国内生产总值总量达6720亿元,比2010年多3倍;2020年职位总数规模达到1430-1550万人,比目前高出26%;常住人口:2020年为2800万,2030年为3000万;流动人口2020年将达到250万,比目前多26万。中心城市规模仍在扩大:“十一五”期间,中心城区建设量将增加2000万平方米每年,建筑物开发量将接近4.5亿平方米。常住人口表现出向中心地区蔓延的趋势。从2009年开始,计划发展可容纳300万人的面积达70平方公里的2批38个大型住宅社区。 四、智能交通海量数据平台 (一)数据密集型战略控制分析的技术路径 从本质上讲,大数据背景下的流量分析技术是一种信息处理过程,它将数据组织成信息,从信息中提取特征,从特征变化中找出模式,并跟踪对策措施。系统状态分析和交通行为分析是模型处理问题的两个基本的部分。(图1:战略监管的技术应用框架) (二)系统架构 现代智能交通离不开大数据,结合典型的云计算平台架构的基本结构,智能交通平台海量数据架构可以分为三个主要部分:数据采集层、数据结构和数据服务层。数据采集层是收集所有需要处理的数据信息,智能交通系统通过数据传输到交通云平台来获得数据,根据应用需求不同在云平台将其分门别类并存储在相对应的内存数据库内存当中,根据处理后的因地制宜的需求选择不同的数据体系结构层进行相应的处理,最后为数据服务层提供实时、快捷、高效的服务。 (三)迁移数据计划 为了让数据的统计分析更加准确,我们必须允许存储在现有智能交通数据的关联数据库中的历史数据迁移到大数据平台。经过反复实验,由于oracle可以直接使用开源工具Sqoop数据传输数据到HDFS中,因而最好的解决方案是打开数据库数据浏览端口,只是它的传输速度是在网络带宽的限制下运行处理的。该方案在实际实验过程中安全性能有保障,在测试中一直在维护其安全性。Sqoop是在Hadoop和关系数据库之间传输数据的工具。它可以将数据从关系数据库和Hadoop的HDFS和关系数据库之间来回传输导入转移到数据库中。 (四)存储数据计划 包括海量数据存储功能和大量的数据计算功能的系统架构必须保证数据存储和数据计算是不可分割的,这是任何信息数据计算系统的共性。为了确保该函数的实现,这要求通信客户端可以确保数据源层中收集的数据不会丢失,并且可以不丢失地发送到云平台。在传输过程中,系统的存储功能需要保持所有数据一致性并在保存中长久不失真。在正常情况下,上传文件的请求信号被系统平台接收。这样,为了让数据持久性存储,云平台上的Hadoop集群分配检验开始的工作任务,然后将需要被处理的数据文件块上传到HDFS中的HBase分布式数据库。多个任务被上传的时候,JobTracker就会分配任务并在架构层配置各种工具来保证存储的完整性。存储模块在此时开启数据处理,并相应地分析任务的来源及可靠性。 (五)数据仓库系统 数据仓库系统是在构建智能交通大数据系统平台的过程中的重要组成部分。在现有数据仓库系统的基础上对数据仓库系统审查智能交通数据,以下功能是必备的:(1)高度的可扩展性:面对现代交通发展数据的大爆炸趋势,数据库不再依靠一台或多台服务器进行扩展,以满足数据量的指数增长。我们必须能够轻松实现高扩展性的线路目标。(2)高度容错性:现代智能交通大数据系统的数据来源多且杂,应该高度允许出现差错。容错要求在系统查询执行中在某一节点运行中出现故障时,不需要重新运行查询这一步骤,只有这样才能满足现代智能交通数据的实时交通信息查询快捷性的要求。因此,考虑使用软件在大型集群环境中实现容错,而不是依赖于系统硬件,这一点很重要。 (六)处理数据计划 数据处理以满足不同的需求,这是现代智能交通领域大数据系统平台的心脏。一般系统的数据处理应用不同应用程序的需求是基于统计应用程序实时分离的基础之上的。该模块采用同步计算和增量计算方法,保证系统数据的完整、精确和实时处理。这个过程中使用的关键技术包括: (1)轨迹数据快速检索技术:该技术的核心是原始数据被SeqIlence Fries二進制文件替换,并将键值存储设计为一个记录。此外,以前的关系数据库查找来实现快速的统计功能被HDF分布式文件系统和MapReduce分布式计算编程所代替。该技术的数据压缩率可达40%,运行速度可提高50倍以上。因此,可以实现固化数据的快速检索和统计分析。 (2)分布式轨迹聚类技术:技术采用MapReduce分布式计算架构来处理分布式轨迹,实现K.Means聚类算法。通常,它将指定起点位置,然后可以使用正常运行路径的聚类分析来快速检测异常值以实现分布式轨迹的正则化。这种技术通常可以快速地比较常规路线或指定路线,以及异常分析的比较。 (3)地图匹配技术:该技术通过对来源于传感器的观测数据进行分析来确定传感器的载体位置。在智能交通领域,通用传感器其实就是我们常说的GPS接收机。这是因为GPS接收机能够向我们提供诸如经纬度、坐标等地理位置信息,并且在许多领域已经得到应用。大多数车载GPS接收机的实际意义在于保证车辆在正确道路行驶。因此,它在车辆实时导航系统中发挥着至关重要的作用。 五、结论 无论是今天还是在未来,大数据在智能交通中的应用离不开现在已经构建了海量数据平台的云计算等大数据处理技术和平台进行数据的收集、接受和处理等。只有充分利用大数据平台才能防止海量数据的突现。在大数据时代下开发利用现代交通,会让智能交通更加快速地发展,也将为公众在创造更加美好的生活的途中提供更加便捷、高效、绿色、安全的出行环境。因此,从系统架构的确定、迁移数据计划的确定、数据计划的存储以及确定数据处理计划入手来做好海量数据平台建设,并保证其能够在今天在未来的可持续发展,来建立一个智能、高效、便捷的智能交通系统。 参考文献: [1]邱卫云.智能交通大数据分析云平台技术[J].中国交通信息化,2013. [2]姬倩倩,温浩宇.公共交通大数据平台架构研究[J].电子科技,2015. [3]韩欢.基于大数据的智能交通运输平台的研究[D].成都理工大学,2014. |
随便看 |
|
科学优质学术资源、百科知识分享平台,免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。