交通大数据平台中数据资源规划设计

杜潘飞  2.吕嘉伟

摘要：随着数字化时代的到来，大数据、智能化逐渐成为现代社会发展的重要方向和趋势。这一背景下交通事业的发展自然也要逐步实现智能化，依靠大数据技术以及其他相关技术构建智慧交通大数据平台则成为了交通事业发展的重中之重，需要围绕其积极探索创新发展路径。本文简要分析了智慧交通大数据平台的开发需求，并围绕总体架构、数据接入模块、大数据计算与存储模块、大数据处理与分析模块、监控与管理工具等需求模块，探讨相应的平台开发及应用要点。

关键词：智慧交通大数据平台；总体架构；数据分析

1.智慧交通大数据平台开发需求分析

随着智慧城市建设进程的逐步推进，交通事业的智慧化发展已成板上钉钉之事。一方面，车辆智慧化发展涉及到大量数据，一辆智能车上搭载的传感器以及与之产生的数据信息呈几何倍数增长，需要智慧交通大数据平台对海量数据进行有效处理；另一方面，城市交通不仅需要从整体上对海量交通数据进行集中整合与处理，并且要实现实时监控和动态管理的需求，更需要以海量数据作为支持。在现实需求的影响下，智慧交通大数据平台的开发与应用正受到广泛重视。该平台需要满足支持大数据存储、大数据实时查询、大数据分析挖掘、基于内存计算、流式计算、大数据搜索、大数据可视化分析等需求，能够对海量交通数据包括收费数据、监控数据、养护数据、路产数据、物流数据、生态数据等进行集中整合、处理、存储、分析与利用，并要支持各项功能的实现，满足安全可靠的市场需求，才能在实践中得到有效应用。故而该平台的开发一定要从需求出发，着重围绕数据接入、数据存储、数据缓存、实时计算、应用系统等多个模块进行综合开发，确保数据抽取、数据转换、数据清洗、数据加载、传输监控、分布式存储、图数据库、NoSQL、NewSQL、分布式缓存系统、分布式内存运算、综合监测、指挥调度、信息服务、信号管控、综合检测、辅助决策等功能均能通过平台实现。

2大数据背景下交通管理中的难点问题

2.1交通数据信息孤岛丛生

交通管理数据具有一定的多样性、繁琐性，以至于各部门、各系统、各企业设备当中存在大量独立存储的数据，并且各自为政以关联所有的体系，并没有创建更加集中、顺畅的数据平台，使得交通数据资源出现条块化分割并产生信息化碎片，给大数据的深度整合、分析、应用带来了极大的阻碍。

2.2标准不一，多样化交通数据融合难

交通数据格式十分多样化，主要涵盖了文本、图片、视频等结构化、非结构化数据，而各种软硬件厂商的数据库的表结构、视图也存在差异。并且大数据在智能交通中的使用情况应由前端传感装置展开数据采集，然而因为前端传感装置由不同的厂家进行陈设，该部分行业并未创建一致的接口标准，以至于同个区域的不同系统之间的关联与数据兼容变得十分困难，这些都变成了交通大数据平台融合期间的难点、堵点。类似交管工作期间普遍出现的交通信号灯控制，因为交通信号控制设备不一致，现阶段大多数城市依旧将路口单点控制当作主要部分，要是可以满足城区全部交通信号系统的联网联控，无疑将大大降低部分路段的拥堵，提高出行效率。

2.3交管大数据应用平台较为分散，数据分析方法单一

因为现阶段交通数据采集设备的规范不一致，并且无法融合，使得交通数据在使用期间无法充分整合，通常被分割在各个平台与系统中应用，无法汇总分析。当前的交通数据应用得最为普遍的仍然是基础的统计功能以及作为成绩展示的综合指挥演示，而数据的深度分析与应用方式还是集中在事后处理环节，对事前预防与事中监控等缺乏有效的分析研判手段与方法，所以，所收集到的各种数据无法被有效地匹配并加以整合应用，无法形成预期中的“大数据”，发挥不出其应有的作用。

3.智慧交通大数据平台的开发与应用

3.1系统模块设计

本平台可以引导公众出行，为公众提供全面、及时的出行信息，真正达到绿色交通的出行要求。城市交通数据分析系统主要包括四方面的内容：城市交通信息数据系统、城市交通综合监测系统、都市公交查询系统、公众出行信息服务系统。其中，城市交通信息数据系统、对交通道路相关信息进行管理，获取交通回顾等。城市交通监测系统可以对道路及公家运行情况进行监测，为交通管理部分提供决策依据。城市公交查询系统，可以对输入起终点路段查询，路线名的查询，以及公交路线的查询，根据用户所查询的道路进行数据的分析，包括该路段的拥堵率，高峰期率，平均车流量等。公众出行信息服务系统，可以为用户分享城市交通情况，发布通知公告并提供便民服务。

3.2数据接入模块

智慧交通大数据平台采集的数据类型较为多样，广泛包括各行各业业务系统运营数据以及交通传感器数据等。要对这些不同类型的海量数据进行有效采集，平台需要设置可拓展易维护的数据采集接口，实现实时数据流采集、业务数据库接入、批量文件上报等不同数据采集方式的统一，并要对采集到的各种数据进行清洗分类。为了保障数据采集和接入的有效性，智慧交通大数据平台整合了定制化的开发数据转换接口，能基于不同接口实现分布式抽取多元异构数据，兼顾数据采集效率与质量。

3.3大数据计算与存储模块

智慧交通大数据平台的大数据计算与存储包含各种组件以及计算框架，目前常见的大数据计算与存储组件包括Hadoop、Hbase、Spark等。整个大数据计算与存储模块能对数据库、文本数据、视频数据以及其他数据源的数据进行集成和搜集，并将数据以文件形式进行存储，通过资源管理实现元数据管理，构建非关系数据库，添加数据标签，依靠计算框架层实现数据分析、脚本分析、内存分析等功能。

3.4大数据处理与分析模块

智慧交通大数据平台中的数据处理与分析模块是极为重要的部分，其能对海量数据进行处理与分析，从而提炼数据价值，为平台功能的实现提供数据服务。大数据处理涉及到各种处理方式，常见的有数据清洗、数据转换与数据融合等，其中数据清洗是最基本的数据处理方式，即通过过滤、去重、异常值等手段让数据完全符合平台分析要求；数据转换指根据实际需要将采集到的数据进行格式与结构转换，从而形成更加符合平台分析与应用的数据；数据融合指对不同来源的数据加以整合及统一，从而获得更加完整与准确的数据。

3.5监控与管理工具

整个大数据平台的运行状态需要得到实时监控与综合管理，才能保障平台的安全、稳定运行，同时便于报表信息生成以及平台性能的调整。在智慧交通大数据平台中，集群监控工具与平台监控工具是不可或缺的两大工具，前者主要用于系统运行状态与网络信息监控，后者主要用于平台运行状态和性能度量监控。在监控与管理工具的支持下，整个平台的运行情况以及业务情况能得到实时反映，而错误报警、性能调优、问题追踪、运维报表自动生成等功能则能进一步支持平台管理以及业务开展。

结语

综上可知，城市智慧交通事业的发展需要相应的大数据平台作为支撑。实践应当从实际出发，根据实际需求合理开发与应用交通大数据平台，既要确保整个平台和系统足够安全与稳定，又要持续丰富平台功能与提升平台性能，进而实现对海量交通事业相关数据的有效采集、整理、存储、分析与应用，为智慧交通事业的良好发展带来良好支持。

参考文献

[1]赵孟伟，周汝胜，张爱华.基于云计算公共服务平台的交通运输信息系统集约化建设急需解决的问题分析[J].物流科技，2015（12）：147-150.

[2]赛迪智库.我国大数据产业发展展望[J].软件和集成电路，2017（12）：51-53.