大数据在智能交通行业的应用

四条白线是内容边界线，原则上内容不要超出边界线。 大 数据在智能交通行业的应用 上海逸迅信息科技有限公司 四条白线是内容边界线，原则上内容不要超出边界线。 智能交通是国家“十二五”重点规划 “十二五”规划中明确指出，将大力推进交通信息化建设，大力发展智能交通， 提升交通运输的现代化水平。 “十二五”期间，国家将对智能交通投入超过 1000亿 元，其中城市智能交通投入 达到 450亿 元，预计到 2015-2020年，智能交通给相关行业带来的商机将超过 1000亿 元。 单位：亿元 “ 十二五 ” 规划智能交通投入 数据来源： 《 交通运输“十二五”发展规划 》  预计未来 5年内，我国将在 200个以上的大中型城市建立 城市交通指挥 中心。  其中 ，城市智能交通投资约 450亿元人民币，高速公路智 能交通系统投资约 350亿元人 民币，其它智能交通系统投资 大概 300亿元 人民币。 四条白线是内容边界线，原则上内容不要超出边界线。 智能交通产业发展现状  城市智能交通行业“十二五”期间 预计平均增速 30%，  东部沿海城市的智能交通系统已经 初具规模，智能交通建设除硬件系 统进一步提高覆盖和性能升级外逐 步向软件系统升级和信息服务方向 过渡。  中西部地区是城市化进展最快的地 区，新城市区的出现带来了对智能 交通系统的强烈需求，普遍采取的 “一步到位”的建设方式催生了大 批千万级整体解决方案项目的出现。  行业 整体处于幼稚期向成长期的过 渡 阶段行业 需求 增长明显。 城市智能交通市场规模预测 城市智能交通市场规模预测 四条白线是内容边界线，原则上内容不要超出边界线。 智能交通与大数据 大数据， 4个 V 文件 报表 邮件 分析报告 预测报告 结构化 +半结构化 公安网监 国安技侦 舆情监控 银监会稽查 食品溯源 环保监测 结构化 +半结构化 音视频 地震勘探 气象云图 卫星遥感 雷达数据 物联网 电信信令 非结构为主 大 数据技术能够应用于交通卡口视频和图片数据的实时采集、存储、分析、分类、 查询，能够提供比以往更快、更精确地分析、预测交通状况，并对能够影响复杂 交通的潜在因素进行新的洞察。 行业大数据 ， EB级别 互联网大数据 经营类 管理类 监管类 专业类 电信话单 金融细账 金融票据 电力调度 智能电网 结构化为主 10%结构化 30%半结构化 60%非结构化 价值密度 结构化 半结构化 非结构化 四条白线是内容边界线，原则上内容不要超出边界线。 不断增长的数据带来的挑战 视频 1.5PB 图片 1PB 结构化数据 330TB 其他 挑战 如何存储大体量的数据 并从中获取想要的信息 某二线城市 (3000台摄像机数据，每月数据 ) 数据存储 •能够满足横向扩展要求，存储 PB级别的数据 •在大型智能交通应用中提供分布式数据中心 •满足数据快速容灾要求 系统吞吐 •图片和视频的并行传输带来了更高的系统 I/0要求 •系统的 I/O必须可横向扩展 实时处理 •实时统计、监控告警 •互动搜索 模式识别 •对大量历史数据的分析处理要求 •需要一个并行处理数据的计算框架 四条白线是内容边界线，原则上内容不要超出边界线。 大数据处理的需求和 特点 • 增量式的、几乎无限的 扩展 扩展性 • 要求系统总是在线运行 可用性 • 灵活可动态改变的数据 模型 灵活性 扩展性 纵向扩展 横向扩展 分布式 资源集中 计算和存 储分布 可用性 单份数据 数据复制 • 数据最终一致 一致性 传统平台 大数据平台 新一代系统的建设需求 四条白线是内容边界线，原则上内容不要超出边界线。 传统数据存储方案分析 关系数据库集群 +NAS存储方案 系统架构 • 将 卡口文本、图片数据分别存储：用关系数据库 集群（ 多节点 ）存储卡口文本数据，并支持对数 据进行检索统计； 用 NAS 集中 存储（多节点） 技术来存储海量图片 数据 。 • 文本数据存储 ： 使用 Share Nothing 架构的智 能存储层，将数据库查询下移分布到存储层的各 个节点（具备计算能力），然后再将查询中间结 果汇总到数据库 节点 。 • 图像数据存储 ： 摄像头拍摄的图像经工控机处理 后，图片与文本数据上传至 中心系统 ，中心系统 的图像处理服务器经过计算处理后，将图像以文 件的 方式存储到磁盘阵列上；然后图像处理服务 器再将请求发送给中心 业务 应用服务器，由业务 应用执行相应的业务逻辑处理，将元数据 以及图 像 的文件位置信息记录到关系数据库 中 。 优劣势分析 • 优势 ： 1、 用 基于传统关系型数据库的 OLAP和 数据挖掘应用相对比较成熟 2、上层的兼容性好。 • 劣势： 1、集群规模 受 限（关系型数据库集群的 扩展能力有限）； 2、需要购买 NAS作为图片 存储，价格昂贵， NAS存储的扩展在 PB已经出 现瓶颈。 四条白线是内容边界线，原则上内容不要超出边界线。 大数据智能存储分析方案分析 基于 Hadoop的海量数据存储方案 系统架构 • 采用基于 Hadoop的海量数据存储方案，同时提 供针对不同应用的数据实时分析和查询功能。 • 文本数据存储： 文本类数据主要包括车牌、日期、 地点、颜色、车型、违法 行为 分析结果、交通事 件识别结果等。采取分布式索引技术，实现海量 数 据情况下的全文检索在内的简单索引以及支持 分布式检索集群 检索技术 ； 同时支持 关系型索引， 实现 标准 SQL 在内的复杂查询需求 和面向应用 的各类 优化 。 • 图像数据存储： 图 像 类数据主要指 50-500KB 的 图片文件数据（非结构化数据） ，采用 基于 Hadoop/HBase/Lucene 的 海量数据 对象 存储 技 术，采用 完全扁平化的对象存储结构，抛弃了传 统文件系统的目录 结构 。 优劣势分析 • 优势 ： 1、系统可扩展性强， 2、集中 I/O和性 能可线性扩充， 3、数据冗余， 4、不停机扩容， 5、跨数据中心大表，便于数据的统一管理 • 劣势： 1、 技术应用尚待时间的检验 四条白线是内容边界线，原则上内容不要超出边界线。 构建智能交通一站式云平台 黑白名单 告警管理 报表管理 权限管理 任务管理 监控管理 管理系统 GIS系统 机动车登记 系统 指挥调度系 统 GPS数据采集 系统 其他 外部 系统 数据 平台 应用 展现 基础查询 高级查询 碰撞分析 OD推算 趋势分析 信号调优 三废估算 车管制分析 数据挖掘 车牌分析 流量分析 轨迹分析 套牌 分析 黑白名单 道路拥塞 行车异常 超速违章 数据 查询 数据 分析 智能 感知 HDFS HBase Hive MapReduce Mahout 数据 存储 分析 工具 数据接口 Sqoop 挖掘工具 过车分析 智能监控 智能防线 行车指引 应用 平台 四条白线是内容边界线，原则上内容不要超出边界线。 技术 创新点 海量非结构化数据存储技术 视频、图片智能分析分布式计算调度及框架 分布式、高性能数据库（在线实时查询） 图像处理、分析、分类技术 基于语义的分布式视频搜索技术 多维度数据叠加描述技术 四条白线是内容边界线，原则上内容不要超出边界线。 大数据智能交通应用 介绍 智能交通云平台 通过大数据云平台可实时 掌控任一车辆的行驶，运行轨迹、分析 车辆是否违章 大数据云平台对 海量的交通信息 进行比对、分析和预测，为 车辆 出行提供最 优路径规划、交通管 理 服务、刑侦分析、模式识别 智能交通系统实时监控城市的交 通状态，将各个路口的车辆实时 抓拍数据传输到大数据云平台进 行长期数据存储 海量数据存储 实时数据查询 智能数据分析 四条白线是内容边界线，原则上内容不要超出边界线。 即席查询 • 在 1PB的过车和图片 数据中查询任意车辆在任意时间点的过车信息，系统在 1S内返回查询结果。 卡口信 息查询 车牌信 息查询 区域信 息查询 四条白线是内容边界线，原则上内容不要超出边界线。 路况 监控 拥堵 畅通 区域拥堵状态展现 • 根据卡口过车的实时速 率成区域测绘 • 通过红、橙、黄、绿四 种颜色标识拥堵状态 道路拥堵状态展现 • 根据两个卡口之间的平均车 速（两卡口即时车速的平均 值），计算当前道路的拥堵 状态 • 通过红、橙、黄、绿四种颜 色标识拥堵状态 拥堵 畅通 路况 四条白线是内容边界线，原则上内容不要超出边界线。 车辆 远程监控调度 货车调度：  为货运企业提供车辆位置、车载 状况、运送情况等的信息服务  对车辆进行实时调度提高运输效 率。 安全监控：  使政府监管部门对危险品运输 进行安全健康和管理  掌握危险品运输车辆的数量、 位置、路线，及时发现异常情况 并协助快速施救 四条白线是内容边界线，原则上内容不要超出边界线。 碰撞 分析 • 分析要求：分析 在某两个特定的时间点在某区域 A和区域 B都出现的 车辆，通过 分布式计算框架，实时 的进行大量过车 数据 比 对。 • 例如上海最近发生多起盗窃，刑警侦查后确认为同一伙盗贼所为， A区案件一般发生在早上， B区案件 一般发生在下午，警察在 A、 B两区确定以某点为中心的半径 2公里的区域为案件多发区，进行碰撞分 析，分析结果输出上午在 A区域内，下午在 B区域内出现的车辆 四条白线是内容边界线，原则上内容不要超出边界线。 旅行 时间分析 车辆大数据分析系统 GPS 数据 交通 信息网 站 数据收集 数据处理 数据发布 手机应用客 户端 基于车辆 GPS数据的旅行时间分析系统，能够用于进行城市 道路拥堵分析、为公众提供行车路线规划等。 • GIS地图模块 • 将 GPS数据映射到正确的路段 • 车速统计模块 • 导出根据 GPS数据统计得出的行车 速度 • 根据形成速度集合 GIS数据估算用 户在两点之间的旅行时间 GIS地图模块 车速统计模块 旅行时间数据 车辆数 据采集 模块 四条白线是内容边界线，原则上内容不要超出边界线。 智能交通卡口应用展示 四条白线是内容边界线，原则上内容不要超出边界线。 智能交通大数据一体机 最高 14刀 • 高密度 • 扩展性 • 高可用 • 灵活性 可堆叠 关键部件冗余 计算和存储刀 片按需配置 预装智能交通云平台软件 型号 8800S 机框 最多支持 14块可插拔的刀片 支持两个可热插拔的万兆以太网交换机 可支持 InfiniBand 7U（ 12.1“ x 18.5” x 29“ ） 四个热插拔 2500W电源， N 1冗余 计算刀片 双路 E5-2650 v2 可升级至 4路 128G DDR3 （ 16X240-pin DDR3 DIMM ） 2*2T SATA （ 2 x 2.5“ Hot-swap HDD Bays） 存储刀片 单路 /双路 E5-2600 v2 16 DDR3 （ 16X240-pin DDR3 DIMM ） 6*2T SATA（ 6x 2.5“ Hot -swap HDD Bays） Processor Blade Storage Blade 四条白线是内容边界线，原则上内容不要超出边界线。