《智慧交通海量异构数据实时存储关键技术及其产业化》

点击下载 ⇩

项目所属科学技术领域:电子与信息\软件产品。

主要技术创新内容:

交通大数据在异构的基础构架间迁移,需解决物理主机/云主机之间兼容性、云服务商隔离与锁定等新挑战。交通大数据具有种类繁多、数据量大、存储分散等特性。仅按一个城市2万辆估算,GPS数据每天产生约8GB流量,每年约3T,而视频、图像、音频等数据量更加庞大,每天约10T流量,年数据量约3.5PB,如此海量数据使得整个系统存在诸多错综复杂的关系,且这些关系还会发生动态的不可确定的变化。传统服务器不能解决数据持久化保存在单节点硬盘的问题,以MongoDB为例,32位操作系统的数据库限制在约2.5GB。从大数据集合中查询出目标数据,查询性能是非常关键一环;如性能差,占用物理资源多,时间太长会极大影响业务开展。根据ESG(Enterprise StrategyGroup)对700位用户回访发现,大数据迁移时发生的主要问题:超过停机时间或导致意外宕机64%,出现不同程度兼容性问题51%,不同程度数据损坏38%,导致新老系统之间性能问题38%,不同程度数据丢失36%。

该项目结合智慧交通建设特点,根据海量异构数据处理前后逻辑顺序,设计了具有“两低一高”特征的低延时数据迁移、低成本数据存储、高可靠数据查询方案。

1、首次提出节点间配对机制,结合数据分割的哈希值方式,以数值环形式构建空间环以确定其位置,以0到2^32的数值作为范围,实现海量数据集群迁移分布部署。在业务约束条件下,能够快速、正确、完整地实现海量数据迁移,保障数据完整性、一致性和继承性。

2、针对交通数据多源、异构、时空性、方向性、相关性、随机性、模糊性等特征,基于key-value数据存储技术,提出WedovaStore对称体系存储结构,根据集群配置确定环中节点方式获得数据请求,实现大型数据分布式管理,并通过写入操作记录保障数据持久性。

3、基于散列分区数据分割的查询技术,提出去中心化的方式,实现集群分布的方式储存与检索数据,分布式节点既是控制节点,又是被控制节点,能够优化解决查询效率和索引空间成本的权衡问题。

知识产权:针对该项目三个创新点,成功申请六项知识产权:

发明专利1:一种大量实时数据存储系统发明专利;2:一种大量实时数据存储分发及查询信息处理方法发明专利;3:一种车路协同卫星定位信息化系统。软著1:遥薇智慧公交运营调度软件软著;2:遥薇公务车调度管理软件软著;3:遥薇公务车安全管理信息化平台软件。

应用推广情况:在车辆监控系统成功应用的基础上,陆续在“国家交通部公共交通智能化应用示范工程试点项目”、“国家智慧城市试点”、“河北省交通厅重点项目”等重大项目中成功应用,分布在三十多个城市的二百多个大中型软件集成平台项目。销售总额达2.7亿元,净利润2147万元,税金635万元。

成果说明

该项目的WedovaStore 大量数据存储方案属于海量数据存储技术的应用,适用于大量实时数据存储方案,在智慧交通领域中车辆监控系统产生的大量数据存储、分发及查询中得到成功应用。该技术已在三十多个大中小城市,二百多个大中型软件集成平台项目中广泛应用。 例如:上海市各个区县,河北省张家口市,山东省济南市、临沂市、青岛市,浙江省宁波市、嘉兴市,江苏徐州市等,并且包“国家交通部公共交通智能化应用示范工程试点项目”、“国家智慧城市试点项目”、“河北省交通厅重点项目”等国家级重点建设项目、省级重点建设项目。 智能交

  1. 下载详细PDF版/Doc版

提示:为方便大家复制编辑,博主已将PDF文件制作为Word/Doc格式文件。