《大规模数据智能处理关键技术及产业应用》

大数据已成为国家基础性战略资源。日益增长的行业大规模数据在全球范围内带来了重大的发展机遇和挑战。大规模数据智能处理技术主要涉及大规模数据的存储、传输、处理和服务,为大数据产业应用提供基础技术支撑。立足于国家战略性新兴产业发展规划及行业重大应用需求,2010年起河南大学和中兴通讯股份有限公司开始就“面向大数据应用的关键技术研发”课题开展合作,着眼于大规模数据的存储架构、可靠性、性能和服务等关键环节,研制了“大(大规模)、稳(高可靠)、快(高性能)、智(智服务)”的技术平台,克服了大数据产业应用中规模受限、安全隐患、性能瓶颈、信息孤岛等问题,能够高效地将数据转换为知识,实现产业应用中的数据增值。该项目主要科技创新如下:

(1)构建大规模数据混合存储架构:为了克服大规模数据存储中存储容量、性能及扩展受限等难题,设计了基于形式概念的文件系统目录结构组织方法,提出了多介质混合存储策略和混合存储架构中资源实时感知及自适应伸缩方法,构建了大规模数据混合存储架构。该架构满足了大容量数据存储的需要,提高了文件访问和数据读写效率,降低了存储配置成本,保证了伸缩性和一致性。

(2)搭建大规模数据可靠服务保证体系。为保证大规模应用中数据安全可靠,围绕大规模数据的传输可靠性、备份和恢复、一致性校验和修复等环节,基于所提出的可靠网络数据传输方法、分布式可靠数据保护方法、保持数据一致性的校验与修复方法,搭建大规模数据服务可靠性保证体系。

(3)提出大规模数据处理的服务性能提升策略。为了更好地满足大规模数据处理的实时性需求,解决负载均衡问题,降低数据存取、传输的时延,提出了一套包含多核并行计算、服务节点选择、分布式缓存及队列的方法和策略,有效提升了大规模数据处理的服务性能。

(4)实现多种优化的数据服务智能方法。为了更好地实现从数据到知识的转换,满足语音识别、数据流和在线用户行为分析、遥感图像目标识别等大规模数据场景的应用需求,实现了多种优化的数据服务智能方法,主要有不均衡数据流分类算法、大规模数据识别算法和目标识别的类脑计算模型,提高了复杂目标的识别效率和准确率。

在包括IEEE ACCESS、INFROMATION SCIENCES、JCAM等国际顶级会议、期刊和国内核心期刊上发表代表性论文124篇(其中SCI收录43篇、EI收录81篇),研究工作受到来自美国、英国等多个国家和地区知名学者的高度关注和积极评价。

申请国家发明专利近100项(46项获授权),并获得第十七届中国专利优秀奖,获批国家计算机软件著作权4项。研究成果应用于大数据、电信业务、智慧城市、视频安防、遥感应用等场景,覆盖中国、法国、英国、西班牙、日本等30多个国家的110多家单位,为客户解决了数据处理的大规模、高可靠、高性能、智服务等难题,提升了业务支撑能力和用户体验。

近三年新增销售额超42.9亿元,新增利润近5.7亿元。项目成果在国内外得到应用,促进了中国大规模数据智能处理关键技术的自主创新和产业发展,获得了显著的经济和社会效益。

成果说明

大规模数据智能处理关键技术已获得产业化应用,在国内外110多家单位成功商用,近三年共新增销售额超42.9亿元,利润近5.7亿元,并取得良好的社会效益。典型应用案例如下: (1)IPTV/OTT多媒体视讯:中兴通讯作为全球领先的IPTV产品提供商,应用案例遍及全球,其媒体数据均由本项目承载。以河南联通“智慧TV”为例,其片库总容量超过50PB,用户数超过500万。 (2)智慧城市大数据:中兴通讯作为最早进入智慧城市领域的厂商之一,提供端到端一体化智慧城市服务,目前已在银川、沈阳、珠海、长沙等城市落地运营

  1. 下载详细PDF版/Doc版

提示:为方便大家复制编辑,博主已将PDF文件制作为Word/Doc格式文件。