《面向大数据应用的多维一体化访问加速的存储与管理系统》

该项目围绕国家大数据战略需求,研究面向大数据应用的新型存储系统结构,包括基于新型介质的高性能存储设备及系统软件,进而构建大规模高性能大数据存储管理系统。以促进大数据产业创新发展为主线,针对大数据领域的数据存储管理应用,面向海量、高IO实时响应、高事务频率存储、实时处理分析的压力,着重研究基于高速互联和混合存储介质的智能存储体系结构,解决高可靠、低延迟、强实时的分布式存储核心问题,实现系统聚合带宽TB级、系统IOPS千万级、存储容量可扩展至EB级、可用性可达5个9的面向大数据应用平台的新型存储系统。

该项目通过解决大数据应用在高并发、低延迟、高效能、大规模等方面的实际需求,结合存储技术的发展趋势,研究面向大数据应用的新型存储系统结构,构建大规模高性能存储系统。具有以下技术创新性:

1.构建面向大数据应用平台的四维一体的存储体系结构。

在IO通道层面,大规模数据存储容量的需求,基于分布在不同存储节点上的磁盘或SSD盘构建统一的存储池;研究对象存储数据组织方法,不仅形成面向融合存储设备的对象数据组织模式和调度优化,还融合了RDAM、NVM、SSD、HDD等存储介质,形成四层平面数据存放、一体化管理的结构,为大数据应用提供更好的存储服务。

2.构建多层级可用性保障体系。

在部件层、设备层、数据层、系统层针对性地采用不同可用性技术并相互协同,保障系统的可用性,实现节点、机柜、系统、数据中心不同级别故障域,实施故障隔离,防止故障传播。

3.构建基于大数据分析的服务无中断的高可靠智能存储管理平台。

在大规模的存储系统中经常出现各种异常因素导致故障发生,更糟糕的是严重的故障会引起数据丢失和损坏。因此,随着数据量的增加和数据价值的提高,存储系统可靠性问题变得越来越重要。借助于最新的磁盘故障检测、数据恢复技术,保证数据能够在复杂情况下,持续提供服务;通过灵活的数据保护策略,用户可自由配置数据冗余模式;在单一硬盘故障时,全资源池内自动并行重建,无需单独的热备盘支持,可极大提高重构速度,保证存储服务的高性能运行,从而提高存储服务的质量。

该系统的研制成功,是信息化核心装备领域的历史性突破,为国产化替代工程提供支撑,具有重大战略价值。项目成果已成功应用于金融、电信、交通等关键行业,迫使进口产品价格和服务费用大幅下降,每年可为国家节约信息化成本数十亿元;通过该系统的推广,还可带动相关软件和服务数百亿元产值。

该项目授权国家发明专利9项,实用新型专利8项,软件著作权2项。

成果说明

该项目成果自2016年投入应用以来,成果在河南省、山东省、广东省、北京市等地,300多家客户成功应用,取得了良好的经济社会效益,近三年累计新增产值超2亿元。提供了具有自主知识产权的大数据智能存储系统,受到了客户的极大肯定和广泛好评。本成果的技术创新与推广应用紧密围绕国家大数据战略需求,结合我国大数据建设规划,实现冷热数据的优化存储,显著地降低大数据平台的能源消耗,在降低能耗上效果明显,具有良好的经济和社会效益。

  1. 下载详细PDF版/Doc版

提示:为方便大家复制编辑,博主已将PDF文件制作为Word/Doc格式文件。