《表2 数据查询性能对比:面向大规模网络流量数据的实时汇聚查询关键技术研究》
提示:宽带有限、当前游客访问压缩模式
本系列图表出处文件名:随高清版一同展现
《面向大规模网络流量数据的实时汇聚查询关键技术研究》
为了提高数据查询性能,在本系统中,我们通过对分布式数据库中存储的原始数据建立二级索引实现数据的快速查询响应.在1PB数据量下,分别对本系统查询响应时间和直接查询原生分布式数据库HBase的响应时间进行了多种场景的测试,包括双向源IP精确查询、单向源IP模糊查询、双向源IP模糊查询源、双向双端口精确查询和双向源IP模糊+双端口精确查询.在本系统下精确查询响应时间<1s,复杂查询时间秒级返回,比直接从分布式数据库查询性能提升30倍以上,部分场景可达80倍的效果,具体测试数据参见表2.结果表明通过二级索引的构建,可以大幅提升查询数据的寻址时间,同时结合五元组数据特征构建合理的键值结构,整体可实现对流量数据查询场景的快速响应.
图表编号 | XD00175970400 严禁用于非法目的 |
---|---|
绘制时间 | 2020.06.01 |
作者 | 郭庆、朱一凡、谢莹莹、张榆、陈小兵 |
绘制单位 | 北京理工大学计算机学院、中科曙光大数据事业部、北京理工大学计算机学院、中科曙光大数据事业部、中科曙光大数据事业部、北京理工大学计算机学院 |
更多格式 | 高清、无水印(增值服务) |