《表1 HAMR对各类算法加速概述》
本文使用HAMR来处理分布式IDS传感器之内和之间的海量数据集。HAMR是由HAMR Analytic Technologies(HAMRTech)开发的下一代内存MapReduce引擎,无缝支持批处理和流分析[9]。HAMR在执行机器学习算法时支持熟悉的MapReduce编程模型。机器学习的两个阶段(模型训练和实时分类与HAMR的组件库无缝集成。在HAMR基准测试报告的初步分析中,HAMR在各种分析算法中产生了多个加速顺序。表1显示了在各种分析中对类似大数据产品的加速。HAMR展示了使用朴素的贝叶斯训练算法可以高倍提高Hadoop和Mahout的速度,这表明它是当前工作的有效可扩展解决方案。此外,HAMR证明其延迟是流行的实时流引擎Apache Storm的2.6倍。表1进一步显示,HAMR的性能比Spark提高了7倍,并且能够处理内存中10倍以上的数据。
图表编号 | XD00174135000 严禁用于非法目的 |
---|---|
绘制时间 | 2020.07.10 |
作者 | 杨瑞增、陈天鹰、李玉盼 |
绘制单位 | 华北计算机系统工程研究所、中国铁道科学研究院研究生院、北京交通大学 |
更多格式 | 高清、无水印(增值服务) |