《表3 HDFS中常用压缩算法的对比》
除了在列存储格式中使用的数据编码算法之外,HDFS上的数据可以采用一些无损压缩算法对文件进行进一步压缩,如Snappy、LZO、Gzip、bzip2[37]等.数据压缩不仅可以节约存储,还可以提高数据处理的性能.HDFS环境下的计算任务还可以对计算中间结果压缩后再写入磁盘,从而大幅度降低了中间结果的大小,提高了数据处理的性能[38].不同压缩算法之间的对比见表3.
图表编号 | XD00137378300 严禁用于非法目的 |
---|---|
绘制时间 | 2020.01.01 |
作者 | 金国栋、卞昊穹、陈跃国、杜小勇 |
绘制单位 | 数据工程与知识工程教育部重点实验室(中国人民大学)、中国人民大学信息学院、数据工程与知识工程教育部重点实验室(中国人民大学)、中国人民大学信息学院、数据工程与知识工程教育部重点实验室(中国人民大学)、大数据系统软件国家工程实验室(北京理工大学)、数据工程与知识工程教育部重点实验室(中国人民大学)、中国人民大学信息学院 |
更多格式 | 高清、无水印(增值服务) |