《表2 在DB2 MPP数据库、Hadoop平台、DB2单机数据库下汇总1年零售户订单数据》
通过分析上述性能问题,发现统计零售户订单数据的性能瓶颈主要在于数据汇总环节。现有烟草零售户订单数据部署在一台单机DB2数据库上,若要提升数据处理性能,使得计算时间能够减少至60分钟以内,在硬件方面,升级单机服务器硬件资源已经意义不大,需要使用支持并行处理的海量数据处理产品,横向扩展硬件资源,提升数据处理并行度。为了验证其可行性,将若干年份的烟草零售户订单数据迁移到MPP架构的DB2数据库以及Hadoop平台的HIVE中,测试两个平台下汇总1年烟草零售户订单数据的性能,发现两者的数据汇总性能相对于现单机数据库平台均提升,运行耗时如表2所示。
图表编号 | XD0011134000 严禁用于非法目的 |
---|---|
绘制时间 | 2019.10.31 |
作者 | 陈德莉 |
绘制单位 | 上海烟草集团有限责任公司信息中心 |
更多格式 | 高清、无水印(增值服务) |