《表1 基于Kudu的流式数据入库数据处理流程》
基于Kudu存储引擎可以直接和Kafka实时消息系统进行对接,从而实现数据在线加载[6]。Kudu采用列式存储技术,支持数据记录逐条写入,因此Kudu数据表能够满足Kafka流式数据的实时写入要求,单条数据入库周期为毫秒级。基于Kudu的流式数据实时入库的测试结果见表1。可以看出,和Kafka配合使用,万条数据入Kudu的时间可达到秒级,足以支撑业务的高实时性要求业务场景。
图表编号 | XD00150759500 严禁用于非法目的 |
---|---|
绘制时间 | 2020.04.30 |
作者 | 蒋春平、黄煜骁、周晓君 |
绘制单位 | 中国电信股份有限公司上海分公司企业信息化部、中国电信股份有限公司上海分公司企业信息化部、中国电信股份有限公司上海分公司企业信息化部 |
更多格式 | 高清、无水印(增值服务) |