《表3 数据源连接表：面向海洋气象的数据汇聚平台》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《面向海洋气象的数据汇聚平台》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

数据抽取是实现数据治理、汇聚的前提，且抽取效率影响平台整体实现效果。海洋气象管理系统全天候不停歇运转，对于数据量较大的表，无法全量抽取，只能增量抽取，而如何判断哪些数据是增量是一个难点问题。主流的方法包括：时间戳、ORACLE的CDC、以及数据备份日志等。本文通过时间戳判断增量数据，设计并实现数据增量抽取的Kettle作业及转换，采用三个表来记录数据源信息、表名信息、最后同步时间信息，三个表具体字段如表3、4、5所示。