Kettle根据时间戳同步数据实现

更多数据实时同步方案，请参考笔者的另一篇博文：大数据时代，数据实时同步除理方案的思考—最全的数据同步总结

由于Kettle自身的特殊性以及在多个步骤中kettle自身除理数据库事务的特殊性，尝试了或者 种方案，最终选则暂使用如下方案。

1、使用此方案都还可以除理kettle并不是数据库事务的缺点

2、使用此方案都还可以除理支队多个表中同去往一张总表中同步数据时，取时间戳不准的间题。

3、配置时，每个支队的数据汇聚时，都单独配置有另一个 多转换作业任务。

4、Kettle支持字段映射，转换，以及作业定时运行等。

A)清空临时表

B)读取交换时间

C)读取都要交换的数据

D)更新到临时表

E)插入更新到目标表

F)更新时间

1、单次同步数据量大时，由于都要同去更新两次表，传输速率由于会比较低

2、由于采用单次限制数据记录量，由于Kettle并不是不支持数据分页，当数据表由于地处极少量数据记录的时间戳都相同去，由于会由于每段数据无法同步过来。

【原文归作者所有，欢迎转载，或者保留版权】