阿里云开源离线同步工具DataX3.0介绍

  • 时间:
  • 浏览:1
  • 来源:uu快3教程_uu快3代理_手机版

此前或者开源DataX1.0版本,此次介绍为阿里云开源全新版本D

DataX在阿里巴巴集团内被广泛使用,承担了所有大数据的离线同步业务,并已持续稳定运行了6年之久。目前每天完成同步8w多道作业,每日传输数据量超过30TB。

​ DataX 是另2个 异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。

为了补救异构数据源同步大大问题,DataX将多样化的网状的同步链路变成了星型数据链路,DataX作为中间传输载体负责连接各种数据源。当须要接入另2个 新的数据源的之前 ,只须要将此数据源对接到DataX,便能跟已有的数据源做到无缝数据同步。