etl（extract-transform-load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少。最近用kettle做数据处理比较多，所以也就介绍下这方面内容，这里先对比下几款主流的etl工具。
data pipeline是一家为企业用户提供数据基础架构服务的科技公司，datapipeline数据质量平台整合了数据质量分析、质量校验、质量监控等多方面特性， 以保证数据质量的完整性、一致性、准确性及唯一性，彻底解决数据孤岛和数据定义进化的问题。
kettle是一款国外开源的etl工具，纯java编写，可以在windows、linux、unix上运行，数据抽取高效稳定。kettle 中文名称叫水壶，该项目的主程序员matt 希望把各种数据放到一个壶里，然后以一种指定的格式流出。
kettle家族目前包括4个产品：spoon、pan、chef、kitchen。
spoon 允许你通过图形界面来设计etl转换过程（transformation）。
pan 允许你批量运行由spoon设计的etl转换 (例如使用一个时间调度器)。pan是一个后台执行的程序，没有图形界面。
chef 允许你创建任务（job）。 任务通过允许每个转换，任务，脚本等等，更有利于自动化更新数据仓库的复杂工作。任务通过允许每个转换，任务，脚本等等。任务将会被检查，看看是否正确地运行了。
kitchen 允许你批量使用由chef设计的任务 (例如使用一个时间调度器)。kitchen也是一个后台运行的程序。
talend，是一家专业的开源集成软件公司，为企业提供开源的中间件尊龙游戏旗舰厅官网的解决方案，从而让企业能够在他们的应用，系统以及数据库中赢取更大的价值。 在传统软件公司提供封闭、私有的尊龙游戏旗舰厅官网的解决方案的领域talend系列软件以开源的形式进行开发。talend，可运行于 hadoop 集群之间，直接生成 mapreduce 代码供 hadoop 运行，从而可以降低部署难度和成本，加快分析速度。而且 talend 还支持可进行并发事务处理的hadoop2.0。
informatica是全球领先的数据管理软件提供商。在如下gartner魔力象限位于领导者地位：数据集成工具魔力象限、数据质量工具魔力象限 、元数据管理尊龙游戏旗舰厅官网的解决方案魔力象限 、主数据管理尊龙游戏旗舰厅官网的解决方案魔力象限 、企业级集成平台即服务（eipaas）魔力象限。
informatica enterprise data integration包括informatica powercenter和informatica powerexchange 两大产品，凭借其高性能、可充分扩展的平台，可以解决几乎所有数据集成项目和企业集成方案。
· informatica powercenter用于访问和集成几乎任何业务系统、任何格式的数据，它可以按任意速度在企业内交付数据，具有高性能、高可扩展性、高可用性的特点。informatica powercenter包括4个不同版本，即：标准版，实时版，高级版，云计算版。同时，它还提供了多个可选的组件，以扩展informatica powercenter的核心数据集成功能，这些组件包括：数据清洗和匹配、数据屏蔽、数据验证、teradata双负载、企业网格、元数据交换、下推优化(pushdown optimization)、团队开发和非结构化数据等。
· informatica powerexchange 是一系列的数据访问产品，它确保 it 机构能够根据需要随时随地访问并在整个企业内传递关键数据。凭该能力，it机构可以优化有限的资源和数据的业务价值。informatica powerexchange支持多种不同的数据源和各类应用，包括企业应用程序、数据库和数据仓库、大型机、中型系统、消息传递系统和技术标准。
datax 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 mysql、oracle、sqlserver、postgre、hdfs、hive、ads、hbase、tablestore(ots)、maxcompute(odps)、drds 等各种异构数据源之间高效的数据同步功能。
开源地址：https://github.com/alibaba/datax
goldengate软件是一种基于日志的结构化数据复制软件。goldengate 能够实现大量交易数据的实时捕捉、变换和投递，实现源数据库与目标数据库的数据同步，保持亚秒级的数据延迟。
源端通过抽取进程提取redo log或archive log日志内容，通过pump进程（tcp/ip协议）发送到目标端，最后目标端的rep进程接收日志、解析并应用到目标端，进而完成数据同步。
整理成表格如下：
觉得有用的朋友多帮忙转发哦！后面会分享更多devops和dba方面的内容，感兴趣的朋友可以关注下~
尊龙游戏旗舰厅官网的版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。