Kettle的安装以及简单使用

Kettle是一款开源免费的ETL工具，ETL全称 Extract - Transform - Load 意味着数据抽取，转换，装载的过程。

ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据， ETL是BI（商业智能）项目重要的一个环节。

一、下载安装

官网下载地址：https://sourceforge.net/projects/pentaho/files/Data%20Integration/

本次测试mysql，因此需要一个连接mysql的驱动包

下载地址：https://dev.mysql.com/downloads/connector/j/

打开地址选择Platform Independent，然后点击下载，有驱动包就不用下载了。

下载好后将文件解压，将里面的 mysql-connector-java-8.0.28.jar 放到，kettle解压的lib下面（ \data-integration\lib）。

点开Spoon.bat启动

二、使用

1、Kettle的两种设计

2、kettle组成

作业和转换可以在图形界面里执行，但这只适合在开发、测试和调试阶段。在开发完成后，需要部署到生产环境中 Spoon 就很少用到了，Kitchen 和 Pan 命令行工具用于实际的生产环境。

部署生产阶段一般需要通过命令行执行，需要把命令行放到 Shell 脚本中，并定时调度这个脚本。

Kitchen 和 Pan 工具是 Kettle 的命令行执行程序，只是在 Kettle 执行引擎上的封装，它们只是解释命令行参数，调用并把这些参数传递给 Kettle 引擎。

Kitchen 和 Pan 在概念和用法上都非常相近，这两个命令的参数也基本是一样的。唯一不同的是 Kitchen 用于执行作业，Pan 用于执行转换。

3、测试使用

1） 新建转换：可以直接Ctrl+N，也可以右键转换新建，双击转换也行。

新建后会出现下图所示的界面。保存一下，我起名叫demo.

输入选择表 建立连接

转换之前，需要做保存

执行成功之后，可以在mysql查看，stu2的数据

mysql> select * from stu2;
+------+----------+
| id   | name     |
+------+----------+
| 1001 | zhangsan |
| 1002 | lisi     |
| 1003 | wangwu   |
+------+----------+
3 rows in set (0.00 sec)

2）新建作业job

如果想要定时运行这个转换，那么就要用到作业。

从左侧依次拖动 START 、转换、成功到右侧，并用线连接起来。

双击 START，可以配置作业的运行间隔，这边配置了5秒运行一次。

双击转换，选择之前新建的那个转换。

点击运行，就能运行这次作业，点击停止就能停止。在下方执行结果，可以看到运行的日志。

这样就完成了一个最简单的作业，每隔5s，将源表的数据迁移到目标表。