1.利用Kettle进行数据同步（下）
2.Kettle插件开发
3.使用kettle整合新的源码三层结构的数据库，该怎么玩，调试怎么修改代码

利用Kettle进行数据同步（下）

       上篇内容对基于kettle的源码数据同步工程的构建进行了介绍，entrypoint.kjb作为工程执行的调试入口。

       为了减少操作成本，源码并确保数据同步过程稳定、调试源码分析解析安全，源码需要从更高层次进行抽象，调试创建一个简单易用的源码系统。

       以下是调试应用截图：

       除了选择数据源和数据库，还增加了授权码，源码意味着只有授权范围内的调试用户才能使用该系统。

       由于是源码内部使用，授权用户尚未实现后台管理，调试tiled源码分析直接在应用数据库中添加，源码选择的数据源和数据库都通过配置文件生成。

       文末会提供GitHub上的源码地址，有需要的读者可以进行二次开发。

       一、数据库设计

       数据库名称为kettle，目前包含两张表：

       1、授权用户表。表中记录的用户可以使用数据同步系统。

       2、同步记录表。记录用户的数据同步操作。

       二、webpy源码阅读程序设计

       系统简单实用，没有特别的设计。以下是重点说明的三点：

       1、数据源及其参数配置。

       在application.yml配置文件中，存在如下配置：

       使用了springboot的@ConfigurationProperties注解。

       其中的DBSetting定义如下：

       通过客户端传递的参数，可以定位到相应的参数设置。

       2、集成kettle的API。

       由于kettle相关jar包放在了自建的nexus私服上，因此如果使用maven管理jar包，需要在settings.xml配置文件中做一些修改：

       其中的pe注入源码mirrorOf节点添加了!pentaho-releases，表示排除pentaho-releases。

       然后，在springboot工程的pom.xml中指定pentaho-releases的url。

       接下来是核心的对接代码，具体可以参考工程源码。

       3、异步执行作业

       由于Job的执行时间可能会很长，主要取决于数据量，因此一个request的来回可能会导致TIMEOUT，需要改为异步模式。

       核心思想是：启动新的线程，客户端定时轮询执行结果。

       三、发广告源码总结

       本文分两篇文章介绍了如何利用kettle进行数据同步，并实现一个简易的系统，以降低操作成本和出错率。

       介绍到此，如有疑问，请留言。

       欢迎fork我的工程代码。

Kettle插件开发

       工欲善其事，必先利其器。Kettle作为离线或准实时ETL的工具链，在特殊业务流程的处理中，往往需要定制化插件开发。这种情况可能出现在需要对特定数据进行特殊函数处理，现有组件无法满足数据捕获需求，或者缺乏对数据重复消费的处理。因此，定制开发流程处理组件，实现数据管理、验证、转换和特定数据源抽取，成为解决此类问题的关键。

       以splunk查询插件为例，其开发遵循Kettle转换插件的基本框架。该框架由四个关键类构成，分别扮演不同的角色。首先是步骤类（SplunkInput），继承自BaseStep父类，并实现StepInterface接口，是数据实际处理的位置。数据类（SplunkInputData）继承自BaseStepData，实现StepDataInterface接口，用于存储数据，每个执行线程拥有唯一的实例。对话框类（SplunkInputDialog）继承自BaseStepDialog，实现StepDialogInterface接口，用于组件步骤与开发者之间的交互配置。元数据类（SplunkInputMeta）继承自BaseStepMeta，实现StepMetaInterface接口，保存和序列化步骤实例的配置信息，跟踪开发者设置的属性。

       在展现配置方面，通过注解或plugin.xml实现插件在Kettle可视化UI工作台中的显示效果。配置项包括ID、名称、描述、图标、类别等，帮助开发者快速识别和理解插件功能。

       开发过程中，步骤类需要实现初始化、释放资源和处理数据流的方法，如检查splunk连接状态、执行数据转换等。数据类在执行线程中提供数据存储空间，确保独立运行环境。对话框类负责输入属性监听、配置数据初始化、连接校验及结果字段预览等功能。元数据类则跟踪输入输出设置，提供参数序列化和扩展验证检查，确保步骤如何处理数据流行的信息清晰。

       总体而言，Kettle自定义插件开发流程清晰，通过遵循基本框架和配置规则，开发者可以高效地实现复杂数据处理需求。如需深入了解源码、自定义插件集成或在开发过程中遇到问题，欢迎关注公众号"游走在数据之间"，加入QQKettle交流群，获取更多支持和交流。

使用kettle整合新的三层结构的数据库，该怎么玩，怎么修改代码

       默认数据库连接为全局共有

       非资源库

       a) 将数据库连接进行共享，view-database connections-share

       b) 设置为全局变量，在kettle.properties文件中，将数据库连接各属性配置为变量