摘要：本文演示了使用自研插件解决Kettle调用HTTPS POST接口时出现的SSL证书验证问题。通过OpenSSL生成自签名证书，使用Python搭建HTTPS测试接口。在Kettle中安装HttpPostPlus插件后，只需勾选useSSL选项即可成功绕过SSL验证调用接口，同时解决了中文乱码问题。该插件还支持二进制文件下载和重试等功能，完美解决了HTTPS接口调用中的常见问题。（148字）

1、在使用kettle调用接口的时候不可避免要调用http或者https接口，调用http接口kettle可以正常工作，但是遇到https接口的时候kettle就会提示证书有误，无法正常调用接口，今天咱们一起通过自研插件的方式来解决这个问题。自研插件需要有一定的java基础，git上有比较多的例子，本次不讲解如何开发组件，这里介绍下如何使用自研http/htts插件的使用。resultField：

场景：源数据库表为mysql的其中有json字段，通过kettle 查询出来 插入到目标数据库 postgresql中，对应的表中也有json字段。但是报错，提示kettle查询出来是varchar的的字段，无法插入到目标数据库中。本人在DBeaver中直接执行INSERT INTO public.t3 (name) VALUES ('{"name":"java小金刚"}');是可以正常插入到js

1、群里有小伙伴询问kettle连接hive的demo，今天抽点时间整理下。1）kettle中的lib目录下放hive驱动jar，这里我使用的是kyuubi-hive-jdbc-shaded-1.9.0.jar。6、删除kyuubi-hive-jdbc-shaded-1.9.0.jar，重新运行，出现找不到驱动jar错误，如下图所示。2、下载kyuubi-hive-jdbc-shaded-1.9.

1） 这一步很重要，将单条数据变成list，如上一步的totalNum为3，这里会输出[{"paggNum":"2","pageSize":"20"},{"paggNum":"3","pageSize":"20"}]会循环上一步的结果[{"paggNum":"2","pageSize":"20"},{"paggNum":"3","pageSize":"20"}]2）这里的模拟http请求使用的是写

场景：kettle调用https接口，跳过校验SSL。（有些公司内部系统之间的https的接口是没有SSL校验这一说，无需使用用证书的）解决方案：自定义插件或者自定义jar包通过javascript调用https接口。//这里注意参数body如果是json字符串的话，这里自动转换为对象了，1）将自定义jar放到lib目录下。//索引这里要重新转换为字符串。

3、http post参数设置，这了填写URL、Request entity field，其他默认。1）从日志可以很清楚的看到接口http://127.0.0.1:5000/api/data的Content-type设置不对。4、定位问题之后，我们把Content-type设置为Application/json，进行再次验证，接口调用成功。2）以行级日志模式进行运行，可以看到默认的Content-

通过开启poolPreparedStatements参数，连接池在执行SQL语句时会先进行预编译并缓存起来，下次执行相同的SQL语句时就可以直接使用缓存的预编译语句，而不需要重新进行编译，从而减少了数据库的工作量，提高了数据库操作的执行效率。设置为false时，连接池不会进行自动移除被抛弃的连接。允许访问底层数据库连接可以给开发人员提供更多的灵活性，他们可以直接操作底层数据库连接来执行一些特定的、

原因有两点：1）消费者处理数据能力较弱，如表输出步骤。2）消费者没有处理数据，如传递的数据中有字段type=1的数据，这种情况没有处理。设置kettle 启动参数，在spoon.sh或者Spoon.bat中进行设置，自己根据实际情况设置大小。解决方案：提高行集大小KETTLE_TRANS_ROWSET_SIZE=100000 或多线程处理（同上）针对 2）调整处理程序，处理所有情况数据，或者设置默

此处是将python脚本暴露http服务接口，然后在kettle中使用http步骤进行调用。这里不在详细介绍，可以参考之前的http调用文章。kettle中不能直接调用python脚本，可以通过shell脚本和http进行调用pyton服务。最下面的参数可以设置传递给python脚本参数，如设置V1参数。也可以上一步骤的结果作为参数传递给python脚本。# 在这里编写Python脚本的主要逻辑。