logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

kettle从入门到精通 第103课 ETL之kettle kettle读取redis中的Hash数据

Kettle读取Redis Hash数据方法总结:通过生成记录、Java代码、JSON输入和写日志四个步骤实现。关键点在于Java代码步骤中初始化Redis连接、读取Hash数据循环输出(需传递数据到后续步骤)以及销毁连接。注意需根据Redis版本选择匹配的Jedis客户端jar包并放入Kettle的lib目录。该方法成功实现了从Redis的Hash结构中读取键值对数据并解析输出的完整流程。

文章图片
#etl#redis
kettle从入门到精通 第四十五课 ETL之 kettle redis

步骤【生成记录】生成一笔测试数据,步骤【Java代码-redis-set】往redis里面写数据,步骤【Java代码-redis-get】从redis读取数据,如下图所示。1、kettle 9.3/9.4 spoon客户端中默认是没有redis步骤的,首先想到在kettle的插件市场进行下载redis步骤。2、可能因为网络原因,直接下载失败了。索性放弃redis原有插件步骤,改为自己通过java代

文章图片
#etl#redis#数据仓库
Apache Hop从入门到精通 第三课 Apache Hop下载&安装

2、下载jdk17(https://www.microsoft.com/openjdk)本次下载jdk包为microsoft-jdk-17.0.13-macos-x64.tar.gz,双击文件进行解压,解压后文件夹为jdk-17.0.13+11,设置HOP_JAVA_HOME,本次使用mac系统进行操作,命令如下。4、启动hop-gui,windows系统使用hop-gui.bat进行启动,mac

文章图片
kettle从入门到精通 第八十五课 ETL之kettle kettle中javascript步骤调用外部javascript/js文件

2)单独创建初始化脚本tab,右键弹出菜单,可以设置当前tab中的脚步是初始化(Set Start Script)、转换(Set Transform Script)、卸载(Set EndScript)三种方式进行运行。场景:交流学习群里面有小伙伴咨询kettle中的javascript代码步骤如何调用外部js文件中的函数,觉得有点意思的,于是就抽时间整理了一下。1)使用LoadScriptFile

文章图片
#etl#javascript#数据仓库
kettle从入门到精通 第六课 kettle javascript代码调用外部jar

kettle可以通过javascript代码调用外部jar。1、将外部jar放到lib目录下,重启spoon。static方法也可以采用new 方式进行调用。3、调用外部非static方法。2、调用外部static方法。

文章图片
#jar#java#etl +1
kettle从入门到精通 第十一课 kettle javascript 解析json数组

要使用这些常量,必须首先在脚本开始时将trans_Status变量设置为CONTINUE_TRANSFORMATION,以便对正在处理的第一行进行变量赋值。本事例用到的数据结构list为:[{"name":"a","age":"11"},{"name":"b","age":"22"}]],[{"name":"c","age":"33"},{"name":"d","age":"44"}]]ABORT

文章图片
#javascript#json#python +2
kettle插件-postgresql插件

JSON输入:解析日志数据,如{"ts_ms":1743757150325,"db":"testdb","table":"t1","op":"DELETE","before":"{\"id\":1}","pk":"{\"id\":1}"}上午整理公司的交付文档,中午陪孩子户外骑行踏青,下午趁着休息的时间给老铁们讲下如何使用postgressql cdc插件来实时捕获数据。1)本次转换用到了Post

#postgresql#大数据#etl
kettle插件-rabbitmq插件

场景:kettle本身可以直接链接rabbitmq,但是需要配置rabbitmq开启mqtt协议,本次讲解下自定义开发组件RabbitMQ consumer,无需开启mqtt协议即可使用。2、将插件kettle-rabbitmq-plugins放到目录plugins目录下,重启spoon客户端。3)开启rabbitmq web管理服务,此插件不开启,无法通过web页面访问rabbitmq。1)下载

#rabbitmq
kettle从入门到精通 第八十一课 ETL之kettle kettle中的json对象字段写入postgresql中的json字段正确姿势

1、上一节可讲解了如何将json数据写入pg数据库表中的json字段,虽然实现了效果,但若客户继续使用表输出步骤则仍然无法解决问题。正确的的解决方式是设置数据库连接参数当设置为时,pg JDBC 驱动将根据数据库列的实际数据类型来决定如何处理字符串数据。这意味着,驱动不会强制将所有字符串数据统一为某种特定的 Java 字符串类型。这通常意味着 JDBC 驱动会尽可能准确地反映数据库中的字符串数据类

文章图片
#etl#json#postgresql
kettle插件-kettle http post plus插件,轻松解决https post接口无法调用&文件流下载问题

摘要:本文演示了使用自研插件解决Kettle调用HTTPS POST接口时出现的SSL证书验证问题。通过OpenSSL生成自签名证书,使用Python搭建HTTPS测试接口。在Kettle中安装HttpPostPlus插件后,只需勾选useSSL选项即可成功绕过SSL验证调用接口,同时解决了中文乱码问题。该插件还支持二进制文件下载和重试等功能,完美解决了HTTPS接口调用中的常见问题。(148字)

#http#https#网络协议
    共 38 条
  • 1
  • 2
  • 3
  • 4
  • 请选择