CDH6.2.0集群的下载及安装1、vmware esxi上克隆虚拟机1、克隆虚拟机前先关闭虚拟机电源。2、在左边导航栏 ，存储 项目里 点击 数据存储浏览器 。3、上边可以看到相关的以虚拟机命名的一些目录，目录下的文件夹名一般是虚拟机名称，创建虚拟机时按虚拟机名称创建了同名文件夹。4、点击上方“创建目录”按钮，输入文件夹名，建议和想要新建的虚拟机名称一致，便于维护。5.然后进入需要复制的虚拟机目

参数高效微调PEFT(二)快速入门P-Tuning、P-Tuning V2

canal1.1.4的安装一、找到 MySQL 配置文件的位置➢ Linux: /etc/my.cnf如果/etc 目录下没有，可以通过 locate my.cnf 查找位置➢ Windows: \my.ini➢ 在 mysql 的配置文件下,修改配置在[mysqld] 区块log-bin=mysql-bin #添加这一行就okbinlog-format=ROW #选择row模式server_id

kafka-manager 的下载及安装

往kafka发送消息，提供三种构造函数形参:-- ProducerRecord(topic, partition, key, value)-- ProducerRecord(topic, key, value)-- ProducerRecord(topic, value)注：<1> 若指定Partition ID,则PR被发送至指定Partition；<2> 若未指定Par

行为数据ods到dwd层采集的日志数据已经保存到 Kafka 中，作为日志数据的 ODS 层，从 Kafka 的ODS 层读取的日志数据分为 3 类, 页面日志、启动日志和曝光日志。这三类数据虽然都是用户行为数据，但是有着完全不一样的数据结构，所以要拆分处理。将拆分后的不同的日志写回 Kafka 不同主题中，作为日志 DWD 层。(1) 识别新老用户工具类本身客户端业务有新老用户的标识，但是不够准

利用flink cdc将业务数据库到ods(kafka)（1）主要代码package com.yyds.app.ods;import com.alibaba.ververica.cdc.connectors.mysql.MySQLSource;import com.alibaba.ververica.cdc.connectors.mysql.table.StartupOptions;import

业务数据从ods到dwd中数据的动态分流从 Kafka 的业务数据 ODS 层读取数据，经过处理后， 将维度数据保存到 HBase，将事实数据写回 Kafka 作为业务数据的 DWD 层。一般把维度数据写入存储容器，一般是方便通过主键查询的数据库比如HBase,Redis,MySQL 等。这里需要一种动态配置方案，把这种配置长期保存起来，一旦配置有变化，实时计算可以自动感知。这里使用广播流进行实现

使用maxwell同步增量数据maxwell基本使用及配置参考:离线数仓(3) maxwell的安装及其使用使用maxwell将增量数据同步到kafka中，然后再利用flume将kafka中的数据同步到hdfs中maxwell配置# tl;dr configlog_level=infoproducer=kafkakafka.bootstrap.servers=server15:9092,serve

自定义反序列化器(1)java序列化器生成的数据SourceRecord{sourcePartition={server=mysql_binlog_source},sourceOffset={ts_sec=1648039948, file=mysql-bin.000064, pos=2881, row=1, server_id=1, event=2}} ConnectRecord{topic='m