logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【五】MySql8基于m2芯片arm架构Ubuntu24虚拟机安装

通过以上步骤,已经在 Ubuntu 上成功安装了 MySQL 8.0。接下来,可以开始在远程工具中访问数据库。

文章图片
#macos#mysql#ubuntu +1
【一】m2芯片的mac中安装ubuntu24虚拟机集群

修改完成后应用网络,使其生效,报这个警告是因为用了过时的语法,没关系。执行完应用新网络ip的命令后,当前终端窗口由于网络发生了变化,所以就会连接中断,需要重新连接新的ip。至此,ubuntu2已经复制完成,ubuntu1可以ping通ubuntu2的地址,同时也要确保ubuntu2可以ping通ubuntu1。这里对网络,网关,域名解析进行配置,原ip为172.16.167.131,这里修改为17

文章图片
#macos#linux#ubuntu
【二】Ubuntu24虚拟机在Mac OS的VMware Fusion下无法联网问题

网络地址转换 (NAT)是一种允许多台设备通过单一的公共IP地址访问互联网的技术。在 NAT 中,有一个专门的设备或软件,通常称为NAT 网关,负责将内部网络(私有IP地址)的流量转换为公共IP地址。将内部私有IP地址转换为公共IP地址。将内部设备的端口号与公共IP地址的端口号进行映射,以便正确路由流量。NAT 网关是用于将私有网络的流量转换为公共网络流量的关键设备。正确配置网关地址确保网络流量能

文章图片
#ubuntu#macos
【三】ubuntu24虚拟机集群配置免密登陆

通过上述步骤,成功为三台Ubuntu虚拟机配置域名映射和免密登录。这样,可以通过域名而不是IP地址访问每台机器,并且在每台机器之间进行免密SSH登录。当前三台ubuntu节点已经完成了虚拟机在vmware fusion中的部署,网络经过测试均已经互通,并且开机使用远程连接进行访问。在提示时按Enter键,使用默认文件路径,不设置密码短语。在每台机器上生成SSH密钥对,并将公钥分发到其他机器。这样,

文章图片
#ubuntu#macos#ssh
【Spark数仓项目】需求一:项目用户数据生成-ODS层导入-DWD层初步构建

本项目使用一台虚拟机,主机名Hadoop10,CentOS7系统。虚拟机服务器jdk选用1.8,包括完整生态的hadoop spark;本地主机为win11,scala2.12.17,在idea集成环境中编写。

文章图片
#spark#hadoop#大数据
Flink连接Hbase时的kafka报错:java.lang.NoClassDefFoundError: org/apache/kafka/common/utils/ThreadUtils

书接上文 【Flink实时数仓】需求一:用户属性维表处理-Flink CDC 连接 MySQL 至 Hbase 实验及报错分析http://t.csdn.cn/bk96r我隔了一天跑Hbase中的数据,发现kafka报错,但是kafka在这个代码段中并没有使用,原因就是我在今天的其他项目中添加的kafka依赖导致了冲突。

文章图片
#flink#hbase#kafka
实战Flink Java api消费kafka实时数据落盘HDFS

在Java api中,使用flink本地模式,消费kafka主题,并直接将数据存入hdfs中。

文章图片
#flink#java#kafka
接收Kafka数据并消费至Hive表

将Kafka中的数据消费到Hive可以通过以下简单而稳定的步骤来实现。这里假设的数据是以字符串格式存储在Kafka中的。创建Hive表:编写Kafka消费者脚本:Hive JDBC客户端:运行消费者脚本:这是一个基本的、简单的方式来实现从Kafka到Hive的数据流。这里的示例假设数据是以逗号分隔的字符串,实际上,需要根据数据格式进行相应的解析。这是一个简化的示例,真实场景中可能需要更多的配置和优

文章图片
#kafka#hive#linq
基于华为MRS3.2.0实时Flink消费Kafka落盘至HDFS的Hive外部表的调度方案

该需求为实时接收对手Topic,并进行消费落盘至Hive。在具体的实施中,基于华为MRS 3.2.0安全模式带kerberos认证的Kafka2.4、Flink1.15、Hadoop3.3.1、Hive3.1,调度平台为开源dolphinscheduler。本需求的完成全部参考华为官方MRS3.2.0开发文档,相关章节是普通版的安全模式。

文章图片
#华为#kafka#flink +2
    共 12 条
  • 1
  • 2
  • 请选择