spark连接mysql
·
一 查看虚拟机是否下载了mysql
1.1 是否安装mysql
sudo systemctl status mysql
使用该命令查看是否安装了mysql,安装成功之后,虚拟机显示如下:

1.2 建库建表语句
进入到mysql后,使用建表语句进行建库建表代码如下:
CREATE DATABASE test_db;
USE test_db;
CREATE TABLE employees (
id INT PRIMARY KEY,
name VARCHAR(50),
department VARCHAR(50)
);
INSERT INTO employees VALUES
(1, 'Alice', 'Engineering'),
(2, 'Bob', 'Sales'),
(3, 'Charlie', 'HR');
使用showtables命令查看有哪几张表

可使用sql语句查看数据是否插入到表中:

二 下载mysql JDBC驱动
2.1mysql官方下载
https://dev.mysql.com/downloads/connector/j/
可根据这个网页选择对应版本驱动下载,
-
解压后找到
mysql-connector-java-8.0.xx.jar(例如mysql-connector-java-8.0.33.jar) -
把这个 JAR 文件放到一个你知道的路径,比如:
/opt/jars/mysql-connector-java-8.0.33.jar
下图是我下载的位置:

三 pycharm编写连接代码
from pyspark.sql import SparkSession
# 路径没问题,保持原样
JAR_PATH = "/usr/local/spark/jars/mysql-connector-j-8.4.0.jar"
spark = SparkSession.builder \
.appName("MySQL Test") \
.config("spark.jars", JAR_PATH) \
.getOrCreate()
df = spark.read \
.format("jdbc") \
.option("url", "jdbc:mysql://192.168.101.329:3306/mydb") \
.option("driver", "com.mysql.cj.jdbc.Driver") \
.option("dbtable", "employees") \
.option("user", "hive") \
.option("password", "hadoop") \
.load()
df.show()
spark.stop()
注意:

四 pycharm中写入sql语句
如图点击

接着填入自己在虚拟机中的数据库相关设置,点击test查询连接

如图,表示连接成功,可以建库建表,并在虚拟机中的MySQL进行查询,这里,我建了一张汽车2表,并插入相关数据:

接着回虚拟机中进行查询,如图成功查询到了:

更多推荐


所有评论(0)