一  查看虚拟机是否下载了mysql

1.1 是否安装mysql

sudo systemctl status mysql 

使用该命令查看是否安装了mysql,安装成功之后,虚拟机显示如下:

1.2 建库建表语句

进入到mysql后,使用建表语句进行建库建表代码如下:

CREATE DATABASE test_db;
USE test_db;

CREATE TABLE employees (
    id INT PRIMARY KEY,
    name VARCHAR(50),
    department VARCHAR(50)
);

INSERT INTO employees VALUES
(1, 'Alice', 'Engineering'),
(2, 'Bob', 'Sales'),
(3, 'Charlie', 'HR');

使用showtables命令查看有哪几张表

可使用sql语句查看数据是否插入到表中:

二 下载mysql JDBC驱动

2.1mysql官方下载

https://dev.mysql.com/downloads/connector/j/

可根据这个网页选择对应版本驱动下载,

  1. 解压后找到 mysql-connector-java-8.0.xx.jar(例如 mysql-connector-java-8.0.33.jar)

  2. 把这个 JAR 文件放到一个你知道的路径,比如:

    /opt/jars/mysql-connector-java-8.0.33.jar

下图是我下载的位置:

三 pycharm编写连接代码

from pyspark.sql import SparkSession

# 路径没问题,保持原样
JAR_PATH = "/usr/local/spark/jars/mysql-connector-j-8.4.0.jar"

spark = SparkSession.builder \
    .appName("MySQL Test") \
    .config("spark.jars", JAR_PATH) \
    .getOrCreate()

df = spark.read \
    .format("jdbc") \
    .option("url", "jdbc:mysql://192.168.101.329:3306/mydb") \
    .option("driver", "com.mysql.cj.jdbc.Driver") \
    .option("dbtable", "employees") \
    .option("user", "hive") \
    .option("password", "hadoop") \
    .load()

df.show()
spark.stop()

注意:

四 pycharm中写入sql语句

如图点击

接着填入自己在虚拟机中的数据库相关设置,点击test查询连接

如图,表示连接成功,可以建库建表,并在虚拟机中的MySQL进行查询,这里,我建了一张汽车2表,并插入相关数据:

接着回虚拟机中进行查询,如图成功查询到了:

更多推荐