Ubuntu18.04 pyspark连接mysql8.0之配置JDBC(java database connector)

yancy_em

于 2019-04-24 11:03:57 发布

阅读量1.6k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： spark python ubuntu 配置

本文链接：https://blog.csdn.net/qq_42517334/article/details/89488609

本教程详细介绍了如何在 Ubuntu 18.04 上配置 pyspark 以连接 MySQL 8.0 数据库。首先，从官方网站下载 JDBC 驱动文件并将其复制到 Spark 的 jars 目录下。接着，启动 MySQL 数据库并创建名为 'spark' 的数据库及 'student' 表。最后，通过 pyspark 添加 JDBC 驱动参数，成功连接数据库并读取数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

下载JDBC驱动文件

https://dev.mysql.com/downloads/connector/j/
操作系统选择 Platform Independent，下载mysql-connector-java-***.tar.gz 文件
Shell 命令：
$ cd ~/Downloads
$ ls
就可以看到刚才下载到的MySQL的JDBC驱动程序，文件名称为mysql-connector-java-***.tar.gz（你下载的版本可能和这个不同）。

现在，使用下面命令，把该驱动程序拷贝到spark的安装目录下：

$ sudo tar -zxf ~/Downloads/mysql-connector-java-***.tar.gz -C /usr/local/spark/jars
$ cd /usr/local/spark/jars
$ ls
这时就可以在/usr/local/spark/jars目录下看到这个驱动程序文件所在的文件夹mysql-connector-java-***，进入这个文件夹，就可以看到驱动程序文件mysql-connector-java-***-bin.jar。

启动mysql

请输入下面命令启动已经安装在Linux系统中的mysql数据库（如果前面已经启动了MySQL数据库，这里就不用重复启动了）。
$ service mysql start
$ mysql -u root -p
输入密码之后创建名为”spark“的数据库并且创建表”student“，mysql命令行输入如下(语句后添加分号表示结束)：
mysql> create database spark;
mys