Spark3.4.0入门：通过idea编写spark程序使用JDBC连接数据库(DataFrame)

原创

已于 2024-04-23 08:19:54 修改 · 1.1k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#intellij-idea #spark #数据库 #intellij idea

于 2024-04-23 08:18:31 首次发布

本文详细介绍了如何在Linux环境下使用ApacheSpark3.4.0和Scala2.12.8版本连接MySQL8.0数据库，包括创建数据库、表，插入数据，以及编写Spark应用程序进行数据读写操作和SQL查询的示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

环境

idea2024版本
mysql8.0以上
mysql-connect8.0以上
scala2.12.8
spark3.4

首先，执行下面命令在Linux中启动MySQL数据库，并完成数据库和表的创建，以及样例数据的录入：

service mysql start
sudo mysql -u root -p

其次创建spark数据库

输入密码后，你就可以进入“mysql>”命令提示符状态，然后就可以输入下面的SQL语句完成数据库和表的创建：

mysql> create database spark;
mysql> use spark;
mysql> create table student (id int(4), name char(20), gender char(4), age int(4));
mysql> insert into student values(1,'Xueqian','F',23);
mysql> insert into student values(2,'Weiliang','M',24);
mysql> select * from student;

上面已经创建好了我们所需要的MySQL数据库和表，下面我们在idea里面编写Spark应用程序连接MySQL数据库并且读写数据。

首先，创建maven项目

编写pom.xml文件

<?xml version="1.0" encoding="UTF-8"?>
<project>
    <groupId>dblab</groupId>
    <artifactId>WordCount</artifactId>
    <modelVersion>4.0.0</modelVersion>
    <name>WordCount</name>
    <packaging>jar</packaging>
    <version>1.0</version>
    <repositories>
        <repository>