止步听风-CSDN博客

原创 Spark本地使用SQL数据源报错：java.lang.ClassNotFoundException: com.mysql.cj.jdbc.Driver

这里提示没有对应的SQL驱动，需要下载对应对应的驱动程序并在pyspark启动时将对应的路径传入才可以。这里梳理下本地部署MySQL服务和SQLite服务，并连接对应的驱动程序过程。

2025-06-28 11:02:26 470

原创 JAVA下运行Spark程序报错：Could not locate Hadoop executable

提示找不到在hadoop下找不到winutils.exe。

2025-06-27 21:44:43 171

原创 JAVA下运行Spark程序报错：A master URL must be set in your configuration

这里提示需要配置master url。该报错可以通过两种方式解决。

2025-06-27 21:32:28 116

原创 IDEA项目文件夹突然变黄，Project层级下文件全部消失

在使用IDEA进行开发时，Project层级下文件全部消失，在Project Files看到消失的文件和目录全部为黄色，不知道什么原因出现的。

2025-06-27 21:16:42 128

原创 pyspark从数据源创建表报错：org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat

下载项目文件到本地，选择对应hadoop版本中的bin目录下的hadoop.dll和winutils.exe文件拷贝到 C:\Windows\System32目录中。因此winutils是Hadoop在Windows上安装和使用的前提条件，如果没有winutils，在Windows上使用Hadoop可能会遇到未知的问题。winutils是由社区开发的工具，其模拟了Hadoop在Unix系统中的一些环境和命令，解决了Windows和Hadoop的兼容性问题。并添加Spark的bin目录到环境变量中。

2025-06-26 22:08:23 470

原创 Postman调用HTTPS接口报错：SSL Error:Self signed certificate in certificate chain

该设置在File>Settings>General>SSL certificate verification。，关闭SSL认证即可。

2025-06-26 21:24:10 184

原创 Ubuntu安装libcurl

libcurl是跨平台的网络协议库，其支持如下功能：安装方法安装libcurl的方式相对比较简单，直接使用apt就可以：

2025-06-09 21:32:35 598

原创 Ubuntu构建paho.mqtt.c

该工具是C语言的三方库，用于构建MQTT的客户端。该工具能够使应用连接到MQTT broker，以进行发布/订阅消息，完成同一物联网络内的通信。

2025-06-09 21:25:22 180

原创 Ubuntu构建cJSON

cJSON是一个轻量级的JSON解析器，用于C语言。该项目只有两个核心文件：cJSON.h和cJSON.c，并且该工具不依赖任何外部库，具有较高的可移植性和低耦合性。

2025-06-09 21:14:37 117

原创 Windows下CMake编译报错：The CMAKE_C_COMPILER: cl is not a full path and was not found in the PATH.

【代码】Windows下CMake编译报错：The CMAKE_C_COMPILER: cl is not a full path and was not found in the PATH.

2025-05-28 22:00:13 298

原创 Flink Web UI无法访问

Flink版本：1.14.6。java版本：1.8。

2025-04-27 22:08:47 396

原创利用python进行数据分析——pandas基础

这里主要是对《利用python进行数据分析》的学习，原书的电子版地址为：不知道这个项目是不是译者或者是什么好心人整理的。

2024-02-19 11:42:50 1127

原创利用python进行数据分析——Numpy基础

这里主要是对《利用python进行数据分析》的学习，原书的电子版地址为：不知道这个项目是不是译者或者是什么好心人整理的。这里主要记录下Numpy的常用内容。

2024-02-04 17:57:43 1137 1

原创 python第三方库——datetime

这里的datetime不能说是第三方库，因为datetime是python的内建模块，不需要额外的安装。

2024-02-03 17:47:54 689

原创利用python进行数据分析——基本内容

不知道这个项目是不是译者或者是什么好心人整理的。这里不准备对数据分析或者是使用python的背景这些东西做过多的解释，先来看下Ipython和jupyter。

2024-02-02 17:32:04 971

原创 python第三方库——selenium依赖的chromedriver

在自动化测试和爬取网络数据时，如果不需要与网页做交互操作，即只对当前页面获取到的内容进行处理的话，是不需要用到selenium的。但是如果你感兴趣的网页内容还要通过与网页交互才能够得到，那么就需要使用到selenium，selenium 可以模拟用户在浏览器上的行为，比如点击，输入等，从而达到自动的效果。但是selenium还需要浏览器对应的驱动包才能够对浏览器进行操作，以chrome为例，对应的就是chromedriver。

2024-02-02 13:28:11 748

原创 python第三方库——pyinstaller

puinstaller是一个phthon库，可以将不同平台上的python文件打包为独立的可执行文件(如exe)，即可以将python文件或python项目及其依赖项打包到单独的可执行文件中，从而可以在其它机器上运行，而无需为其配置相关环境。同时有些工具的分发如果不想让第三方看到源代码，或者有些涉密需求的话，也可以使用该工具对原始代码进行隐藏。

2024-01-13 21:33:19 975