我不会敲代码a-CSDN博客

原创 hive on spark报错解决(基于hive-3.1.3和spark-2.3.0)

报以上问题时，博主给的方法是置换guava版本，实际有人存在，对就是我，置换版本之后hive之间无法启动了，那么又该如何解决呢？很简单，在该博主的步骤中上传spark纯净版jar下的jar包到hdfs上时，其实无需上传。这个包，已上传的删除即可正常运行！原作者：月亮给我抄代码他写的很详细。

2025-01-02 11:15:23 804 5

原创 hive架构简述

Hive起源于Facebook，Facebook公司有着大量的日志数据，而Hadoop是实现了MapReduce模式开源的分布式并行计算的框架，可轻松处理大规模数据。然而MapReduce程序对熟悉Java语言的工程师来说容易开发，但对于其他语言使用者则难度较大。因此Facebook开发团队想设计一种使用SQL语言对日志数据查询分析的工具，而Hive就诞生于此，只要懂SQL语言，就能够胜任大数据分析方面的工作，还节省了开发人员的学习成本。

2024-12-19 14:56:20 1204

原创常用网络协议简述

这些协议覆盖了从物理层到应用层的不同网络层次，它们共同构成了互联网的基础架构，使得数据能够在不同的设备和网络之间有效、安全地传输。网络协议是计算机网络中规定数据交换格式和交换规则的一套标准。

2024-12-19 14:55:26 594

原创 Springboot+Druid(可切换Hikari)+Mybatis-plus+mysql+hive的多数据源项目配置

Springboot+Druid(可切换Hikari)+Mybatis-plus+mysql+hive的多数据源项目配置

2024-12-19 09:46:56 1063

原创 Hive-4.0.1数据库搭建（可选配置用户名密码远程连接，涵盖切换为tez引擎）

1.官网下载tar包上传到服务器并解压（我这里解压到了hive目录):2.进入到conf目录，并复制模板配置文件进行修改：3.编写内容如下：4.重点注意：因为我们这里用的官方配置文件模板，还需要将hive-site.xml文件里的system:java.io.tmpdir全部修改成{system:java.io.tmpdir}全部修改成system:java.io.tmpdir全部修改成{java.io.tmpdir}，system:user.name全部修改成{system:user.name}全部

2024-12-14 13:08:53 1662

原创使用Nginx配置https协议访问项目

1.准备工作：nginx服务器以及ssl相关证书pem和key文件（阿里、华为腾讯等均可申请ssl）和域名。首先检查是否有如下模块。

2024-11-20 15:08:05 259

原创 netty简述

Netty主要用于快速开发可维护的网络服务器和客户端程序，它基于Java NIO（Non-blocking I/O，非阻塞I/O）的API，但提供了更高层次的抽象，使得开发者可以更容易地编写高性能和可扩展的网络应用。RPC框架的核心目的是通过网络通信实现不同程序之间的互操作性，隐藏底层的通信细节，使得开发者能够像调用本地函数一样调用远程函数。Java NIO（Non-blocking I/O，非阻塞I/O）是Java的一个提供了非阻塞的I/O操作的库，它在Java 1.4中引入。

2024-11-20 09:09:53 667

原创解决通过datax将Mysql数据迁移到hive数据库后数据错乱的问题（千万条数据）

如果数据中包含的长中文字符串内部包含了这些分隔符，或者由于编码问题导致换行符冲突，Hive在解析这些数据时就可能会出现错行或字段错位的情况，导致数据错乱。因此，当数据中包含长中文字符串时，使用ORC格式可以避免TextFile格式中由于分隔符冲突或编码问题导致的数据错乱，确保数据的完整性和准确性。在MySQL迁移到Hive的过程中，如果数据中包含长中文字符串，使用TextFile格式可能会导致数据错乱，而使用ORC格式则不会出现这个问题。这主要是因为TextFile和ORC文件格式在处理数据时的机制不同。

2024-11-19 13:36:01 357