sqoop快速安装

最新推荐文章于 2022-07-25 14:01:26 发布

AIMaynor

最新推荐文章于 2022-07-25 14:01:26 发布

阅读量382

点赞数 1

CC 4.0 BY-SA版权

分类专栏： # sqoop 大数据生态圈组件文章标签： hive hadoop big data

本文链接：https://blog.csdn.net/xianyu120/article/details/111874308

大数据生态圈组件同时被 2 个专栏收录

35 篇文章

订阅专栏

sqoop

6 篇文章

订阅专栏

本文介绍了sqoop-1.4.6的搭建过程。搭建环境需jdk1.8、hadoop分布式集群（HDFS），HIVE按需使用。详细说明了解压包、配置环境变量、拷贝驱动包等步骤，还提及安装前提、配置文件修改、验证启动等内容，最后给出一个常见Bug的解决参考链接。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

sqoop-1.4.6 搭建
sqoop搭建环境： jdk1.8 hadoop分布式集群（HDFS） HIVE（看使用情况）

下载网址：http://sqoop.apache.org/

在这里插入图片描述

强烈建议： sqoop1.4.6版本没有BUG

步骤：

1.解压包

2.配置sqoop环境变量，sqoop目录下的conf下拷贝sqoop-env-template.sh 为 sqoop-env.sh

3.将mysql驱动包mysql-connector-java-5.1.40.jar 拷贝到sqoop/lib 目录下

4.修改sqoop配置文件： sqoop-env.sh

export HADOOP_COMMON_HOME=/mydata/hadoop-2.7.4
export HADOOP_MAPRED_HOME=/mydata/hadoop-2.7.4
export HIVE_HOME=/mydata/hive-2.3.6
export ZOOCFGDIR=/mydata/zookeeper-3.4.5

5.将 hive-common-2.3.3.jar包拷贝到hive的lib目录下（需要用到hive时拷贝）

6.把java-json.jar添加到…/sqoop/lib目录（解决NoClassDefFoundError: org/json/JSONObject报错）
7.配置sqoop环境变量 /etc/profile

#sqoop
export SQOOP_HOME=/mydata/sqoop1.4.6
export PATH=$PATH:$ZOOKEEPER_HOME/bin:$SQOOP_HOME/bin

8.直接使用

==========================================================

安装sqoop的前提是已经具备java和hadoop的环境。
最新稳定版： 1.4.6
配置文件修改：

cd /export/server/sqoop/conf/
cp sqoop-env-template.sh  sqoop-env.sh
vim sqoop-env.sh
export HADOOP_COMMON_HOME=/export/server/hadoop
export HADOOP_MAPRED_HOME=/export/server/hadoop
export HIVE_HOME=/export/server/hive

加入mysql的jdbc驱动包

cp /export/server/hive/lib/mysql-connector-java-8.0.19.jar /export/server/sqoop/lib/

验证启动

bin/sqoop list-databases \
 --connect jdbc:mysql://node1:3306/ \
 --username root --password 123456

本命令会列出所有mysql的数据库。
到这里，整个Sqoop安装工作完成。

Bug:
找不到或无法加载主类 org.apache.sqoop.sqoop

https://blog.csdn.net/wscrf/article/details/80201455