【Sqoop安装与配置】

最新推荐文章于 2025-06-02 11:55:56 发布

原创最新推荐文章于 2025-06-02 11:55:56 发布 · 2k 阅读

15 ·

CC 4.0 BY-SA版权

文章标签：

#sqoop #hadoop #hive

1.Sqoop安装环境准备

1.1Sqoop版本统一使用 Sqoop 1.4.7，下载地址：https://archive.apache.org/dist/sqoop/1.4.7/

1.2准备Sqoop运行依赖 jar包：

2.Sqoop安装配置

2.1. 将Sqoop安装包上传至目录 /home/hadoop/opt/soft (使用WinSCP)。

2.2切换至用户 hadoop。

su hadoop

2.3将安装包解压至目录 /home/hadoop/opt/soft，修改安装目录名称

cd /home/hadoop/opt/soft/
tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /home/hadoop/opt/app/
cd /home/hadoop/opt/app
mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop

2.4将 Sqoop的安装路径更新至环境变量，刷新环境变量

vim ~/.bashrc

# 将以下内容插入文件中

export SQOOP_HOME=/home/hadoop/opt/app/sqoop/
export PATH=${SQOOP_HOME}/bin:$PATH

source ~/.bashrc

2.5将Sqoop运行依赖 jar包上传至安装目录中的子目录lib。

2.6修改文件 /home/hadoop/opt/app/sqoop/bin/sqoop的配置。(建议用WinSCP中的编辑功能改)

vim /home/hadoop/opt/app/sqoop/bin/sqoop
exec ${HADOOP_COMMON_HOME}/bin/hadoop org.apache.sqoop.Sqoop "$@" 
以上语句修改为如下：

exec ${HADOOP_COMMON_HOME}/bin/hadoop jar $SQOOP_HOME/lib/sqoop-1.4.7-hadoop260.jar org.apache.sqoop.Sqoop "$@"

2.7进入目录 /home/hadoop/opt/app/sqoop/conf/，复制 sqoop-env-template.sh为sqoop-env.sh。(建议用WinSCP中的编辑功能改)

cd /home/hadoop/opt/app/sqoop/conf/
cp sqoop-env-template.sh sqoop-env.sh
vim sqoop-env.sh

# 在文件 sqoop-env.sh中插入如下信息：
export HADOOP_COMMON_HOME=/home/hadoop/opt/app/hadoop
export HADOOP_MAPRED_HOME=/home/hadoop/opt/app/hadoop