没有合适的资源?快使用搜索试试~ 我知道了~
Sqoop介绍 Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以使用Sqoop将数据从MySQL或Oracle等关系数据库管理系统(RDBMS)导入Hadoop分布式文件系统(HDFS),在Hadoop MapReduce中转换数据,然后将数据导出回RDBMS,在不使用ETL工具情况下使用sqoop是迁移数据的一个方案。 官方文档:http://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html sqoop的数据导入 语法:sqoop import (generic-args) (import-args) 常用参数 -co
资源推荐
资源详情
资源评论

格式:pdf 资源大小:508.4KB 页数:4





格式:docx 资源大小:96.2KB 页数:14











格式:docx 资源大小:24.2KB 页数:7















Sqoop同步数据命令同步数据命令
Sqoop介绍介绍
Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以使用Sqoop将数据从MySQL或Oracle等关系数据
库管理系统(RDBMS)导入Hadoop分布式文件系统(HDFS),在Hadoop MapReduce中转换数据,然后将数据导出回
RDBMS,在不使用ETL工具情况下使用sqoop是迁移数据的一个方案。
官方文档:http://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html
sqoop的数据导入的数据导入
语法:sqoop import (generic-args) (import-args)
常用参数
-connect jdbc 连接地址
–connection-manager 连接管理者
–driver 驱动类
–hadoop-mapred-home $HADOOP_MAPRED_HOME
–help help 信息
-P 从命令行输入密码
-m 指定maptask的个数,指定maptask的并行度
–target-dir 指定导出数据在hdfs上的存储目录
–fields-terminated-by 指定每条记录中字段之间的分隔符
–where 指定查询sql的where条件
–query 指定sql查询
–columns 指定查询的列 (不指定默认导出所有的列)
–password 密码
MySQL —> HDFS
不指定分隔符和路径
sqoop import \
–connect jdbc:mysql://hadoop01:3306/test \ #指定连接
–username hadoop \ #指定MySQL的用户名
-password root \ #指定MySQL的密码
–table book \ #指定导出的MySQL的表
-m 1 #启动一个maptask
###如果没有指定文件的存储目录,那么默认的会保存在hdfs上的/user/用户/book 目录中,默认的字段分隔符是逗号。
指定导入路径和分割符
sqoop import \
–connect jdbc:mysql://hadoop01:3306/test \
–username hadoop \
–password root \
–table book \
–target-dir /user/hadoop/book \ #指定导出的HDFS目录
资源评论


weixin_38706951
- 粉丝: 4
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助


最新资源
- 【Python爬虫】从请求到数据存储全流程指南:涵盖网络请求、HTML解析与数据处理基础教程
- 由百度文心大模型驱动的 AirSim 无人机系统
- Selenium测试版浏览器和驱动
- 基于OpenCV的工业机器视觉软件开发.pdf
- 基于百度文心大模型驱动airsim无人机
- Python在图书情报学的应用与扩散研究.pdf
- 基于ELF文件恢复的Linux内存取证技术研究.caj
- 基于MATLAB地下水溶质运移预测模型的构建.pdf### 文章总结
- 管理系统源码-Python编程-基于SQLite的用户管理系统实现:涵盖CRUD功能的数据库操作入门教程
- 用于调用生成式大语言模型的 API 服务器系统
- 全国小区数据(包含字段:小区名、省份、城市、区域、地址、纬度(百度地图)、经度(百度地图)、纬度(GPS)、经度(GPS)、物业费
- 【大模型 NLP 算法付费干货大礼包】一站式拥有,学习科研工作全无忧!
- SQL Server 2000权威指南:从入门到精通
- 一项基于大模型的App隐私开关探测技术
- python 练习题 ,python 题目
- python 练习题,python 三角形题目
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈



安全验证
文档复制为VIP权益,开通VIP直接复制
