hadoop的shell编程操作

最新推荐文章于 2023-04-18 10:59:07 发布

望望

最新推荐文章于 2023-04-18 10:59:07 发布

阅读量397

点赞数

CC 4.0 BY-SA版权

文章标签： hadoop hdfs 大数据

本文链接：https://blog.csdn.net/qq_51260764/article/details/126950748

首先这些命令都是在开启hadoop，hdfs集群后使用的所以上述实验都是基于hadoop集群环境使用

剪切本地文件到hadoop中（本地文件上传完会消失）

hadoop fs  -moveFromLocal  本地文件路径  上传目标路径
举例
hadoop fs  -moveFromLocal  ./shuguo.txt  /sanguo

拷贝本地文件到hadoop中（本地文件上传完不会消失）

hadoop fs -copyFromLocal 本地文件路径 目标文件目录
hadoop fs -put 本地文件路径 目标文件目录
举例
hadoop fs -copyFromLocal weiguo.txt /sanguo
-put与-copyFromLocal相同，但是put更加简便所以生产环境更多使用put

追加文件内容到一个已经存在路径的末尾

hadoop fs -appendToFile 追加文件 目标文件

hadoop fs -appendToFile liubei.txt /sanguo/shuguo.txt

拷贝hadoop文件到本地

hadoop fs -copyToLocal hadoop文件地址 本地路径
hadoop fs -get hadoop文件地址 本地路径
示例
hadoop fs -get /sanguo/shuguo.txt ./shuguo2.txt
hadoop fs -copyToLocal /sanguo/shuguo.txt ./

接下来这部分hadoop，shell命令和linux类似，linux果然是永远的神

hadoop fs -ls /sanguo 查看文件目录

hadoop fs -cat /sanguo/shuguo.txt 显示文件内容

hadoop fs  -chmod 666  /sanguo/shuguo.txt 修改文件修改权限
-chgrp、-chmod、-chown：Linux文件系统中的用法一样

hadoop fs -mkdir /jinguo 创建文件

hadoop fs -cp /sanguo/shuguo.txt /jinguo 拷贝文件

hadoop fs -mv /sanguo/wuguo.txt /jinguo 移动文件，移动本地目录重命名

hadoop fs -tail /jinguo/shuguo.txt 显示末尾1kb的数据，非常有用，很多内容都是补充在末尾，方便查看

hadoop fs -rm /sanguo/shuguo.txt 删除文件
hadoop fs -rm -r /sanguo/shuguo.txt 递归删除文件或者文件夹

hadoop fs -du -s -h /jinguo 统计文件或者目录大小

hadoop fs -setrep 10 /jinguo/shuguo.txt 设置副本个数

以上就是常用的shell命令，这些命令在以后的学习中会大量使用，所以大家在学习过程中一定要多多尝试，多使用已达到熟练

以上内容参考尚硅谷

如有侵权联系删