Hadoop集群常用命令

hadoop

• 上传文件

hadoop fs -put a.txt /a/b

• 下载文件

hadoop fs -get /a/b/* ./

• 查看文件

hadoop fs -ls /a/b

• 递归删除文件夹

hadoop fs -rm -r /a/b

• 分屏查看

hadoop fs -cat /a/b/* | more

• 把hdfs一堆小文件合并到本地的一个文件中

hadoop fs -cat /a/b/* >> test.csv

• 统计文件行数

hadoop fs -cat  /a* | wc -l

• 统计文件大小

hadoop fs -count -h /file

• du统计文件大小

hadoop fs -du -h / # 统计文件夹下每个文件的大小
hadoop fs -du -s -h /  #统计这个文件夹总大小，返回的数据是，文件夹大小，备份总大小
hadoop fs -count / # 统计文件数量，返回的数据是目录个数，文件个数，文件总计大小，输入路径

yarn

• 杀死yarn任务

yarn application -kill application_id

• 查看yarn日志

yarn logs -applicationId application_id > logs.txt

• 查看yarn正在运行的任务列表

yarn application -list

• 查找yarn已经完成的任务列表

yarn application -appStates finished -list

• 查找yarn所有任务列表

yarn application -appStates ALL -list