
HDFS
文章平均质量分 77
hyfstyle
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
CDH6离线部署
CDH6.3.1 离线安装部署 一、服务器准备,CDH相关安装包准备好 都上传到服务器/home 目录下 (一)修改hosts和hostname文件 更新 /etc/hosts 和 /etc/hostname 文件 用xshell或者CRT工具远程连接这些服务器,选中交互窗口,相同的命令输入 一键发送 # IP地址和主机名根据实际情况替换 echo "10.10.10.1 cdh001" >> /etc/hosts echo "10.10.10.2 cdh002" >> /etc/原创 2021-11-30 17:34:57 · 1990 阅读 · 0 评论 -
HIVE中用到的日期函数总结
hive获取当前时间 >select current_date from dual; -- 2019-03-15 >select current_timestamp from dual; --2019-03-15 15:47:25 hive 查询当月第几天 >select dayofmonth(current_date) dual; >15 hive 查...原创 2019-03-15 17:16:46 · 22631 阅读 · 0 评论 -
HDFS基础命令
创建目录命令 hdfs dfs -mkdir hdfs dfs -mkdir /user/hive/warehouse/hyfstyle --hadoop的mkdir命令会自动创建父目录 上传文件命令 将本地文件或目录上传到HDFS中hdfs dfs -put hdfs dfs -put /tmp/cd_dt_day.txt /user/hive/warehouse/hyfstyle/...原创 2019-04-12 15:25:58 · 352 阅读 · 0 评论 -
[Error Code: 0, SQL State: HY000] Disk I/O error: Failed to open HDFS file
impala上tdm库的order表的某月数据有异常,需要重新上传,order表是按年月日分区的parquet文件格式存储数据的;例如20191201那天真实情况是没有数据的,但是因为异常操作导致混入了20191201的数据,后面再insert overwrite table tdm.order时 因为分区的原因,已经混入的20191201这天的数据需要手动删除 文件; 手动删除hdfs目录下的文...原创 2020-05-20 17:15:03 · 4917 阅读 · 0 评论