
hadoop
旭旭_哥
码农一枚
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
sh调取sqoop脚本每天增量跑数据 从hadoop到关系型数据库
sh中调取sqoop每天增量懂啊关系型数据库中,看看吧 #!/bin/bash source ~/.bashrc set -x DAY=`date -d "$1 days ago" +%y-%m-%d` DAYI=`date -d "$1 days ago" +%Y%m%d` APPHOME="/opt/pig_home/bshare_etl/hdetl/app/pv_pl原创 2015-11-27 09:44:05 · 1384 阅读 · 0 评论 -
python调取hive 和sqoop之二
#!/usr/bin/python import time,os USER="wilson.zhou" PWD="YCt452uz" URL="jdbc:postgresql://10.1.1.230:5432/xmo_dw" day = time.strftime('%Y-%m-%d',time.localtime(time.time() -24*60*60))[2::] sql = ''原创 2015-11-26 16:28:50 · 2266 阅读 · 1 评论 -
用python调用hive和sqoop
来新公司了,要做一大坨的脚本调数据,看看用python怎么调这些东西, #!/usr/bin/python import time,os USER="wilson.zhou" PWD="YCt452uz" URL="jdbc:postgresql://10.1.1.230:5432/xmo_dw" day = time.strftime('%Y-%m-%d',time.localtime(t原创 2015-11-26 16:22:34 · 5106 阅读 · 0 评论 -
pig脚本记录,对于pig脚本跑批处理
最近用到了一个写pig脚本来批处理统计生成日志文件,具体的来看看吧: /* nohup pig -p INPUT=/staging/tracking/incoming/rtb.BJ.2015082516* -p SEID=9480 CheckIncomingData.pig & */ REGISTER pig-ext-1.0-SNAPSHOT.jar; REGISTER buzzads-b原创 2015-12-21 10:16:27 · 1464 阅读 · 0 评论