max_hello的博客

val buffer: mutable.Buffer[Object] = Row.unapplySeq(row).get.map(_.asInstanceOf[Object]).toBuffer buffer.append(要加的字段) val schema: StructType = row.schema.add("aaa", StringType)....

Hive 解锁操作 之前使用Hive，出现过一种情况：在代码正在执行insert into或insert overwrite时，中途手动将程序停掉，会出现卡死情况，只能执行查询操作，而drop insert操作均不可操作，无论执行多久，都会保持卡死状态，问同事有人遇到过，但是他的解决办法是……把表名换一个…… 后来废了九牛二虎之力，终于找到了一篇靠谱的博客，是说hive表被锁，需要解锁后，方可操作...

1、 hive分区 导数据到mysql#!/bin/bashMYSQL_BIN=/usr/local/mysql/bin#EOF #入口参数,获取脚本运行时间参数，默认参数为今天，与当前调度中的参数一致 echo $# if [ $# = 0 ]; then p_partition_d=`date -d "-1 days" +%Y%m%d` ...

1.对于hadoop而言如果hadoop没有启Kerberos或者从Kerberos获取的用户为null，那么获取HADOOP_USER_NAME环境变量，并将它的值作为Hadoop执行用户。如果我们没有设置HADOOP_USER_NAME环境变量，那么程序将调用whoami来获取当前用户，并用groups来获取用户所在组。所以可以设置环境变量：export HADOOP_USER_NA...