max_hello的博客

val buffer: mutable.Buffer[Object] = Row.unapplySeq(row).get.map(_.asInstanceOf[Object]).toBuffer buffer.append(要加的字段) val schema: StructType = row.schema.add("aaa", StringType)....

yarn rest api :yarn rest api sparkstreaming消息延迟监控处理:http://ip:8088/proxy/yarn _application_id/metrics/json

Spark性能调优之Shuffle调优    • Spark底层shuffle的传输方式是使用netty传输，netty在进行网络传输的过程会申请堆外内存（netty是零拷贝），所以使用了堆外内存。      • shuffle过程中常出现的问题 常见问题一：reduce oom?     问题原因：        reduce task 去map端获取数据，reduce一边拉取数据一...

打包    package     清除    clean 堆栈溢出 出现错误：java.lang.StackOverflowError 对于这个溢出，需要更改stack的大小，找到sbt的配置文件conf下的：sbtconfig.txt，添加内容： -Xss2m 内存溢出 出现错误：java.lang.OutOfMemoryError 常见的内存溢出现象，添加配置信息： -Xms6...

1.对于hadoop而言 如果hadoop没有启Kerberos或者从Kerberos获取的用户为null，那么获取HADOOP_USER_NAME环境变量，并将它的值作为Hadoop执行用户。如果我们没有设置HADOOP_USER_NAME环境变量，那么程序将调用whoami来获取当前用户，并用groups来获取用户所在组。 所以可以设置环境变量： export HADOOP_USER_NA...