The palest ink is better than the best memory

情况说明：数据以parquet文件形式保存在HDFS上，数据中的某一列包含了日期（例如：2017-12-12）属性，根据日期对数据分区存储，如下图所示： 项目需求： 在项目中想要读取某一个月的数据，肿么办？ 解决方法： spark中读取本地文件的方法如下:sparkSession.read.parquet("hdfs://path")方法一： 要读取多个文件，文件的路径中有一段公共路径

Apache Spark探秘：多进程模型还是多线程模型？ 原文链接

问题描述1.虽然目前大多数平台内置Application在提交时，只配置了–num-executors和–executor-memory参数，但是其他APP的开发者可能会配置–executor-cores参数。举个例子：./spark-submit –master yarn-client –executor-cores 4 –num-executors 6 –executor-memory...

问题描述：在集群运行过程中发现一旦主备切换后，原来正常运行的任务在新的主节点上不能自动从启解决方法：在yarn-site.xml中增加以下配置项：<property> <description>Enable RM to recover state after starting. If true, then yarn.resourcemanager.stor...

问题描述：在集群上同时提交多个任务，但是发现集群的资源还有很多，但是任务却无法起来,一直处于Accepted状态解决方法：这种情况一般是由于yarn可调度的资源不够而并非集群的资源不够，修改Hadoop/etc/hadoop/capacity-scheduler.xml，将value从0.1改为0.5，增加yarn可调度的资源数<property> <name&g...

不同数据格式特点1). AVRO:主要为行存储设计的主要目标是为了满足schema evolutionschema和数据保存在一起2). ORC：面向列的存储格式由Hadoop中RC files 发展而来，比RC file更大的压缩比，和更快的查询速度Schema 存储在footer中不支持schema evolution为hive而生，在许多non-hive MapR...

一、概述Structed Streaming 是一个可扩展和容错能力构建与Spark Sql引擎上的流处理引擎。你可以像采用批次处理静态数据一样处理流式数据。随着流数据的不断流入，Sparksql引擎会增量的连续不断的处理并且更新结果。可以使用DataSet/DataFrame的API进行 streaming aggregations, event-time windows, stream-to...