19-释放缓存和缓存

spark是一款优秀的框架，计算性能相当优异，已经发展成大数据主流计算引擎，在spark开发过程中有很多优化的点。其中去除重复计算是非常重要的。一般操作调用cache/persist,来缓存中间结果，避免重复计算。其中cache是persist的一个特列（cache相当于persist()）。persist拥以下几个级别的缓存：NONE 默认配置（不缓存） DISK_ONLY 数据缓存到磁盘,...

在 Spark 中，persist()是一个非常强大的方法，用于将 RDD 或 DataFrame 持久化到内存、磁盘或其他存储介质中。与cache()方法相比，persist()提供了更多的灵活性，允许你指定不同的存储级别。这使得你可以根据具体需求优化性能和资源使用。

在Spark 中，cache()是用于优化计算性能的核心方法之一，但它有许多细节需要深入理解。以下是关于cache()cache()persist()cache()是的快捷方式，将数据以的形式存储在内存中。：调用cache()后，数据不会立即缓存，只有在首次触发（如count()show()collect()）时才会执行缓存。：默认使用，若内存不足，未缓存的分区会在后续需要时重新计算。：Spark 记录 RDD/DataFrame 的血缘关系（即生成该数据的操作步骤）。

cache

Spark相对于Hadoop MapReduce有一个很显著的特性就是“迭代计算”（作为一个MapReduce的忠实粉丝，能这样说，大家都懂了吧），这在我们的业务场景里真的是非常有用。   假设我们有一个文本文件“datas”，每一行有三列数据，以“\t”分隔，模拟生成文件的代码如下：    执行该代码之后，文本文件会存储于本地路径：/tmp/datas，它包含1000行测试数据，将其上传

博文内容为 Linux CPU 多级缓存认知内容涉及：什么是CPU多级缓存认知，CPU 硬件缓存信息，缓存流程写入策略，映射算法认知CPU 缓存分析，使用 valgring 和 Perf 分析CPU 缓存命中情况编码方面 CPU 缓存优化，数据指令缓存，多核缓存命中率优化方式理解不足小伙伴帮忙指正 😃,生活加油哦99%的焦虑都来自于虚度时间和没有好好做事，所以唯一的解决办法就是行动起来，认真做完事情，战胜焦虑，战胜那些心里空荡荡的时刻，而不是选择逃避。

1、一级缓存：（本地缓存）：sqlSession级别的缓存。一级缓存是一直开启的；SqlSession级别的一个Map与数据库同一次会话期间查询到的数据会放在本地缓存中。以后如果需要获取相同的数据，直接从缓存中拿，没必要再去查询数据库；一级缓存失效情况（没有使用到当前一级缓存的情况，效果就是，还需要再向数据库发出查询）： ①sqlSession不同。 ②sqlSession相同，查询条件不同.(当...

主从和哨兵可以解决高可用、高并发读的问题。但是依然有两个问题没有解决:海量数据存储问题高并发写的问题使用分片集群可以解决上述问题，分片集群特征:集群中有多个master，每个master保存不同数据。每个master都可以有多个slave节点master之间通过ping监测彼此健康状态搭建分片集群计划部署的节点信息如下：...

spark:清空程序运行时的所有（cache）缓存块 为啥要用到缓存   在我们编写spark程序的时候，经常会用到action算子，当程序执行到action操作的代码时，开始真正地执行计算，这个时候耗时比较长。然而，当我们程序里面的action算子计算出来的需要被多次使用的时候，为了不在让程序重复再次计算。将这个action算子计算的结果进行persist或者cache（缓存）的操作，可以节省程...

spark缓存清理机制 默认情况下，RDD是不缓存的，即计算完之后，下一次用需要重新计算。如果要避免重新计算的开销，就要将RDD缓存起来，这个道理谁都明白。但是，缓存的RDD什么时候去释放呢？这就用到了上面提到的弱引用。当我们调用persist缓存一个RDD时，会调用registerRDDForCleanup(this)，这就是将本身的RDD注册到一个弱引用中。当这个RDD变为不可达时，会自动将该RDD对象插入到referenceQueue中，等到下次GC时就会走doCleanupRDD分支。RDD可能保存

ContextCleaner是用于清理spark执行过程中内存，主要用于清理任务执行过程中生成的缓存RDD、Broadcast、Accumulator、Shuffle数据，防止造成内存压力。 ContextCleaner会在SparkContext创建过程中，被实例化： _cleaner = if (_conf.getBoolean("spark.cleaner.referen...

缓存和检查点区别 1）Cache缓存只是将数据保存起来，不切断血缘依赖。Checkpoint检查点切断血缘依赖。 2）Cache缓存的数据通常存储在磁盘、内存等地方，可靠性低。Checkpoint的数据通常存储在HDFS等容错、高可用的文件系统，可靠性高。 3）建议对checkpoint()的RDD使用Cache缓存，这样checkpoint的job只需从Cache缓存中读取数据即可，否则需要再从头计算一次RDD。 4）如果使用完了缓存，可以通过unpersist()方法释放缓存 最后使.

cache优化针对的是rdd_a不仅要计算得到rdd_b还要计算得到rdd_c，如果不cache再计算rdd_c时就要重新计算rdd_a，因为再计算完rdd_b时系统就以为a没用了就释放了。...

Spark 内存管理

aa

小文件会造成 nn 处理压力变大，大大降低了读取性能，整个 HDFS 文件系统访问缓慢，大量的小文件还会导致 nn 内存溢出，无法正常使用。以上参数调优都是临时调优，仅限于本次会话，如果想要永久设置的话只需要将参数配置到。可以先查看我们操作的数据量大小，然后用它去除以我们的集群块。一般情况数据量小的话，只需要设置前面两个参数就可以了。我的建议是，不如直接调用方法。新建了一个和其结构一样。新建了一个和其结构一样。