大数据组件 Spark 面试题 + Spark 高频面试题

近几年在大数据领域 Spark 还是比较火的，它可以快速计算大量数据，TB 甚至 PB 级别，因为它是基于内存的计算，比 MapReduce 更快，更灵活。 不过 Spark 使用的不好，也会很慢，平时在使用的时候需要特别了解 Spark 的各项组件，参数调优等，否则很容易就造成数据倾斜。 里面有 Spark 的部署方式，spark core、spark sql、spark streaming 等组件的各种面试题，包括但不限于宽窄依赖、缓存、数据广播、shuffle以及数据倾斜的查看和解决方式等等 对于大数据（离线、在线）面试的同学还是很有帮助的 Spark是大数据处理领域中的一种重要工具，以其高效、快速的计算性能受到广泛关注。它通过内存计算，处理TB乃至PB级别的数据，比传统的MapReduce模型更快更灵活。然而，要充分发挥Spark的优势，理解其核心组件、参数调优以及解决数据倾斜等问题至关重要。 在面试中，关于Spark的常见问题可能涉及以下几个方面： 1. **Spark部署方式**： - Local：适用于单机开发和测试。 - Standalone：Spark自身提供的集群管理模式，基于Master-Slave架构。 - YARN：Spark任务与Hadoop的YARN资源管理器集成，支持client和cluster两种模式。 - Mesos：一种通用的集群管理系统，但在国内应用较少。 2. **Spark任务提交**： Spark任务通常通过shell脚本提交，例如`spark-submit`命令，配置如executor数量、内核数、内存大小等参数。 3. **Spark架构与作业提交流程**： - Spark架构包括Driver、Executor和Scheduler等组件，作业提交流程涉及Driver向资源管理器（如YARN的ResourceManager）申请资源，启动Executor，然后Executor执行任务。 - 在YARN的client模式下，Driver运行在客户端，而在cluster模式下，Driver由ApplicationMaster（AM）管理，运行在集群内部。 4. **血统概念（RDD）**： 血统（Lineage）是Spark对容错机制的设计，通过记录RDD的操作历史（Narrow Dependencies和Wide Dependencies）来重建数据。Narrow Dependencies允许在一个stage内并行化任务，而Wide Dependencies会导致stage划分，增加任务间的依赖。 5. **宽窄依赖和Stage划分**： - Stage是基于宽依赖关系划分的，Narrow Dependencies允许数据在同一个stage内高效传递，而Wide Dependencies需要跨stage处理，导致shuffle操作。 - Task的数量由stage中的partition数目决定，每个partition对应一个task。 6. **参数调优**： - `executor-cores`：调整每个executor使用的CPU核心数。 - `num-executors`：设置executor的数量，平衡内存和CPU资源。 - `executor-memory`：分配给每个executor的内存大小，需考虑JVM堆内存和非堆内存的需求。 - `driver-memory`：driver程序所需的内存，确保足够的资源来管理整个作业。 理解并掌握这些知识点，对于应对大数据领域的面试，特别是涉及Spark的岗位，将大有裨益。同时，解决数据倾斜问题也是实际工作中的一大挑战，这需要深入理解数据分布和并行处理的原理，合理配置Spark参数，以及优化数据处理逻辑。