大数据面试资料

一个Kafka的Message由一个固定长度的header和一个变长的消息体body组成 header部分由一个字节的magic(文件格式)和四个字节的CRC32(用于判断body消息体是否正常)构成。当magic的值为1的时候，会在magic和crc32之间多一个字节的数据：attributes(保存一些相关属性，比如是否压缩、压缩格式等等)；如果magic的值为0，那么不存在attributes属性 ### 大数据技术知识点解析 #### 一、Kafka Message结构 **Kafka Message** 是Kafka消息系统中数据的基本单位。每个Message由一个固定的Header和一个可变长度的Body组成。 - **Header**: 包含`magic`（魔术字节，指示文件格式版本）和`CRC32`（循环冗余校验码，用于验证Body的有效性）。如果`magic`值为1，则在`magic`和`CRC32`之间会有一个额外的字节`attributes`，用来存储如压缩方式等属性信息。如果`magic`值为0，则不会有`attributes`字段。 - **Body**: 存储实际的消息数据，长度可变。 **重要性**: - Kafka的Message设计保证了消息传输的可靠性和效率。 - `magic`字段的引入使得Kafka能够随着版本更新灵活地改变Message格式而不破坏向后兼容性。 - `attributes`字段允许Kafka支持更多高级特性，如压缩等。 #### 二、Hadoop基础知识 1. **HDFS数据存储负责程序**: 正确答案是 **c) Datanode**。 - **Datanode** 负责实际的数据存储。 - **NameNode** 主要负责管理文件系统的命名空间，包括文件和目录的元数据等。 - **Jobtracker** 和 **TaskTracker** 分别负责任务调度和任务执行。 - **SecondaryNameNode** 协助 **NameNode** 进行检查点操作。 2. **HDFS Block默认保存份数**: 正确答案是 **a) 3份**。 - HDFS默认情况下为了保证数据的高可用性和容错性，每个Block会被复制三份存放在不同的DataNode上。 3. **通常与NameNode在同一节点启动的程序**: 正确答案是 **d) Jobtracker**。 - 在早期版本的Hadoop中，**Jobtracker** 通常会与 **NameNode** 部署在同一台机器上。 - 新版本中推荐分开部署以提高系统的稳定性和性能。 4. **Hadoop作者**: 正确答案是 **c) Doug cutting**。 - **Doug Cutting** 是Hadoop项目的创始人之一。 5. **HDFS默认Block大小**: 正确答案是 **b) 64MB**。 - HDFS默认Block大小为64MB，在新版本中可能会调整为128MB。 6. **集群瓶颈**: 正确答案是 **c) 磁盘**。 - 在大多数场景下，磁盘I/O速度往往是集群性能的主要瓶颈。 7. **关于SecondaryNameNode**: 正确选项是 **c) 它的目的在于帮助NameNode合并编辑日志，减少NameNode启动时间**。 - **SecondaryNameNode** 的主要功能不是作为热备份，而是定期合并 **NameNode** 的元数据，以减小重启时的启动时间。 #### 三、Hadoop高级特性与集群管理 8. **集群管理工具**: 可选答案包括 **a) Puppet**, **b) Pdsh**, **c) Cloudera Manager**。 - **Puppet** 和 **Pdsh** 是常用的自动化部署工具。 - **Cloudera Manager** 提供了一整套Hadoop集群的管理解决方案。 9. **配置机架感知**: - 正确选项包括 **a) 如果一个机架出现问题，不会影响数据读写** 和 **b) 写入数据的时候会写到不同机架的DataNode中**。 - 机架感知可以显著提升Hadoop集群的可靠性。 - MapReduce框架也会利用机架感知机制来优化数据读取效率。 10. **Client端上传文件**: 正确答案是 **b) Client端将文件切分为Block，依次上传**。 - Client不会直接通过 **NameNode** 传递数据给 **DataNode**。 - **NameNode** 不负责Block复制工作，复制是由 **DataNode** 自动完成的。 11. **Hadoop运行模式**: 包括 **a) 单机版**, **b) 伪分布式**, **c) 分布式**。 - 单机版适用于测试环境。 - 伪分布式适合于单机上的调试和开发。 - 分布式是生产环境中常见的部署方式。 12. **Cloudera安装CDH方法**: 可选答案包括 **a) Cloudera Manager**, **b) Tarball**, **c) Yum**, **d) Rpm**。 - **Cloudera Manager** 提供图形化的安装和管理界面。 - **Tarball** 方式适合手动部署。 - **Yum** 和 **Rpm** 适用于自动化的批量部署。 13. **Ganglia监控与告警**: 错误判断。 - **Ganglia** 是一款强大的集群监控工具，但其本身并不具备告警功能。 - 可以结合其他工具如 **Nagios** 或 **Zabbix** 来实现监控与告警一体化。 14. **BlockSize可修改性**: 错误判断。 - **BlockSize** 是可以修改的配置项。 - 但在生产环境中，一般不会轻易改变，以免影响现有应用的兼容性。 15. **Nagios监控Hadoop集群**: 错误判断。 - **Nagios** 支持监控Hadoop集群。 - 可以通过插件扩展支持Hadoop特有的监控需求。 16. **SecondaryNameNode替代NameNode**: 错误判断。 - **SecondaryNameNode** 并不能替代 **NameNode** 的功能。 - 它的作用主要是协助 **NameNode** 减少重启时间。 17. **Cloudera CDH付费使用**: 错误判断。 - **Cloudera CDH** 是免费提供的。 - 但是，Cloudera还提供了企业级的支持和服务，这些服务需要付费购买。 18. **MapReduce支持语言**: 错误判断。 - **MapReduce** 并不仅限于支持Java。 - 任何能够编写Map和Reduce函数的语言都可以支持。 19. **Hadoop支持随机读写**: 错误判断。 - **HDFS** 主要针对批量读写进行了优化。 - 不支持随机读写操作。 20. **NameNode管理metadata**: 错误判断。 - **NameNode** 管理metadata，但不会每次都从磁盘中读取或写入。 - 大部分操作是在内存中完成的，以提高性能。 21. **NameNode保存Block位置信息**: 错误判断。 - **NameNode** 保存的是文件的Block列表以及每个Block所在DataNode的列表。 - 不直接保存Block的具体位置信息。 22. **DataNode与NameNode通信**: 错误判断。 - **DataNode** 通过周期性的心跳与 **NameNode** 保持通信。 - 使用的是短连接而不是长连接。 23. **Hadoop的安全措施**: 错误判断。 - **Hadoop** 并不自带严格的权限管理和安全措施。 - 通常需要借助第三方工具或插件实现。 24. **Slave节点磁盘大小**: 错误判断。 - Slave节点的磁盘大小并不是越大越好。 - 应该综合考虑性能、成本等因素合理配置。 25. **检测HDFS损坏块**: 正确判断。 - **hadoop dfsadmin –report** 命令可以用来检测HDFS损坏块。 26. **Hadoop默认调度器**: 正确判断。 - **FIFO** (First In First Out) 是Hadoop默认的作业调度策略。 27. **集群节点RAID配置**: 错误判断。 - 不建议所有节点都配置RAID。 - RAID可能会降低整体性能，并增加成本。 28. **NameNode单点问题**: 错误判断。 - 即使有多个副本，**NameNode** 仍然是单点故障。 - 需要采取其他措施来解决这个问题。 29. **Map槽**: 错误判断。 - 每个Map槽不是一个线程。 - 槽是指运行Map或Reduce任务的容器。 30. **InputSplit与Block**: 错误判断。 - **InputSplit** 并不等同于Block。 - InputSplit定义了输入数据的逻辑范围。 31. **NameNode WebUI端口**: 错误判断。 - **NameNode** 的WebUI端口默认是50070。 - 50030是 **JobTracker** 的WebUI端口。 32. **Hadoop环境变量HADOOP_HEAPSIZE**: 错误判断。 - **HADOOP_HEAPSIZE** 设置的是守护进程的堆内存大小，默认值不是200GB。 - 默认值通常是100MB。 33. **DataNode加入Cluster**: 正确判断。 - 如果日志报告不兼容文件版本，可能需要重新格式化 **NameNode**。 #### 四、实际应用场景案例分析 **案例**: 提取某日访问百度次数最多的IP。 - **算法思想**: 分而治之 + Hash。 - **步骤**: 1. 将所有日志按一定规则（如模1000）分割成多个小文件。 2. 对每个小文件中的IP地址进行频率统计。 3. 从中选出频率最高的IP及其出现次数。 4. 在这些最高频率的IP中找出全局最高频的IP。 **优势**: - 分散计算压力，提高了处理大规模数据的效率。 - 算法简单易实现。 **注意事项**: - 需要考虑IP地址的分布特点。 - 合理选择分割文件的数量以平衡计算负载。 - 注意处理并发读写操作以避免数据不一致的问题。 以上内容涵盖了从Kafka Message的基本结构到Hadoop核心概念和高级特性的详细介绍，以及一个具体的案例分析，旨在帮助读者全面理解大数据领域的关键技术点。