陆山右的技术博客

kafka的message包括哪些信息一个Kafka的Message由一个固定长度的header和一个变长的消息体body组成header部分由一个字节的magic(文件格式)和四个字节的CRC32(用于判断body消息体是否正常)构成。当magic的值为1的时候，会在magic和crc32之间多一个字节的数据：attributes(保存一些相关属性，比如是否压缩、压缩格式等等)；如果magi...

备注：次博客为转载，方便自己学习进步，原作者地址，请点击此处电话一面：1、自我介绍hdfs架构、原理2、MR原理3、执行MR的过程中，使用了哪些函数？4、shuffer版本迭代的过程中更新了什么？5、kafka原理，从生产者生产产品到消费者消费过程是怎样的？5、flume框架的原理，soure有哪些？sink有哪些？6、hive如何去重？hive如何行转列？（内置函数）7、堆空...

2.7.  用mapreduce来实现下面需求？现在有10个文件夹,每个文件夹都有1000000个url.现在让你找出top1000000url。方法一：运用2个job，第一个job直接用filesystem读取10个文件夹作为map输入，url做key，reduce计算url的sum，下一个job map用url作key，运用sum作二次排序，reduce中取top100000001：...

Redis性能优化，单机增加CPU核数是否会提高性能1、根据业务需要选择合适的数据类型，并为不同的应用场景设置相应的紧凑存储参数。2、当业务场景不需要数据持久化时，关闭所有的持久化方式可以获得最佳的性能以及最大的内存使用量。3、如果需要使用持久化，根据是否可以容忍重启丢失部分数据在快照方式与语句追加方式之间选择其一，不要使用虚拟内存以及diskstore方式。4、不要让你的Redis所在机...

2.13. 简述hadoop的调度器FIFO schedular：默认，先进先出的原则Capacity schedular：计算能力调度器，选择占用最小、优先级高的先执行，依此类推Fair schedular：公平调度，所有的job具有相同的资源。2.14. 列出你开发mapreduce的语言java2.15. 书写程序wordcountmapper：String vStr = ...

2.23. 我们开发job时，是否可以去掉reduce阶段。可以。设置reduce数为0 即可。2.24. datanode在什么情况下不会备份datanode在强制关闭或者非正常断电不会备份。2.25. combiner出现在那个过程出现在map阶段的map方法后等。2.26. hdfs的体系结构hdfs有namenode、secondraynamenode、datanode组成。...

2）HashMap和HashTable，ArrayList和Vector，ArrayList和LinkedList的区别1 HashMap不是线程安全的hashmap是一个接口 是map接口的子接口，是将键映射到值的对象，其中键和值都是对象，并且不能包含重复键，但可以包含重复值。HashMap允许null key和null value，而hashtable不允许。2  HashTable...

 3.141、一个Hadoop环境，整合了HBase和Hive，是否有必要给HDFS和Hbase都分别配置压缩策略？请给出对压缩策略的建议。hdfs在存储的时候不会将数据进行压缩，如果想进行压缩，我们可以在向hdfs上传数据的时候进行压缩。1）、  采用压缩流//压缩文件public static void compress(String codecClassName) thro...

9. 面试问题:1.从前到后从你教育背景(学过哪些课)到各个项目你负责的模块,问的很细(本以为他是物理学博士,但是所有的技术都懂)2.hadoop 的 namenode 宕机,怎么解决先分析宕机后的损失，宕机后直接导致client无法访问，内存中的元数据丢失，但是硬盘中的元数据应该还存在，如果只是节点挂了，重启即可，如果是机器挂了，重启机器后看节点是否能重启，不能重启就要找到原因修复了。...

数据库开发工程师（高级）工作职责描述：1、负责数据仓库建模、调度系统的设计和开发2、负责数据仓库流程的优化及解决相关技术问题3、规划业务相关的数据主题建设，制定数据治理方案职位技能要求：1、计算机专业本科及以上学历，3年以上相关工作经验，其中1年以上的项目管理经验，其中1年以上的项目管理和金融行业项目开发的经验。2、深入理解数据仓库理论与体系架构，具有大型数据仓库架构设计、模型设计优...