TEZ的安装以及测试

最新推荐文章于 2024-10-27 09:45:18 发布

Xlucas

最新推荐文章于 2024-10-27 09:45:18 发布

阅读量1.8k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： SQL on hadoop 文章标签： tez

本文链接：https://blog.csdn.net/paicMis/article/details/52216092

本文档详细介绍了TEZ 0.7.0版本与Hive 0.13不兼容的问题，以及如何进行安装和配置。首先，通过解压和上传TEZ包到HDFS，然后在Hadoop的配置文件中设置TEZ，接着讨论了两种使任务运行在TEZ上的方法，包括全局设置MapReduce使用TEZ和仅让Hive任务使用TEZ。在尝试配置Hive与TEZ的集成时，遇到了兼容性错误，解决方案是升级到Hive 0.14。最后，展示了成功运行TEZ任务的标志以及如何切换回MapReduce执行引擎。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

TEZ 0.5以后得版本和hive0.13不兼容

1、先解压编译好的tez包
tar -xvf tez-0.7.0.tar.gz -C /home/hadoop/tez
2、在hdfs上面创建一个目录，并且将tez包上传到hdfs上

[hadoop@master tez]$ hadoop fs -mkdir /tez

16/04/04 06:47:53 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

[hadoop@master tez]$ hadoop fs -put ../software/tez-0.7.0.tar.gz  /tez

16/04/04 06:48:19 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

[hadoop@master tez]$ hadoop fs -ls /tez

16/04/04 06:48:28 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
Found 1 items
-rw-r–r– 3 hadoop supergroup 39070341 2016-04-04 06:48 /tez/tez-0.7.0.tar.gz

3、需要在hadoop的master节点上面的 ${HADOOP_HOME}/etc/hadoop目录下面创建一个tez-site.xml文件，里面填写如下内容

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>tez.lib.uris

最低0.47元/天解锁文章

200万优质内容无限畅学