hadoop使用LinuxContainerExecutor后使用root用户提交任务报错--源码修改

最新推荐文章于 2024-12-23 22:57:45 发布

猿侠令狐冲

最新推荐文章于 2024-12-23 22:57:45 发布

阅读量988

点赞数 2

CC 4.0 BY-SA版权

分类专栏： yarn hadoop 文章标签： hadoop java

本文链接：https://blog.csdn.net/u012736748/article/details/108384676

hadoop 同时被 2 个专栏收录

4 篇文章

订阅专栏

yarn

1 篇文章

订阅专栏

在Hadoop3.2.1版本中，配置cgroup进行YARN CPU资源隔离后，使用root用户提交任务失败。源码检查显示，LinuxContainerExecutor(LCE)禁止root用户提交任务。解决方法涉及修改源码并重新编译。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题描述

在hadoop3.2.1的版本中，配置cgroup对yarn的cpu资源进行隔离之后，发现，使用root用户在yarn上提交任务时，无法提交成功，并会报错：

Runing as root is not allowed!

最后将这些错误在源码中搜索发现以下内容：

/**
 * Is the user a real user account?
 * Checks:
 *   1. Not root
 *   2. UID is above the minimum configured.
 *   3. Not in banned user list
 * Returns NULL on failure
 */
struct passwd* check_user(const char *user) {
  if (strcmp(user, "root") == 0) {
    fprintf(LOGFILE, "Running as root is not allowed\n");
    fflush(LOGFILE);
    return NULL;
  }

原来是在源码里写明了在开启了LCE(LinuxContainerExecutor)后。LCE不能使用root用户提交任务，会检查user信息。

问题本质

user信息的检查会在org.apache.hadoop.mapreduce.job的init阶段执行。
Container启动的过程大致如下：
资源本地化——启动container——运行container——资源回收

问题解决

在\hadoop-3.2.1-src\hadoop-yarn-project\hadoop-yarn\hadoop-yarn-server\hadoop-yarn-server-nodemanager\src\main\native\container-executor\impl\container-executor.c 中，找到上述的代码片段，并注释如下：

/**
 * Is the user a real user account?
 * Checks:
 *   1. Not root
 *   2. UID is above the minimum configured.
 *   3. Not in banned user list
 * Returns NULL on failure
 */
struct passwd* check_user(const char *user) {
//  if (strcmp(user, "root") == 0) {
//    fprintf(LOGFILE, "Running as root is not allowed\n");
//    fflush(LOGFILE);
//    return NULL;
//  }
  char *min_uid_str = get_value(MIN_USERID_KEY);
  int min_uid = DEFAULT_MIN_USERID;
  if (min_uid_str != NULL) {
    char *end_ptr = NULL; 
 。。。。。。
 。。。。

然后将代码重新编译即可。