121.Yarn资源池的动态配置

最新推荐文章于 2024-11-26 17:24:13 发布

原创

最新推荐文章于 2024-11-26 17:24:13 发布 · 716 阅读

0 ·

CC 4.0 BY-SA版权

@大勇若怯任卷舒

文章标签：

#apache #json #java

该博客介绍了如何使用Cloudera Manager (CM) 的API接口进行操作，包括获取集群信息、设置Yarn资源池和刷新资源池的步骤。提供了Java代码示例，利用HttpClient库进行API调用，实现资源池的动态配置，并展示了具体配置的JSON格式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

121.1 获取CM的API接口

API的版本为v19
要用到的API接口说明

http://<cm_server>:7180/clusters
# 第一个接口用于获取集群的信息，如集群的名称，以供2、3接口使用
http://<cm_server>:7180/api/v19/clusters/{clusterName}/services/{serviceName}/config
# 第二个接口用于设置Yarn的资源池，接口中的{serviceName}修改为yarn
http://<cm_server>:7180/api/v19/clusters/{clusterName}/commands/poolsRefresh
# 第三个接口用于刷新Yarn的资源池

121.2 Java

pom.xml内容

<dependencies>
    <dependency>
        <groupId>org.apache.httpcomponents</groupId>
        <artifactId>httpclient</artifactId>
        <version>4.5.4</version>
    </dependency>
    <dependency>
        <groupId>net.sf.json-lib</groupId>
        <artifactId>json-lib</artifactId>
        <version>2.4</version>
        <classifier>jdk15</classifier>
    </dependency>
</dependencies>

HttpClient方式调用API接口

package com.cloudera.utils;

import org.apache.commons.lang.StringEscapeUtils;
import org.apache.http.HttpEntity;
import org.apache.http.HttpResponse;
import org.apache.http.auth.AuthScope;
import org.apache.http.auth.UsernamePasswordCredentials;
import org.apache.http.client.CredentialsProvider;
import org.apache.http.client.methods.HttpDelete;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.client.methods.HttpPut;
import org.apache.http.entity.StringEntity;
import org.apache.http.impl.client.BasicCredentialsProvider;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;

import java.io.IOException;
import java.net.URI;
import java.util.Map;

public class HttpUtils {

    /**
     * Get方式用户名和密码认证
     * @param url
     * @param headers
     * @param username
     * @param password
     * @return
     */
    public static String getAccessByAuth(String url, Map<String, String> headers, String username, String password) {
        String result = null;

        URI uri = URI.create(url);
        CredentialsProvider credsProvider = new BasicCredentialsProvider();