"C:\Program Files\Java\jdk1.8.0_144\bin\java.exe" "-javaagent:D:\Idea 2024\IntelliJ IDEA 2024.3.1.1\lib\idea_rt.jar=65415:D:\Idea 2024\IntelliJ IDEA 2024.3.1.1\bin" -Dfile.encoding=UTF-8 -classpath "C:\Program Files\Java\jdk1.8.0_144\jre\lib\charsets.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\deploy.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\ext\access-bridge-64.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\ext\cldrdata.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\ext\dnsns.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\ext\jaccess.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\ext\jfxrt.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\ext\localedata.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\ext\nashorn.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\ext\sunec.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\ext\sunjce_provider.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\ext\sunmscapi.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\ext\sunpkcs11.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\ext\zipfs.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\javaws.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\jce.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\jfr.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\jfxswt.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\jsse.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\management-agent.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\plugin.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\resources.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\rt.jar;D:\code\Hbase_hadoop\HomeWork1\target\classes;D:\maven\local repository\junit\junit\3.8.1\junit-3.8.1.jar;D:\maven\local repository\org\apache\hadoop\hadoop-client\2.8.5\hadoop-client-2.8.5.jar;D:\maven\local repository\org\apache\hadoop\hadoop-hdfs-client\2.8.5\hadoop-hdfs-client-2.8.5.jar;D:\maven\local repository\com\squareup\okhttp\okhttp\2.4.0\okhttp-2.4.0.jar;D:\maven\local repository\com\squareup\okio\okio\1.4.0\okio-1.4.0.jar;D:\maven\local repository\org\apache\hadoop\hadoop-mapreduce-client-app\2.8.5\hadoop-mapreduce-client-app-2.8.5.jar;D:\maven\local repository\org\apache\hadoop\hadoop-mapreduce-client-common\2.8.5\hadoop-mapreduce-client-common-2.8.5.jar;D:\maven\local repository\org\apache\hadoop\hadoop-yarn-server-common\2.8.5\hadoop-yarn-server-common-2.8.5.jar;D:\maven\local repository\org\apache\hadoop\hadoop-mapreduce-client-shuffle\2.8.5\hadoop-mapreduce-client-shuffle-2.8.5.jar;D:\maven\local repository\org\apache\hadoop\hadoop-yarn-api\2.8.5\hadoop-yarn-api-2.8.5.jar;D:\maven\local repository\org\apache\hadoop\hadoop-mapreduce-client-jobclient\2.8.5\hadoop-mapreduce-client-jobclient-2.8.5.jar;D:\maven\local repository\org\apache\hadoop\hadoop-annotations\2.8.5\hadoop-annotations-2.8.5.jar;D:\maven\local repository\org\apache\hadoop\hadoop-common\2.8.5\hadoop-common-2.8.5.jar;D:\maven\local repository\com\google\guava\guava\11.0.2\guava-11.0.2.jar;D:\maven\local repository\commons-cli\commons-cli\1.2\commons-cli-1.2.jar;D:\maven\local repository\org\apache\commons\commons-math3\3.1.1\commons-math3-3.1.1.jar;D:\maven\local repository\xmlenc\xmlenc\0.52\xmlenc-0.52.jar;D:\maven\local repository\org\apache\httpcomponents\httpclient\4.5.2\httpclient-4.5.2.jar;D:\maven\local repository\org\apache\httpcomponents\httpcore\4.4.4\httpcore-4.4.4.jar;D:\maven\local repository\commons-codec\commons-codec\1.4\commons-codec-1.4.jar;D:\maven\local repository\commons-io\commons-io\2.4\commons-io-2.4.jar;D:\maven\local repository\commons-net\commons-net\3.1\commons-net-3.1.jar;D:\maven\local repository\commons-collections\commons-collections\3.2.2\commons-collections-3.2.2.jar;D:\maven\local repository\javax\servlet\servlet-api\2.5\servlet-api-2.5.jar;D:\maven\local repository\org\mortbay\jetty\jetty\6.1.26\jetty-6.1.26.jar;D:\maven\local repository\org\mortbay\jetty\jetty-util\6.1.26\jetty-util-6.1.26.jar;D:\maven\local repository\org\mortbay\jetty\jetty-sslengine\6.1.26\jetty-sslengine-6.1.26.jar;D:\maven\local repository\javax\servlet\jsp\jsp-api\2.1\jsp-api-2.1.jar;D:\maven\local repository\com\sun\jersey\jersey-core\1.9\jersey-core-1.9.jar;D:\maven\local repository\com\sun\jersey\jersey-json\1.9\jersey-json-1.9.jar;D:\maven\local repository\org\codehaus\jettison\jettison\1.1\jettison-1.1.jar;D:\maven\local repository\com\sun\xml\bind\jaxb-impl\2.2.3-1\jaxb-impl-2.2.3-1.jar;D:\maven\local repository\org\codehaus\jackson\jackson-jaxrs\1.8.3\jackson-jaxrs-1.8.3.jar;D:\maven\local repository\org\codehaus\jackson\jackson-xc\1.8.3\jackson-xc-1.8.3.jar;D:\maven\local repository\com\sun\jersey\jersey-server\1.9\jersey-server-1.9.jar;D:\maven\local repository\asm\asm\3.1\asm-3.1.jar;D:\maven\local repository\commons-logging\commons-logging\1.1.3\commons-logging-1.1.3.jar;D:\maven\local repository\log4j\log4j\1.2.17\log4j-1.2.17.jar;D:\maven\local repository\net\java\dev\jets3t\jets3t\0.9.0\jets3t-0.9.0.jar;D:\maven\local repository\com\jamesmurty\utils\java-xmlbuilder\0.4\java-xmlbuilder-0.4.jar;D:\maven\local repository\commons-lang\commons-lang\2.6\commons-lang-2.6.jar;D:\maven\local repository\commons-configuration\commons-configuration\1.6\commons-configuration-1.6.jar;D:\maven\local repository\commons-digester\commons-digester\1.8\commons-digester-1.8.jar;D:\maven\local repository\commons-beanutils\commons-beanutils\1.7.0\commons-beanutils-1.7.0.jar;D:\maven\local repository\commons-beanutils\commons-beanutils-core\1.8.0\commons-beanutils-core-1.8.0.jar;D:\maven\local repository\org\slf4j\slf4j-api\1.7.10\slf4j-api-1.7.10.jar;D:\maven\local repository\org\slf4j\slf4j-log4j12\1.7.10\slf4j-log4j12-1.7.10.jar;D:\maven\local repository\org\codehaus\jackson\jackson-core-asl\1.9.13\jackson-core-asl-1.9.13.jar;D:\maven\local repository\org\codehaus\jackson\jackson-mapper-asl\1.9.13\jackson-mapper-asl-1.9.13.jar;D:\maven\local repository\org\apache\avro\avro\1.7.4\avro-1.7.4.jar;D:\maven\local repository\com\thoughtworks\paranamer\paranamer\2.3\paranamer-2.3.jar;D:\maven\local repository\org\xerial\snappy\snappy-java\1.0.4.1\snappy-java-1.0.4.1.jar;D:\maven\local repository\com\google\protobuf\protobuf-java\2.5.0\protobuf-java-2.5.0.jar;D:\maven\local repository\com\google\code\gson\gson\2.2.4\gson-2.2.4.jar;D:\maven\local repository\org\apache\hadoop\hadoop-auth\2.8.5\hadoop-auth-2.8.5.jar;D:\maven\local repository\com\nimbusds\nimbus-jose-jwt\4.41.1\nimbus-jose-jwt-4.41.1.jar;D:\maven\local repository\com\github\stephenc\jcip\jcip-annotations\1.0-1\jcip-annotations-1.0-1.jar;D:\maven\local repository\net\minidev\json-smart\2.3\json-smart-2.3.jar;D:\maven\local repository\net\minidev\accessors-smart\1.2\accessors-smart-1.2.jar;D:\maven\local repository\org\ow2\asm\asm\5.0.4\asm-5.0.4.jar;D:\maven\local repository\org\apache\directory\server\apacheds-kerberos-codec\2.0.0-M15\apacheds-kerberos-codec-2.0.0-M15.jar;D:\maven\local repository\org\apache\directory\server\apacheds-i18n\2.0.0-M15\apacheds-i18n-2.0.0-M15.jar;D:\maven\local repository\org\apache\directory\api\api-asn1-api\1.0.0-M20\api-asn1-api-1.0.0-M20.jar;D:\maven\local repository\org\apache\directory\api\api-util\1.0.0-M20\api-util-1.0.0-M20.jar;D:\maven\local repository\org\apache\curator\curator-framework\2.7.1\curator-framework-2.7.1.jar;D:\maven\local repository\com\jcraft\jsch\0.1.54\jsch-0.1.54.jar;D:\maven\local repository\org\apache\curator\curator-client\2.7.1\curator-client-2.7.1.jar;D:\maven\local repository\org\apache\curator\curator-recipes\2.7.1\curator-recipes-2.7.1.jar;D:\maven\local repository\com\google\code\findbugs\jsr305\3.0.0\jsr305-3.0.0.jar;D:\maven\local repository\org\apache\htrace\htrace-core4\4.0.1-incubating\htrace-core4-4.0.1-incubating.jar;D:\maven\local repository\org\apache\zookeeper\zookeeper\3.4.6\zookeeper-3.4.6.jar;D:\maven\local repository\org\apache\commons\commons-compress\1.4.1\commons-compress-1.4.1.jar;D:\maven\local repository\org\tukaani\xz\1.0\xz-1.0.jar;D:\maven\local repository\org\apache\hadoop\hadoop-mapreduce-client-core\2.8.5\hadoop-mapreduce-client-core-2.8.5.jar;D:\maven\local repository\org\apache\hadoop\hadoop-yarn-common\2.8.5\hadoop-yarn-common-2.8.5.jar;D:\maven\local repository\javax\xml\bind\jaxb-api\2.2.2\jaxb-api-2.2.2.jar;D:\maven\local repository\javax\xml\stream\stax-api\1.0-2\stax-api-1.0-2.jar;D:\maven\local repository\javax\activation\activation\1.1\activation-1.1.jar;D:\maven\local repository\com\sun\jersey\jersey-client\1.9\jersey-client-1.9.jar;D:\maven\local repository\com\google\inject\guice\3.0\guice-3.0.jar;D:\maven\local repository\javax\inject\javax.inject\1\javax.inject-1.jar;D:\maven\local repository\aopalliance\aopalliance\1.0\aopalliance-1.0.jar;D:\maven\local repository\com\sun\jersey\contribs\jersey-guice\1.9\jersey-guice-1.9.jar;D:\maven\local repository\com\google\inject\extensions\guice-servlet\3.0\guice-servlet-3.0.jar;D:\maven\local repository\io\netty\netty\3.6.2.Final\netty-3.6.2.Final.jar;D:\maven\local repository\org\apache\hbase\hbase-client\2.2.4\hbase-client-2.2.4.jar;D:\maven\local repository\org\apache\hbase\thirdparty\hbase-shaded-protobuf\2.2.1\hbase-shaded-protobuf-2.2.1.jar;D:\maven\local repository\org\apache\hbase\hbase-hadoop-compat\2.2.4\hbase-hadoop-compat-2.2.4.jar;D:\maven\local repository\org\apache\hbase\hbase-hadoop2-compat\2.2.4\hbase-hadoop2-compat-2.2.4.jar;D:\maven\local repository\org\apache\hbase\hbase-protocol-shaded\2.2.4\hbase-protocol-shaded-2.2.4.jar;D:\maven\local repository\org\apache\hbase\hbase-protocol\2.2.4\hbase-protocol-2.2.4.jar;D:\maven\local repository\org\apache\commons\commons-lang3\3.6\commons-lang3-3.6.jar;D:\maven\local repository\org\apache\hbase\thirdparty\hbase-shaded-miscellaneous\2.2.1\hbase-shaded-miscellaneous-2.2.1.jar;D:\maven\local repository\com\google\errorprone\error_prone_annotations\2.3.3\error_prone_annotations-2.3.3.jar;D:\maven\local repository\org\apache\hbase\thirdparty\hbase-shaded-netty\2.2.1\hbase-shaded-netty-2.2.1.jar;D:\maven\local repository\org\jruby\jcodings\jcodings\1.0.18\jcodings-1.0.18.jar;D:\maven\local repository\org\jruby\joni\joni\2.1.11\joni-2.1.11.jar;D:\maven\local repository\io\dropwizard\metrics\metrics-core\3.2.6\metrics-core-3.2.6.jar;D:\maven\local repository\org\apache\commons\commons-crypto\1.0.0\commons-crypto-1.0.0.jar;D:\maven\local repository\org\apache\yetus\audience-annotations\0.5.0\audience-annotations-0.5.0.jar;D:\maven\local repository\org\apache\hbase\hbase-common\2.2.4\hbase-common-2.2.4.jar;D:\maven\local repository\com\github\stephenc\findbugs\findbugs-annotations\1.3.9-1\findbugs-annotations-1.3.9-1.jar;D:\maven\local repository\org\apache\hbase\hbase-mapreduce\2.2.4\hbase-mapreduce-2.2.4.jar;D:\maven\local repository\org\apache\hbase\hbase-zookeeper\2.2.4\hbase-zookeeper-2.2.4.jar;D:\maven\local repository\org\apache\hbase\hbase-metrics\2.2.4\hbase-metrics-2.2.4.jar;D:\maven\local repository\org\apache\hbase\hbase-metrics-api\2.2.4\hbase-metrics-api-2.2.4.jar;D:\maven\local repository\org\apache\hbase\hbase-server\2.2.4\hbase-server-2.2.4.jar;D:\maven\local repository\org\apache\hbase\hbase-http\2.2.4\hbase-http-2.2.4.jar;D:\maven\local repository\org\eclipse\jetty\jetty-util\9.3.27.v20190418\jetty-util-9.3.27.v20190418.jar;D:\maven\local repository\org\eclipse\jetty\jetty-util-ajax\9.3.27.v20190418\jetty-util-ajax-9.3.27.v20190418.jar;D:\maven\local repository\org\eclipse\jetty\jetty-http\9.3.27.v20190418\jetty-http-9.3.27.v20190418.jar;D:\maven\local repository\org\eclipse\jetty\jetty-security\9.3.27.v20190418\jetty-security-9.3.27.v20190418.jar;D:\maven\local repository\org\glassfish\jersey\core\jersey-server\2.25.1\jersey-server-2.25.1.jar;D:\maven\local repository\org\glassfish\jersey\core\jersey-common\2.25.1\jersey-common-2.25.1.jar;D:\maven\local repository\org\glassfish\jersey\bundles\repackaged\jersey-guava\2.25.1\jersey-guava-2.25.1.jar;D:\maven\local repository\org\glassfish\hk2\osgi-resource-locator\1.0.1\osgi-resource-locator-1.0.1.jar;D:\maven\local repository\org\glassfish\jersey\core\jersey-client\2.25.1\jersey-client-2.25.1.jar;D:\maven\local repository\org\glassfish\jersey\media\jersey-media-jaxb\2.25.1\jersey-media-jaxb-2.25.1.jar;D:\maven\local repository\javax\annotation\javax.annotation-api\1.2\javax.annotation-api-1.2.jar;D:\maven\local repository\org\glassfish\hk2\hk2-api\2.5.0-b32\hk2-api-2.5.0-b32.jar;D:\maven\local repository\org\glassfish\hk2\hk2-utils\2.5.0-b32\hk2-utils-2.5.0-b32.jar;D:\maven\local repository\org\glassfish\hk2\external\aopalliance-repackaged\2.5.0-b32\aopalliance-repackaged-2.5.0-b32.jar;D:\maven\local repository\org\glassfish\hk2\external\javax.inject\2.5.0-b32\javax.inject-2.5.0-b32.jar;D:\maven\local repository\org\glassfish\hk2\hk2-locator\2.5.0-b32\hk2-locator-2.5.0-b32.jar;D:\maven\local repository\org\javassist\javassist\3.20.0-GA\javassist-3.20.0-GA.jar;D:\maven\local repository\javax\validation\validation-api\1.1.0.Final\validation-api-1.1.0.Final.jar;D:\maven\local repository\org\glassfish\jersey\containers\jersey-container-servlet-core\2.25.1\jersey-container-servlet-core-2.25.1.jar;D:\maven\local repository\javax\ws\rs\javax.ws.rs-api\2.0.1\javax.ws.rs-api-2.0.1.jar;D:\maven\local repository\org\apache\hbase\hbase-procedure\2.2.4\hbase-procedure-2.2.4.jar;D:\maven\local repository\org\eclipse\jetty\jetty-server\9.3.27.v20190418\jetty-server-9.3.27.v20190418.jar;D:\maven\local repository\org\eclipse\jetty\jetty-io\9.3.27.v20190418\jetty-io-9.3.27.v20190418.jar;D:\maven\local repository\org\eclipse\jetty\jetty-servlet\9.3.27.v20190418\jetty-servlet-9.3.27.v20190418.jar;D:\maven\local repository\org\eclipse\jetty\jetty-webapp\9.3.27.v20190418\jetty-webapp-9.3.27.v20190418.jar;D:\maven\local repository\org\eclipse\jetty\jetty-xml\9.3.27.v20190418\jetty-xml-9.3.27.v20190418.jar;D:\maven\local repository\org\glassfish\web\javax.servlet.jsp\2.3.2\javax.servlet.jsp-2.3.2.jar;D:\maven\local repository\org\glassfish\javax.el\3.0.1-b12\javax.el-3.0.1-b12.jar;D:\maven\local repository\javax\servlet\jsp\javax.servlet.jsp-api\2.3.1\javax.servlet.jsp-api-2.3.1.jar;D:\maven\local repository\org\jamon\jamon-runtime\2.4.1\jamon-runtime-2.4.1.jar;D:\maven\local repository\javax\servlet\javax.servlet-api\3.1.0\javax.servlet-api-3.1.0.jar;D:\maven\local repository\com\lmax\disruptor\3.3.6\disruptor-3.3.6.jar;D:\maven\local repository\org\apache\hadoop\hadoop-distcp\2.8.5\hadoop-distcp-2.8.5.jar;D:\maven\local repository\org\apache\hbase\hbase-replication\2.2.4\hbase-replication-2.2.4.jar;D:\maven\local repository\org\apache\hadoop\hadoop-hdfs\2.8.5\hadoop-hdfs-2.8.5.jar;D:\maven\local repository\commons-daemon\commons-daemon\1.0.13\commons-daemon-1.0.13.jar;D:\maven\local repository\io\netty\netty-all\4.0.23.Final\netty-all-4.0.23.Final.jar;D:\maven\local repository\org\fusesource\leveldbjni\leveldbjni-all\1.8\leveldbjni-all-1.8.jar;D:\maven\local repository\org\apache\hadoop\hadoop-yarn-client\2.8.1\hadoop-yarn-client-2.8.1.jar" org.example.HBaseMapreduce.BrandAmount 2025-06-06 23:34:00,430 INFO Configuration.deprecation: io.bytes.per.checksum is deprecated. Instead, use dfs.bytes-per-checksum 2025-06-06 23:34:00,570 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032 2025-06-06 23:34:00,809 INFO Configuration.deprecation: io.bytes.per.checksum is deprecated. Instead, use dfs.bytes-per-checksum 2025-06-06 23:34:01,793 INFO zookeeper.ZooKeeper: Client environment:zookeeper.version=3.4.6-1569965, built on 02/20/2014 09:09 GMT 2025-06-06 23:34:01,794 INFO zookeeper.ZooKeeper: Client environment:host.name=LAPTOP-DET3CHHR 2025-06-06 23:34:01,794 INFO zookeeper.ZooKeeper: Client environment:java.version=1.8.0_144 2025-06-06 23:34:01,794 INFO zookeeper.ZooKeeper: Client environment:java.vendor=Oracle Corporation 2025-06-06 23:34:01,794 INFO zookeeper.ZooKeeper: Client environment:java.home=C:\Program Files\Java\jdk1.8.0_144\jre 2025-06-06 23:34:01,794 INFO zookeeper.ZooKeeper: Client environment:java.class.path=C:\Program Files\Java\jdk1.8.0_144\jre\lib\charsets.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\deploy.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\ext\access-bridge-64.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\ext\cldrdata.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\ext\dnsns.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\ext\jaccess.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\ext\jfxrt.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\ext\localedata.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\ext\nashorn.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\ext\sunec.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\ext\sunjce_provider.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\ext\sunmscapi.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\ext\sunpkcs11.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\ext\zipfs.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\javaws.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\jce.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\jfr.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\jfxswt.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\jsse.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\management-agent.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\plugin.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\resources.jar;C:\Program Files\Java\jdk1.8.0_144\jre\lib\rt.jar;D:\code\Hbase_hadoop\HomeWork1\target\classes;D:\maven\local repository\junit\junit\3.8.1\junit-3.8.1.jar;D:\maven\local repository\org\apache\hadoop\hadoop-client\2.8.5\hadoop-client-2.8.5.jar;D:\maven\local repository\org\apache\hadoop\hadoop-hdfs-client\2.8.5\hadoop-hdfs-client-2.8.5.jar;D:\maven\local repository\com\squareup\okhttp\okhttp\2.4.0\okhttp-2.4.0.jar;D:\maven\local repository\com\squareup\okio\okio\1.4.0\okio-1.4.0.jar;D:\maven\local repository\org\apache\hadoop\hadoop-mapreduce-client-app\2.8.5\hadoop-mapreduce-client-app-2.8.5.jar;D:\maven\local repository\org\apache\hadoop\hadoop-mapreduce-client-common\2.8.5\hadoop-mapreduce-client-common-2.8.5.jar;D:\maven\local repository\org\apache\hadoop\hadoop-yarn-server-common\2.8.5\hadoop-yarn-server-common-2.8.5.jar;D:\maven\local repository\org\apache\hadoop\hadoop-mapreduce-client-shuffle\2.8.5\hadoop-mapreduce-client-shuffle-2.8.5.jar;D:\maven\local repository\org\apache\hadoop\hadoop-yarn-api\2.8.5\hadoop-yarn-api-2.8.5.jar;D:\maven\local repository\org\apache\hadoop\hadoop-mapreduce-client-jobclient\2.8.5\hadoop-mapreduce-client-jobclient-2.8.5.jar;D:\maven\local repository\org\apache\hadoop\hadoop-annotations\2.8.5\hadoop-annotations-2.8.5.jar;D:\maven\local repository\org\apache\hadoop\hadoop-common\2.8.5\hadoop-common-2.8.5.jar;D:\maven\local repository\com\google\guava\guava\11.0.2\guava-11.0.2.jar;D:\maven\local repository\commons-cli\commons-cli\1.2\commons-cli-1.2.jar;D:\maven\local repository\org\apache\commons\commons-math3\3.1.1\commons-math3-3.1.1.jar;D:\maven\local repository\xmlenc\xmlenc\0.52\xmlenc-0.52.jar;D:\maven\local repository\org\apache\httpcomponents\httpclient\4.5.2\httpclient-4.5.2.jar;D:\maven\local repository\org\apache\httpcomponents\httpcore\4.4.4\httpcore-4.4.4.jar;D:\maven\local repository\commons-codec\commons-codec\1.4\commons-codec-1.4.jar;D:\maven\local repository\commons-io\commons-io\2.4\commons-io-2.4.jar;D:\maven\local repository\commons-net\commons-net\3.1\commons-net-3.1.jar;D:\maven\local repository\commons-collections\commons-collections\3.2.2\commons-collections-3.2.2.jar;D:\maven\local repository\javax\servlet\servlet-api\2.5\servlet-api-2.5.jar;D:\maven\local repository\org\mortbay\jetty\jetty\6.1.26\jetty-6.1.26.jar;D:\maven\local repository\org\mortbay\jetty\jetty-util\6.1.26\jetty-util-6.1.26.jar;D:\maven\local repository\org\mortbay\jetty\jetty-sslengine\6.1.26\jetty-sslengine-6.1.26.jar;D:\maven\local repository\javax\servlet\jsp\jsp-api\2.1\jsp-api-2.1.jar;D:\maven\local repository\com\sun\jersey\jersey-core\1.9\jersey-core-1.9.jar;D:\maven\local repository\com\sun\jersey\jersey-json\1.9\jersey-json-1.9.jar;D:\maven\local repository\org\codehaus\jettison\jettison\1.1\jettison-1.1.jar;D:\maven\local repository\com\sun\xml\bind\jaxb-impl\2.2.3-1\jaxb-impl-2.2.3-1.jar;D:\maven\local repository\org\codehaus\jackson\jackson-jaxrs\1.8.3\jackson-jaxrs-1.8.3.jar;D:\maven\local repository\org\codehaus\jackson\jackson-xc\1.8.3\jackson-xc-1.8.3.jar;D:\maven\local repository\com\sun\jersey\jersey-server\1.9\jersey-server-1.9.jar;D:\maven\local repository\asm\asm\3.1\asm-3.1.jar;D:\maven\local repository\commons-logging\commons-logging\1.1.3\commons-logging-1.1.3.jar;D:\maven\local repository\log4j\log4j\1.2.17\log4j-1.2.17.jar;D:\maven\local repository\net\java\dev\jets3t\jets3t\0.9.0\jets3t-0.9.0.jar;D:\maven\local repository\com\jamesmurty\utils\java-xmlbuilder\0.4\java-xmlbuilder-0.4.jar;D:\maven\local repository\commons-lang\commons-lang\2.6\commons-lang-2.6.jar;D:\maven\local repository\commons-configuration\commons-configuration\1.6\commons-configuration-1.6.jar;D:\maven\local repository\commons-digester\commons-digester\1.8\commons-digester-1.8.jar;D:\maven\local repository\commons-beanutils\commons-beanutils\1.7.0\commons-beanutils-1.7.0.jar;D:\maven\local repository\commons-beanutils\commons-beanutils-core\1.8.0\commons-beanutils-core-1.8.0.jar;D:\maven\local repository\org\slf4j\slf4j-api\1.7.10\slf4j-api-1.7.10.jar;D:\maven\local repository\org\slf4j\slf4j-log4j12\1.7.10\slf4j-log4j12-1.7.10.jar;D:\maven\local repository\org\codehaus\jackson\jackson-core-asl\1.9.13\jackson-core-asl-1.9.13.jar;D:\maven\local repository\org\codehaus\jackson\jackson-mapper-asl\1.9.13\jackson-mapper-asl-1.9.13.jar;D:\maven\local repository\org\apache\avro\avro\1.7.4\avro-1.7.4.jar;D:\maven\local repository\com\thoughtworks\paranamer\paranamer\2.3\paranamer-2.3.jar;D:\maven\local repository\org\xerial\snappy\snappy-java\1.0.4.1\snappy-java-1.0.4.1.jar;D:\maven\local repository\com\google\protobuf\protobuf-java\2.5.0\protobuf-java-2.5.0.jar;D:\maven\local repository\com\google\code\gson\gson\2.2.4\gson-2.2.4.jar;D:\maven\local repository\org\apache\hadoop\hadoop-auth\2.8.5\hadoop-auth-2.8.5.jar;D:\maven\local repository\com\nimbusds\nimbus-jose-jwt\4.41.1\nimbus-jose-jwt-4.41.1.jar;D:\maven\local repository\com\github\stephenc\jcip\jcip-annotations\1.0-1\jcip-annotations-1.0-1.jar;D:\maven\local repository\net\minidev\json-smart\2.3\json-smart-2.3.jar;D:\maven\local repository\net\minidev\accessors-smart\1.2\accessors-smart-1.2.jar;D:\maven\local repository\org\ow2\asm\asm\5.0.4\asm-5.0.4.jar;D:\maven\local repository\org\apache\directory\server\apacheds-kerberos-codec\2.0.0-M15\apacheds-kerberos-codec-2.0.0-M15.jar;D:\maven\local repository\org\apache\directory\server\apacheds-i18n\2.0.0-M15\apacheds-i18n-2.0.0-M15.jar;D:\maven\local repository\org\apache\directory\api\api-asn1-api\1.0.0-M20\api-asn1-api-1.0.0-M20.jar;D:\maven\local repository\org\apache\directory\api\api-util\1.0.0-M20\api-util-1.0.0-M20.jar;D:\maven\local repository\org\apache\curator\curator-framework\2.7.1\curator-framework-2.7.1.jar;D:\maven\local repository\com\jcraft\jsch\0.1.54\jsch-0.1.54.jar;D:\maven\local repository\org\apache\curator\curator-client\2.7.1\curator-client-2.7.1.jar;D:\maven\local repository\org\apache\curator\curator-recipes\2.7.1\curator-recipes-2.7.1.jar;D:\maven\local repository\com\google\code\findbugs\jsr305\3.0.0\jsr305-3.0.0.jar;D:\maven\local repository\org\apache\htrace\htrace-core4\4.0.1-incubating\htrace-core4-4.0.1-incubating.jar;D:\maven\local repository\org\apache\zookeeper\zookeeper\3.4.6\zookeeper-3.4.6.jar;D:\maven\local repository\org\apache\commons\commons-compress\1.4.1\commons-compress-1.4.1.jar;D:\maven\local repository\org\tukaani\xz\1.0\xz-1.0.jar;D:\maven\local repository\org\apache\hadoop\hadoop-mapreduce-client-core\2.8.5\hadoop-mapreduce-client-core-2.8.5.jar;D:\maven\local repository\org\apache\hadoop\hadoop-yarn-common\2.8.5\hadoop-yarn-common-2.8.5.jar;D:\maven\local repository\javax\xml\bind\jaxb-api\2.2.2\jaxb-api-2.2.2.jar;D:\maven\local repository\javax\xml\stream\stax-api\1.0-2\stax-api-1.0-2.jar;D:\maven\local repository\javax\activation\activation\1.1\activation-1.1.jar;D:\maven\local repository\com\sun\jersey\jersey-client\1.9\jersey-client-1.9.jar;D:\maven\local repository\com\google\inject\guice\3.0\guice-3.0.jar;D:\maven\local repository\javax\inject\javax.inject\1\javax.inject-1.jar;D:\maven\local repository\aopalliance\aopalliance\1.0\aopalliance-1.0.jar;D:\maven\local repository\com\sun\jersey\contribs\jersey-guice\1.9\jersey-guice-1.9.jar;D:\maven\local repository\com\google\inject\extensions\guice-servlet\3.0\guice-servlet-3.0.jar;D:\maven\local repository\io\netty\netty\3.6.2.Final\netty-3.6.2.Final.jar;D:\maven\local repository\org\apache\hbase\hbase-client\2.2.4\hbase-client-2.2.4.jar;D:\maven\local repository\org\apache\hbase\thirdparty\hbase-shaded-protobuf\2.2.1\hbase-shaded-protobuf-2.2.1.jar;D:\maven\local repository\org\apache\hbase\hbase-hadoop-compat\2.2.4\hbase-hadoop-compat-2.2.4.jar;D:\maven\local repository\org\apache\hbase\hbase-hadoop2-compat\2.2.4\hbase-hadoop2-compat-2.2.4.jar;D:\maven\local repository\org\apache\hbase\hbase-protocol-shaded\2.2.4\hbase-protocol-shaded-2.2.4.jar;D:\maven\local repository\org\apache\hbase\hbase-protocol\2.2.4\hbase-protocol-2.2.4.jar;D:\maven\local repository\org\apache\commons\commons-lang3\3.6\commons-lang3-3.6.jar;D:\maven\local repository\org\apache\hbase\thirdparty\hbase-shaded-miscellaneous\2.2.1\hbase-shaded-miscellaneous-2.2.1.jar;D:\maven\local repository\com\google\errorprone\error_prone_annotations\2.3.3\error_prone_annotations-2.3.3.jar;D:\maven\local repository\org\apache\hbase\thirdparty\hbase-shaded-netty\2.2.1\hbase-shaded-netty-2.2.1.jar;D:\maven\local repository\org\jruby\jcodings\jcodings\1.0.18\jcodings-1.0.18.jar;D:\maven\local repository\org\jruby\joni\joni\2.1.11\joni-2.1.11.jar;D:\maven\local repository\io\dropwizard\metrics\metrics-core\3.2.6\metrics-core-3.2.6.jar;D:\maven\local repository\org\apache\commons\commons-crypto\1.0.0\commons-crypto-1.0.0.jar;D:\maven\local repository\org\apache\yetus\audience-annotations\0.5.0\audience-annotations-0.5.0.jar;D:\maven\local repository\org\apache\hbase\hbase-common\2.2.4\hbase-common-2.2.4.jar;D:\maven\local repository\com\github\stephenc\findbugs\findbugs-annotations\1.3.9-1\findbugs-annotations-1.3.9-1.jar;D:\maven\local repository\org\apache\hbase\hbase-mapreduce\2.2.4\hbase-mapreduce-2.2.4.jar;D:\maven\local repository\org\apache\hbase\hbase-zookeeper\2.2.4\hbase-zookeeper-2.2.4.jar;D:\maven\local repository\org\apache\hbase\hbase-metrics\2.2.4\hbase-metrics-2.2.4.jar;D:\maven\local repository\org\apache\hbase\hbase-metrics-api\2.2.4\hbase-metrics-api-2.2.4.jar;D:\maven\local repository\org\apache\hbase\hbase-server\2.2.4\hbase-server-2.2.4.jar;D:\maven\local repository\org\apache\hbase\hbase-http\2.2.4\hbase-http-2.2.4.jar;D:\maven\local repository\org\eclipse\jetty\jetty-util\9.3.27.v20190418\jetty-util-9.3.27.v20190418.jar;D:\maven\local repository\org\eclipse\jetty\jetty-util-ajax\9.3.27.v20190418\jetty-util-ajax-9.3.27.v20190418.jar;D:\maven\local repository\org\eclipse\jetty\jetty-http\9.3.27.v20190418\jetty-http-9.3.27.v20190418.jar;D:\maven\local repository\org\eclipse\jetty\jetty-security\9.3.27.v20190418\jetty-security-9.3.27.v20190418.jar;D:\maven\local repository\org\glassfish\jersey\core\jersey-server\2.25.1\jersey-server-2.25.1.jar;D:\maven\local repository\org\glassfish\jersey\core\jersey-common\2.25.1\jersey-common-2.25.1.jar;D:\maven\local repository\org\glassfish\jersey\bundles\repackaged\jersey-guava\2.25.1\jersey-guava-2.25.1.jar;D:\maven\local repository\org\glassfish\hk2\osgi-resource-locator\1.0.1\osgi-resource-locator-1.0.1.jar;D:\maven\local repository\org\glassfish\jersey\core\jersey-client\2.25.1\jersey-client-2.25.1.jar;D:\maven\local repository\org\glassfish\jersey\media\jersey-media-jaxb\2.25.1\jersey-media-jaxb-2.25.1.jar;D:\maven\local repository\javax\annotation\javax.annotation-api\1.2\javax.annotation-api-1.2.jar;D:\maven\local repository\org\glassfish\hk2\hk2-api\2.5.0-b32\hk2-api-2.5.0-b32.jar;D:\maven\local repository\org\glassfish\hk2\hk2-utils\2.5.0-b32\hk2-utils-2.5.0-b32.jar;D:\maven\local repository\org\glassfish\hk2\external\aopalliance-repackaged\2.5.0-b32\aopalliance-repackaged-2.5.0-b32.jar;D:\maven\local repository\org\glassfish\hk2\external\javax.inject\2.5.0-b32\javax.inject-2.5.0-b32.jar;D:\maven\local repository\org\glassfish\hk2\hk2-locator\2.5.0-b32\hk2-locator-2.5.0-b32.jar;D:\maven\local repository\org\javassist\javassist\3.20.0-GA\javassist-3.20.0-GA.jar;D:\maven\local repository\javax\validation\validation-api\1.1.0.Final\validation-api-1.1.0.Final.jar;D:\maven\local repository\org\glassfish\jersey\containers\jersey-container-servlet-core\2.25.1\jersey-container-servlet-core-2.25.1.jar;D:\maven\local repository\javax\ws\rs\javax.ws.rs-api\2.0.1\javax.ws.rs-api-2.0.1.jar;D:\maven\local repository\org\apache\hbase\hbase-procedure\2.2.4\hbase-procedure-2.2.4.jar;D:\maven\local repository\org\eclipse\jetty\jetty-server\9.3.27.v20190418\jetty-server-9.3.27.v20190418.jar;D:\maven\local repository\org\eclipse\jetty\jetty-io\9.3.27.v20190418\jetty-io-9.3.27.v20190418.jar;D:\maven\local repository\org\eclipse\jetty\jetty-servlet\9.3.27.v20190418\jetty-servlet-9.3.27.v20190418.jar;D:\maven\local repository\org\eclipse\jetty\jetty-webapp\9.3.27.v20190418\jetty-webapp-9.3.27.v20190418.jar;D:\maven\local repository\org\eclipse\jetty\jetty-xml\9.3.27.v20190418\jetty-xml-9.3.27.v20190418.jar;D:\maven\local repository\org\glassfish\web\javax.servlet.jsp\2.3.2\javax.servlet.jsp-2.3.2.jar;D:\maven\local repository\org\glassfish\javax.el\3.0.1-b12\javax.el-3.0.1-b12.jar;D:\maven\local repository\javax\servlet\jsp\javax.servlet.jsp-api\2.3.1\javax.servlet.jsp-api-2.3.1.jar;D:\maven\local repository\org\jamon\jamon-runtime\2.4.1\jamon-runtime-2.4.1.jar;D:\maven\local repository\javax\servlet\javax.servlet-api\3.1.0\javax.servlet-api-3.1.0.jar;D:\maven\local repository\com\lmax\disruptor\3.3.6\disruptor-3.3.6.jar;D:\maven\local repository\org\apache\hadoop\hadoop-distcp\2.8.5\hadoop-distcp-2.8.5.jar;D:\maven\local repository\org\apache\hbase\hbase-replication\2.2.4\hbase-replication-2.2.4.jar;D:\maven\local repository\org\apache\hadoop\hadoop-hdfs\2.8.5\hadoop-hdfs-2.8.5.jar;D:\maven\local repository\commons-daemon\commons-daemon\1.0.13\commons-daemon-1.0.13.jar;D:\maven\local repository\io\netty\netty-all\4.0.23.Final\netty-all-4.0.23.Final.jar;D:\maven\local repository\org\fusesource\leveldbjni\leveldbjni-all\1.8\leveldbjni-all-1.8.jar;D:\maven\local repository\org\apache\hadoop\hadoop-yarn-client\2.8.1\hadoop-yarn-client-2.8.1.jar;D:\Idea 2024\IntelliJ IDEA 2024.3.1.1\lib\idea_rt.jar 2025-06-06 23:34:01,794 INFO zookeeper.ZooKeeper: Client environment:java.library.path=C:\Program Files\Java\jdk1.8.0_144\bin;C:\WINDOWS\Sun\Java\bin;C:\WINDOWS\system32;C:\WINDOWS;C:\Program Files\Common Files\Oracle\Java\javapath;D:\soft\bin\;C:\ProgramData\Oracle\Java\javapath;C:\Program Files\Java\jdk1.8.0_144\bin;C:\WINDOWS\system32;C:\WINDOWS;C:\WINDOWS\System32\Wbem;C:\WINDOWS\System32\WindowsPowerShell\v1.0\;C:\WINDOWS\System32\OpenSSH\;D:\mingw64\bin;D:\anconda\Library\bin;D:\anconda;D:\anconda\Scripts;C:\Program Files\Microsoft VS Code\bin;".;C:\Program Files\Java\jdk1.8.0_144\lib;C:\Program Files\Java\jdk1.8.0_144\lib\tools.jar";D:\node\;D:\node;D:\node\node_cache;D:\node\node_global;C:\ProgramData\chocolatey\bin;D:\Git\Git\cmd;C:\C:\apache-tomcat-10.1.28\bin;C:\C:\apache-tomcat-10.1.28\lib\jsp-api.jar;C:\C:\apache-tomcat-10.1.28\lib\servlet-api.jar;%JAVA-HOME%jre\bin;D:\maven\apache-maven-3.8.5\bin;C:\python\python 3.12.2\Scripts\;C:\python\python 3.12.2\;C:\Program Files\MySQL\MySQL Shell 8.0\bin\;D:\python\Scripts\;D:\python\;C:\Users\缃楁闆╘AppData\Local\Microsoft\WindowsApps;D:\Microsoft VS Code\bin;C:\Program Files\Java\jdk1.8.0_144\bin;D:\Idea 2024\IntelliJ IDEA 2024.3.1.1\bin;;C:\Users\缃楁闆╘AppData\Roaming\npm;D:\Hadoop\hadoop\hadoop-3.3.0\bin;D:\Hadoop\hadoop\hadoop-3.3.0\sbin;D:\Hadoop\hbase-2.6.2\bin;;. 2025-06-06 23:34:01,794 INFO zookeeper.ZooKeeper: Client environment:java.io.tmpdir=C:\Users\236A~1\AppData\Local\Temp\ 2025-06-06 23:34:01,794 INFO zookeeper.ZooKeeper: Client environment:java.compiler=<NA> 2025-06-06 23:34:01,794 INFO zookeeper.ZooKeeper: Client environment:os.name=Windows 10 2025-06-06 23:34:01,794 INFO zookeeper.ZooKeeper: Client environment:os.arch=amd64 2025-06-06 23:34:01,794 INFO zookeeper.ZooKeeper: Client environment:os.version=10.0 2025-06-06 23:34:01,794 INFO zookeeper.ZooKeeper: Client environment:user.name=罗欣雨 2025-06-06 23:34:01,794 INFO zookeeper.ZooKeeper: Client environment:user.home=C:\Users\罗欣雨 2025-06-06 23:34:01,794 INFO zookeeper.ZooKeeper: Client environment:user.dir=D:\code\Hbase_hadoop\HomeWork1 2025-06-06 23:34:01,796 INFO zookeeper.ZooKeeper: Initiating client connection, connectString=luo:2181 sessionTimeout=90000 watcher=org.apache.hadoop.hbase.zookeeper.ReadOnlyZKClient$$Lambda$14/762080652@4f33c470 2025-06-06 23:34:01,825 INFO zookeeper.ClientCnxn: Opening socket connection to server luo/192.168.10.129:2181. Will not attempt to authenticate using SASL (unknown error) 2025-06-06 23:34:01,828 INFO zookeeper.ClientCnxn: Socket connection established to luo/192.168.10.129:2181, initiating session 2025-06-06 23:34:01,839 INFO zookeeper.ClientCnxn: Session establishment complete on server luo/192.168.10.129:2181, sessionid = 0x1974500ed1b0030, negotiated timeout = 90000 Exception in thread "main" java.io.IOException: The ownership on the staging directory /tmp/hadoop-yarn/staging/罗欣雨/.staging is not as expected. It is owned by ???. The directory must be owned by the submitter 罗欣雨 or by 罗欣雨 at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:120) at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:146) at org.apache.hadoop.mapreduce.Job$11.run(Job.java:1341) at org.apache.hadoop.mapreduce.Job$11.run(Job.java:1338) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1844) at org.apache.hadoop.mapreduce.Job.submit(Job.java:1338) at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1359) at org.example.HBaseMapreduce.BrandAmount.main(BrandAmount.java:67) Process finished with exit code 1
时间: 2025-08-04 07:02:56 浏览: 12
<think>嗯，用户遇到了HadoopMapReduce作业提交时的staging目录所有权问题，这个错误在Hadoop集群中确实很常见。用户提到了具体报错信息"Theownershiponthestagingdirectoryisnotasexpected"，看来是权限配置导致的。用户可能刚接触Hadoop，对权限管理不太熟悉。从历史记录看，用户之前参考过目录权限问题和Windows环境配置的引用，但这次问题核心在于Linux环境下的用户权限映射。这个问题的本质其实是Hadoop对用户身份验证的严格检查。需要重点关注两个方面：首先是实际目录的所有权，其次是Hadoop配置中的用户映射逻辑。解决方法要兼顾命令行操作和配置文件修改，最好分步骤说明，避免用户操作失误。值得注意的是用户特意强调了"staging目录"，这个临时目录在作业提交时特别敏感。解决方案里应该包含两个验证层次：基础权限设置和深度调试方法。考虑到用户可能在其他环节也会遇到类似问题，可以补充Kerberos相关的说明作为扩展知识点。用户应该需要具体可执行的命令，比如chown和hdfsdfs-ls这些关键操作示例。另外配置文件的位置也要说清楚，特别是core-site.xml和yarn-site.xml这种容易混淆的文件。安全问题也要提醒，毕竟chmod777这种操作在正式环境很危险。最后准备的问题要覆盖用户可能衍生的疑问，比如WebUI监控和Kerberos场景的处理方式。</think>
Hadoop MapReduce作业提交时出现`staging目录所有权问题`的解决核心在于**确保提交作业的用户对HDFS上的staging目录具有明确的读写权限且符合Hadoop的用户映射规则**。以下是系统性的解决方法：
---
### **1. 验证目录所有权与权限**
```bash
# 查看staging目录权限 (默认路径: /tmp/hadoop-yarn/staging)
hdfs dfs -ls /tmp/hadoop-yarn/staging
# 正确示例输出:
drwx------ 3 yarn hadoop 4096 2023-01-01 12:00 /tmp/hadoop-yarn/staging
```
- **要求**：Staging目录应由`yarn`用户（或其他配置的提交用户）所有，权限为`700`或`750`。
- **修复命令**：
```bash
hdfs dfs -chmod 750 /tmp/hadoop-yarn/staging # 修改权限
hdfs dfs -chown yarn:supergroup /tmp/hadoop-yarn/staging # 修改所有者
```
---
### **2. 检查用户代理映射**
Hadoop通过`hadoop.proxyuser`配置实现用户代理，需在`core-site.xml`中明确授权：
```xml
<!-- 文件: $HADOOP_HOME/etc/hadoop/core-site.xml -->
<property>
<name>hadoop.proxyuser.yarn.hosts</name>
<value>*</value> <!-- 允许来自任何主机的yarn代理 -->
</property>
<property>
<name>hadoop.proxyuser.yarn.groups</name>
<value>*</value> <!-- 允许代理任何用户组 -->
</property>
```
---
### **3. 验证客户端用户身份**
- **提交作业的用户**（如`datauser`）必须与Hadoop集群**用户白名单**匹配：
```bash
# 在ResourceManager节点查看允许的用户
cat /etc/hadoop/conf/yarn-remote-apps.allowed-users
```
若文件不存在或未包含`datauser`，需添加该用户并重启YARN：
```bash
echo "datauser" >> /etc/hadoop/conf/yarn-remote-apps.allowed-users
systemctl restart yarn-resourcemanager
```
---
### **4. 修复跨平台问题（Windows特有）**
Windows客户端需设置`HADOOP_HOME`环境变量并配置权限模拟：
```java
// 在驱动代码中设置:
System.setProperty("HADOOP_USER_NAME", "yarn");
System.setProperty("hadoop.home.dir", "D:/hadoop"); // 指向包含winutils.exe的目录
```
---
### **5. 调试步骤**
1. **模拟提交环境**：
```bash
sudo -u yarn hdfs dfs -mkdir /test_staging
sudo -u yarn hdfs dfs -chmod 750 /test_staging
```
2. **检查YARN日志**：
```bash
tail -f /var/log/hadoop-yarn/yarn/yarn-yarn-resourcemanager-*.log
```
搜索`staging directory ownership`错误确认具体用户。
---
### **根本原因分析**
当用户`datauser`提交作业时：
1. YARN以`yarn`身份创建staging目录： `/tmp/hadoop-yarn/staging/datauser/.staging`
2. Hadoop验证`datauser`是否拥有目录的**有效代理权限**（通过`hadoop.proxyuser.yarn.groups`）
3. 目录所有权或代理配置错误将触发权限异常。
> **关键点**：Staging目录的实际所有者必须是`yarn`，但代理机制需确保`datauser`有操作权[^1][^2]。
---
### **相关问题**
1. Hadoop开启Kerberos后如何解决staging目录权限问题？
2. 如何通过YARN Web UI监控作业提交失败的根本原因？
3. Hadoop中`yarn.nodemanager.remote-app-log-dir`权限配置与staging目录有何关联？
4. 为什么本地模式运行MapReduce作业不会触发此错误？
阅读全文
相关推荐
大家在看
基于ADS的微带滤波器设计
微波滤波器是用来分离不同频率微波信号的一种器件。它的主要作用是抑制不需要的信号,使其不能通过滤波器,只让需要的信号通过。在微波电路系统中，滤波器的性能对电路的性能指标有很大的影响，因此如何设计出一个具有高性能的滤波器，对设计微波电路系统具有很重要的意义。
Pixhawk4飞控驱动.zip
已安装成功
ztecfg中兴配置加解密工具3.0版本.rar
中兴光猫配置文件加解密工具3.0
.\ztecfg.exe -d AESCBC -i .\（要解密的文件名）db_user_cfg.xml -o （解密后文件名）123.cfg
配置车辆-feedback systems_an introduction for scientists and engineers
5.2 道路场景
从界面右侧的道路场景列表中，双击载入所需的道路场景（如 Fld_FreeWay）。
PanoSim提供了 ADAS标准（ISO、Euro NCAP）典型场景库，如高速公路、乡村道路、
城镇、坡道、换道、停车场、高速出入口等。我们可根据用户需要定制丰富场景库。
PanoSim提供专门的道路场景设计工具，可通过常用工具栏\Tools\FieldBuilder
来创建自己的道路场景。
5.3 天气和光照
从右侧的实验环境列表栏中，通过双击载入所需的实验天气和光照。天气有多
云、雾天、雨天、雪天、晴天，光照有白天和夜晚，相关实验信息（如所选场景、天
气、车辆等），可在左侧实验信息栏中查看。
5.4 配置车辆
点击“Forward”，进入实验参数设置主界面（图 5-2）。
xilinx.com_user_IIC_AXI_1.0.zip
可以直接用在vivado 2017.4版本里。查看各个寄存器就知道用来干什么了，一号寄存器分频系数，二号的start、stop信号，三号寄存器8bit数据，四号寄存器只读，返回IIC状态和ACK信号，其中二号的一个bit可以用来不等待从机ACK，方便使用。
最新推荐
开发界面语义化：声控 + 画图协同生成代码.doc
开发界面语义化：声控 + 画图协同生成代码.doc
LABVIEW与三菱PLC通信：实现数据批量读写的高效库解决方案
如何通过LabVIEW与三菱PLC建立高效的通信桥梁，实现数据批量读写。首先概述了LabVIEW和三菱PLC的基本概念及其在工业自动化中的重要性。接着重点讲解了利用Modbus RTU协议构建通信连接的具体步骤和技术细节，包括初始化通信、发送读写请求、处理响应数据和关闭连接等功能。文中还提供了一个简化的代码示例，展示了如何在LabVIEW环境中实现这一过程。最后对这项技术进行了总结和展望，强调其在提高数据交互效率方面的潜力以及未来的广泛应用前景。
适合人群：从事工业自动化领域的工程师和技术人员，尤其是那些熟悉LabVIEW或三菱PLC的人士。
使用场景及目标：适用于需要频繁进行数据交互的工业控制系统，如生产线监控、设备状态监测等场合。主要目的是提升数据传输的速度和可靠性，从而优化整个系统的运行效率。
阅读建议：读者可以通过本文深入了解LabVIEW与三菱PLC通信的实现方法，掌握批量数据读写库的设计思路，并将其应用于实际工程项目中。建议边阅读边尝试动手实践相关代码，以便更好地理解和吸收所学知识。
欧姆龙PLC NJ系列模切机程序：高级伺服运动与张力控制的应用实例
欧姆龙PLC NJ系列模切机项目的编程细节及其关键技术。主要内容涵盖12轴EtherCAT总线伺服运动控制，包括回零、点动、定位和速度控制；张力控制采用PID算法并进行收放卷径计算；隔膜自动纠偏控制利用模拟量数据平均化处理；同步运动控制实现凸轮表追剪和裁切；以及结构化编程和ST语言功能块的使用。项目结构规范，注释详尽，有助于理解和维护代码。通过本项目的学习，可以掌握PLC高端复杂应用的实际操作技能。
适合人群：从事工业自动化领域的工程师和技术人员，特别是对PLC编程和伺服运动控制有浓厚兴趣的人群。
使用场景及目标：适用于需要深入了解PLC编程技巧和自动化控制系统原理的技术人员。目标是提升编程能力和对复杂自动化系统的工作机制的理解。
其他说明：本文不仅提供具体的编程指导，还强调了项目管理和代码规范的重要性，为读者提供了全面的学习体验。
大班主题性区域活动计划表.doc
大班主题性区域活动计划表.doc
高校教研室工作计划.doc
高校教研室工作计划.doc
Python程序TXLWizard生成TXL文件及转换工具介绍
### 知识点详细说明：
#### 1. 图形旋转与TXL向导
图形旋转是图形学领域的一个基本操作，用于改变图形的方向。在本上下文中，TXL向导（TXLWizard）是由Esteban Marin编写的Python程序，它实现了特定的图形旋转功能，主要用于电子束光刻掩模的生成。光刻掩模是半导体制造过程中非常关键的一个环节，它确定了在硅片上沉积材料的精确位置。TXL向导通过生成特定格式的TXL文件来辅助这一过程。
#### 2. TXL文件格式与用途
TXL文件格式是一种基于文本的文件格式，它设计得易于使用，并且可以通过各种脚本语言如Python和Matlab生成。这种格式通常用于电子束光刻中，因为它的文本形式使得它可以通过编程快速创建复杂的掩模设计。TXL文件格式支持引用对象和复制对象数组（如SREF和AREF），这些特性可以用于优化电子束光刻设备的性能。
#### 3. TXLWizard的特性与优势
- **结构化的Python脚本：** TXLWizard 使用结构良好的脚本来创建遮罩，这有助于开发者创建清晰、易于维护的代码。
- **灵活的Python脚本：** 作为Python程序，TXLWizard 可以利用Python语言的灵活性和强大的库集合来编写复杂的掩模生成逻辑。
- **可读性和可重用性：** 生成的掩码代码易于阅读，开发者可以轻松地重用和修改以适应不同的需求。
- **自动标签生成：** TXLWizard 还包括自动为图形对象生成标签的功能，这在管理复杂图形时非常有用。
#### 4. TXL转换器的功能
- **查看.TXL文件：** TXL转换器（TXLConverter）允许用户将TXL文件转换成HTML或SVG格式，这样用户就可以使用任何现代浏览器或矢量图形应用程序来查看文件。
- **缩放和平移：** 转换后的文件支持缩放和平移功能，这使得用户在图形界面中更容易查看细节和整体结构。
- **快速转换：** TXL转换器还提供快速的文件转换功能，以实现有效的蒙版开发工作流程。
#### 5. 应用场景与技术参考
TXLWizard的应用场景主要集中在电子束光刻技术中，特别是用于设计和制作半导体器件时所需的掩模。TXLWizard作为一个向导，不仅提供了生成TXL文件的基础框架，还提供了一种方式来优化掩模设计，提高光刻过程的效率和精度。对于需要进行光刻掩模设计的工程师和研究人员来说，TXLWizard提供了一种有效的方法来实现他们的设计目标。
#### 6. 系统开源特性
标签“系统开源”表明TXLWizard遵循开放源代码的原则，这意味着源代码对所有人开放，允许用户自由地查看、修改和分发软件。开源项目通常拥有活跃的社区，社区成员可以合作改进软件，添加新功能，或帮助解决遇到的问题。这种开放性促进了技术创新，并允许用户根据自己的需求定制软件。
#### 7. 压缩包子文件的文件名称列表
文件名称列表中的“txlwizard-master”可能指的是TXLWizard项目的主版本库或主分支。这个名称表明了这是项目源代码的中心点，其他开发者会从这个主分支拉取代码进行合作开发或部署。以“-master”结尾通常是版本控制系统中表示主要开发线路的常见约定，例如Git中的master（现在更常被称为main）分支。
通过这些知识点的详细解释，我们可以看到TXLWizard不仅是一个用于生成TXL文件的工具，它还整合了一系列的功能，使得电子束光刻掩模的设计工作更为高效和直观。同时，作为一个开源项目，它能够借助社区的力量不断进步，为用户带来更多的便利和创新。
【创新图生成：扣子平台的技术前沿与创新思维】：引领图像生成技术的新潮流
# 1. 扣子平台的图像生成技术概述
在当今数字化时代，图像生成技术正成为推动技术创新和社会变革的关键力量。扣子平台正是这一技术革新的代表。本章将对扣子平台的图像生成技术进行一个全面概述，探究它如何将理论技术转化为实际应用，并带来显著的社会影响。
扣子平台运用了先进的图像生成技术，将现实世界和数字空间无缝融合，打造了沉浸式的视觉体验。其技术的核心是通过高度复杂的算法模型，快速生成高质
海康威视机器视觉工程师考核
<think>好的，我现在需要帮助用户了解海康威视机器视觉工程师的考核内容和要求。根据用户提供的引用资料，特别是引用[1]和[2]，里面提到了考核素材包分为初级和中级，涵盖理论、算法、应用案例等。首先，我要整理这些信息，确保结构清晰，符合用户要求的格式。
接下来，我需要确认素材包的具体内容，比如初级和中级的不同点。引用[2]提到初级包含基础理论、算法实现和实际案例，中级则增加复杂算法和项目分析。这部分需要分点说明，方便用户理解层次。
另外，用户可能想知道如何准备考核，比如下载素材、学习顺序、模拟考核等，引用[2]中有使用说明和注意事项，这部分也要涵盖进去。同时要注意提醒用户考核窗口已关闭，
Linux环境下Docker Hub公共容器映像检测工具集
在给出的知识点中，我们需要详细解释有关Docker Hub、公共容器映像、容器编排器以及如何与这些工具交互的详细信息。同时，我们会涵盖Linux系统下的相关操作和工具使用，以及如何在ECS和Kubernetes等容器编排工具中运用这些检测工具。
### Docker Hub 和公共容器映像
Docker Hub是Docker公司提供的一项服务，它允许用户存储、管理以及分享Docker镜像。Docker镜像可以视为应用程序或服务的“快照”，包含了运行特定软件所需的所有必要文件和配置。公共容器映像指的是那些被标记为公开可见的Docker镜像，任何用户都可以拉取并使用这些镜像。
### 静态和动态标识工具
静态和动态标识工具在Docker Hub上用于识别和分析公共容器映像。静态标识通常指的是在不运行镜像的情况下分析镜像的元数据和内容，例如检查Dockerfile中的指令、环境变量、端口映射等。动态标识则需要在容器运行时对容器的行为和性能进行监控和分析，如资源使用率、网络通信等。
### 容器编排器与Docker映像
容器编排器是用于自动化容器部署、管理和扩展的工具。在Docker环境中，容器编排器能够自动化地启动、停止以及管理容器的生命周期。常见的容器编排器包括ECS和Kubernetes。
- **ECS (Elastic Container Service)**：是由亚马逊提供的容器编排服务，支持Docker容器，并提供了一种简单的方式来运行、停止以及管理容器化应用程序。
- **Kubernetes**：是一个开源平台，用于自动化容器化应用程序的部署、扩展和操作。它已经成为容器编排领域的事实标准。
### 如何使用静态和动态标识工具
要使用这些静态和动态标识工具，首先需要获取并安装它们。从给定信息中了解到，可以通过克隆仓库或下载压缩包并解压到本地系统中。之后，根据需要针对不同的容器编排环境（如Dockerfile、ECS、Kubernetes）编写配置，以集成和使用这些检测工具。
### Dockerfile中的工具使用
在Dockerfile中使用工具意味着将检测工具的指令嵌入到构建过程中。这可能包括安装检测工具的命令、运行容器扫描的步骤，以及将扫描结果集成到镜像构建流程中，确保只有通过安全和合规检查的容器镜像才能被构建和部署。
### ECS与Kubernetes中的工具集成
在ECS或Kubernetes环境中，工具的集成可能涉及到创建特定的配置文件、定义服务和部署策略，以及编写脚本或控制器来自动执行检测任务。这样可以在容器编排的过程中实现实时监控，确保容器编排器只使用符合预期的、安全的容器镜像。
### Linux系统下的操作
在Linux系统下操作这些工具，用户可能需要具备一定的系统管理和配置能力。这包括使用Linux命令行工具、管理文件系统权限、配置网络以及安装和配置软件包等。
### 总结
综上所述，Docker Hub上的静态和动态标识工具提供了一种方法来检测和分析公共容器映像，确保这些镜像的安全性和可靠性。这些工具在Linux开发环境中尤为重要，因为它们帮助开发人员和运维人员确保他们的容器映像满足安全要求。通过在Dockerfile、ECS和Kubernetes中正确使用这些工具，可以提高应用程序的安全性，减少由于使用不安全的容器镜像带来的风险。此外，掌握Linux系统下的操作技能，可以更好地管理和维护这些工具，确保它们能够有效地发挥作用。
【扣子平台图像艺术探究：理论与实践的完美结合】：深入学习图像生成的艺术
# 1. 图像艺术的理论基础
艺术领域的每一个流派和技巧都有其理论基础。在图像艺术中，理论基础不仅是对艺术表现形式的认知，也是掌握艺术创作内在逻辑的关键。深入理解图像艺术的理论基础，能够帮助艺术家们在创作过程中更加明确地表达自己的艺术意图，以及更好地与观众沟通。
图像艺术的理论