权限管理：
平台组件使用用户认证进行权限管理。认证方式通过BODC认证：
-Dhadoop.security.bdoc.access.id=47a320e5999099013ec3 -Dhadoop.security.bdoc.access.key=9ffafb0dede91560ecccfb1dccf19be9a54ac1bc
### 大数据平台可用组件及命令
在大数据处理领域，构建一个高效稳定的大数据平台是至关重要的。本文将详细介绍一个大数据平台中所涉及的关键组件及其命令用法，并特别关注权限管理方面的一些设置。
#### 权限管理
权限管理是任何系统中都非常关键的部分，它确保了系统的安全性以及资源的有效分配。在大数据平台中，为了更好地控制不同用户对资源的访问，通常会采用用户认证的方式来进行权限管理。这里提到的认证方式为**BODC认证**。
**BODC认证配置**：
```plaintext
-Dhadoop.security.bdoc.access.id=47a320e5999099013ec3
-Dhadoop.security.bdoc.access.key=9ffafb0dede91560ecccfb1dccf19be9a54ac1bc
```
其中`hadoop.security.bdoc.access.id`和`hadoop.security.bdoc.access.key`分别指定了用户的ID和密钥。这些配置项需要在启动服务时作为参数传递给Hadoop进程。
#### HDFS组件
HDFS（Hadoop Distributed File System）是Hadoop生态系统中的分布式文件系统，用于存储海量的数据。下面列出了一些常用的HDFS命令：
- **hadoop fs**：这是HDFS的主要命令行工具，支持对HDFS执行各种操作，如创建目录、上传文件、下载文件等。
- `hadoop fs -ls /`: 列出根目录下的所有文件和目录。
- `hadoop fs -mkdir /mydir`: 在根目录下创建名为`mydir`的新目录。
- `hadoop fs -put localfile /mydir`: 将本地文件`localfile`上传到HDFS的`/mydir`目录下。
- `hadoop fs -get /mydir/localfile .`: 从HDFS的`/mydir`目录下下载文件`localfile`到当前目录。
更多命令和用法，请参考官方文档：[HDFS Commands](http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSCommands.html)
#### YARN组件
YARN（Yet Another Resource Negotiator）是Hadoop的一个资源管理器，负责集群资源的管理和调度。以下是一些常见的YARN命令：
- **yarn application**：用于查看和管理应用程序。
- `yarn application -list`: 查看正在运行的应用程序列表。
- `yarn application -kill <application_id>`: 终止指定ID的应用程序。
更多命令和用法，请参考官方文档：[Yarn Commands](http://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/YarnCommands.html)
#### Hive组件
Hive是一种基于Hadoop的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，使不熟悉MapReduce的用户可以使用SQL语言查询数据。Hive命令主要通过`hive`命令行工具执行。
- **hive**：启动Hive的命令行界面。
- `hive`: 启动Hive命令行。
- `hive -e "SELECT * FROM mytable LIMIT 10"`: 执行一条SQL语句并显示结果。
更多命令和用法，请参考官方文档：[Hive Language Manual](https://cwiki.apache.org/confluence/display/Hive/LanguageManual)
#### Spark组件
Apache Spark是一种快速通用的大规模数据处理引擎，支持多种计算模式，包括批处理、实时处理和机器学习等。Spark命令主要用于提交作业或管理Spark集群。
- **spark-submit**：提交Spark作业。
- `spark-submit --class org.apache.spark.examples.SparkPi spark-pi-1.0.jar`: 提交名为`SparkPi`的类作为主类，使用`spark-pi-1.0.jar`作为JAR包。
- 示例命令：
```bash
spark-submit \
--name "DPI_JavaSparkXDR_all" \
--conf spark.hadoop.hadoop.security.bdoc.access.id=47a320e5999099013ec3 \
--conf spark.hadoop.hadoop.security.bdoc.access.key=9ffafb0dede91560ecccfb1dccf19be9a54ac1bc \
--queue root.bdoc.renter_1.dev_65 \
--conf spark.executorEnv.JAVA_HOME=/usr/local/jdk1.8 \
--conf spark.yarn.appMasterEnv.JAVA_HOME=/usr/local/jdk1.8 \
--num-executors 20 \
--executor-memory 3g \
--driver-memory 3g \
--master yarn \
--deploy-mode cluster \
--class spark.JavaSparkXDR \
spark-xdr-2.0-all-SNAPSHOT-jar-with-dependencies.jar \
"201812101555" \
"201901010000" \
"NNYYYY"
```
此命令指定了Spark作业的名称、队列、Java环境路径、执行器数量、内存大小、主类位置以及其他配置信息。
#### HBase组件
HBase是一种分布式、多版本的列式存储模型的NoSQL数据库，适用于非结构化和半结构化数据存储。
- **启动HBase Shell**：与HBase交互的一种方式。
- `cd /usr/localhost/cdhbase`: 进入到HBase的安装目录。
- `./bin/hbase shell`: 启动HBase Shell。
通过HBase Shell，用户可以直接执行SQL查询或其他管理操作。
总结起来，本文详细介绍了大数据平台中涉及到的关键组件及其命令用法，包括权限管理、HDFS、YARN、Hive、Spark和HBase。这些组件构成了一个完整的大数据处理平台的基础，能够满足不同场景下的数据处理需求。对于想要深入了解和掌握大数据技术的读者来说，理解这些组件的工作原理和使用方法是非常有帮助的。
