怎么访问HDFS

<think>好的，用户想知道如何通过编程或命令行访问HDFS文件系统。我需要结合提供的引用内容来回答这个问题。 首先，引用[2]提到HDFS是Hadoop的分布式文件系统，适合处理大数据，具有高容错性。用户需要知道访问它的方法，包括命令行和编程接口。 关于命令行部分，引用[3]给出了具体的命令示例，比如使用hdfs dfs -put上传文件。我应该列举常用命令，比如列出文件、上传、下载、创建目录、删除文件等。这些命令是用户通过命令行操作HDFS的基础。 编程访问方面，引用[1]提到需要理解HDFS的读写操作原理和流程。Hadoop提供了Java API，比如使用FileSystem类来获取文件系统实例，然后进行读写操作。另外，用户可能也会用到其他语言，比如Python通过HDFS库或者WebHDFS REST API。需要简要说明这些方法，并给出代码示例。 引用[4]提到的垃圾回收机制可能和删除文件后的恢复有关，但用户的问题主要在于访问，所以可能不需要详细展开这部分，但可以在删除命令处提到垃圾回收的配置，提醒用户注意数据恢复的可能性。 需要确保回答结构清晰，分点说明命令行和编程方法，每个部分给出具体例子。同时，生成相关问题时要围绕HDFS的访问、操作、原理等方面提问，比如性能优化、常用命令、API使用等。 检查是否所有数学表达式都正确使用了$...$或$$...$$格式，这里可能涉及较少数学内容，但如果有路径或代码中的变量，需注意格式。例如，路径如/test/test.txt不需要数学格式，但代码中的变量应正确使用代码块。 最后，确保引用标识正确添加在相关内容的末尾，比如在提到命令行时引用[3]，提到API时引用[1]和[2]。</think>### 如何通过编程或命令行访问 HDFS 文件系统？ #### 一、通过命令行访问 HDFS HDFS 提供了丰富的命令行工具，用户可以通过 `hdfs dfs` 或 `hadoop fs` 命令操作文件系统[^2][^3]。以下是常用命令示例： 1. **查看目录内容** ```bash hdfs dfs -ls /1/dir1 # 列出指定路径下的文件 ``` 2. **上传本地文件到 HDFS** ```bash hdfs dfs -put /本地路径/test.txt /HDFS路径/ # 例如引用[3]中的示例命令 ``` 3. **下载 HDFS 文件到本地** ```bash hdfs dfs -get /HDFS路径/test.txt /本地路径/ ``` 4. **创建目录** ```bash hdfs dfs -mkdir -p /1/dir1/dir2 # 递归创建多级目录 ``` 5. **删除文件或目录** ```bash hdfs dfs -rm /HDFS路径/test.txt # 删除文件（若开启垃圾回收功能，文件会暂存回收站）[^4] ``` --- #### 二、通过编程访问 HDFS ##### 1. **使用 Java API** Hadoop 原生支持 Java API，核心类为 `org.apache.hadoop.fs.FileSystem`。以下是示例代码： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class HDFSAccess { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); // 上传本地文件到 HDFS fs.copyFromLocalFile(new Path("/本地路径/test.txt"), new Path("/HDFS路径/test.txt")); fs.close(); } } ``` ##### 2. **使用 Python（通过 WebHDFS 或 hdfs3 库）** 若需通过 Python 访问，可使用 `hdfs3` 或调用 WebHDFS REST API： ```python from hdfs3 import HDFileSystem hdfs = HDFileSystem(host='namenode-host', port=8020) # 列出目录内容 files = hdfs.ls('/1/dir1') # 上传文件 with open('/本地路径/test.txt', 'rb') as f: hdfs.put('/HDFS路径/test.txt', f) ``` --- #### 三、关键原理与注意事项 1. **读写流程** - 写操作：客户端向 NameNode 申请写入文件，NameNode 分配 DataNode 列表，客户端直接向 DataNode 写入数据块[^1]。 - 读操作：客户端从 NameNode 获取文件块位置，直接与 DataNode 通信读取数据[^2]。 2. **容错与性能** HDFS 默认存储 3 个副本，确保数据高可用性。编程时可通过配置参数（如副本数、块大小）优化性能。 ---