学习hadoop-读取hdfs上面的文件

最新推荐文章于 2024-04-18 13:54:40 发布

原创最新推荐文章于 2024-04-18 13:54:40 发布 · 2.5k 阅读

2 ·

CC 4.0 BY-SA版权

Hadoop 专栏收录该内容

6 篇文章

订阅专栏

本文介绍了如何通过Java API从HDFS中读取文件的具体步骤。首先需要建立远程连接并获取文件系统的实例，然后通过提供的方法打开指定路径的文件并读取其内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

获取hdfs上面的文件

首先进行远程链接具体在 http://blog.csdn.net/qq_36020545/article/details/79062200 有介绍

首先在hadoop hdfs上面看看文件数据

bin/hdfs dfs -text /user/davidghs/mapreduce/wordcount/input/wc.input

进行远程连后获取到fileSystem对象

/**
 * 获取文件系统
 * @return fileSystem 文件系统
 * @throws Exception
 */
public static FileSystem getFileSystem() throws Exception{
    //默认加载 core-site.xml core-defult.xml hdfs-site.xml hdfs-defult.xml
    Configuration configuration = new Configuration();
    //获取文件系统
    FileSystem fileSystem = FileSystem.get(configuration);

    return fileSystem;
}

/**
 *  读取文件
 * @param fileName 文件路径
 * @throws Exception
 */
public static void readFile(String fileName) throws Exception {
    FileSystem fileSystem = getFileSystem();

    Path readPath = new Path(fileName);
    //文件流
    FSDataInputStream inputStream =  fileSystem.open(readPath);

    try{
        //读流
        IOUtils.copyBytes(inputStream,System.out,4096,false);

    }catch(Exception e){
        e.printStackTrace();
    }finally {
        //close steam 关闭资源
        IOUtils.closeStream(inputStream);

    }
}



public static void main(String[] args) throws Exception {
    String fileName = "/user/davidghs/mapreduce/wordcount/input/wc.input";
    //读文件路径
    readFile(fileName);
}

希望可以帮到你