04-EasyExcel使用与阿里云整合EasyExcel

EasyExcel使用与谷粒学院整合EasyExcel

一.EasyExcel的使用场景

  • 数据导入:减轻录入工作量
  • 数据导出:统计信息归档
  • 数据传输:异构系统之间数据传输

二.EasyExcel特点

  1. ava领域解析、生成Excel比较有名的框架有Apache poi、jxl等。但他们都存在一个严重的问题就是非常的耗内存。如果你的系统并发量不大的话可能还行,但是一旦并发上来后一定会OOM或 者JVM频繁的full gc。
  2. EasyExcel是阿里巴巴开源的一个excel处理框架,以使用简单、节省内存著称。EasyExcel能大大减少占用内存的主要原因是在解析Excel时没有将文件数据一次性全部加载到内存中,而是从磁盘上一行行读取数据,逐个解析。
  3. EasyExcel采用一行一行的解析模式,并将一行的解析结果以观察者的模式通知处理(AnalysisEventListener)。

三.使用介绍

1.引入依赖

<dependencies>
<!-- https://mvnrepository.com/artifact/com.alibaba/easyexcel -->
    <dependency> 
        <groupId>com.alibaba</groupId> 
        <artifactId>easyexcel</artifactId> 
        <version>2.1.1</version>
    </dependency>
</dependencies>

2.创建实体类,设置表头和添加的数据字段

package com.sunset.demo.excel;

import com.alibaba.excel.annotation.ExcelProperty;
import lombok.Data;

@Data
public class DemoData {
//    设置表头名称
    @ExcelProperty(value = "学生编号",index = 0)
    private Integer sno;
    @ExcelProperty(value = "学生姓名",index = 1)
    private String name;
}

3.创建读取操作的监听器

package com.sunset.demo.excel;

import com.alibaba.excel.context.AnalysisContext;
import com.alibaba.excel.event.AnalysisEventListener;
import com.alibaba.excel.metadata.CellData;

import java.util.Map;

public class ExcelListener extends AnalysisEventListener<DemoData> {
//    一行一行读取数据
    @Override
    public void invoke(DemoData demoData, AnalysisContext analysisContext) {
        System.out.println("***"+demoData);
    }
//读取完成后
    @Override
    public void doAfterAllAnalysed(AnalysisContext analysisContext) {

    }

//    读取表头

    @Override
    public void invokeHead(Map<Integer, CellData> headMap, AnalysisContext context) {
        System.out.println("表头"+headMap);
    }
}

4.测试读操作

//    读操作
    @Test
    public void test1(){
//        读路径
        String filename = "E:\\test\\write.xlsx";
        EasyExcel.read(filename,DemoData.class,new ExcelListener()).sheet().doRead();
    }

5.测试写操作

 
//模拟数据
	private static List<DemoData> getData(){
        List<DemoData> list = new ArrayList<>();
        for (int i = 0 ;i< 10; i++){
            DemoData demoData = new DemoData();
            demoData.setSno(i);
            demoData.setName("gjl"+i);
            list.add(demoData);
        }
        return list;
    }

//写操作

//    写操作
    @Test
    public void test(){
        //        实现写操作
//        1.设置写入文件夹的位置和 excel名称
        String filename = "E:\\test\\write.xlsx";
//        调用方法,第一个参数文件路径名称,,第二个参数实体类class
        EasyExcel.write(filename, DemoData.class).sheet("学生列表").doWrite(getData());
    }

四.谷粒学院整合EasyExcel

1.创建实体类

package com.sunset.eduService.entity.excel;

import com.alibaba.excel.annotation.ExcelProperty;
import lombok.Data;

@Data
public class SubjectData {
    @ExcelProperty(index = 0)
    private String  oneSubjectName;
    @ExcelProperty(index = 1)
    private String twoSubjectName;
}

2.创建listen监听器

package com.sunset.eduService.listener;

import com.alibaba.excel.context.AnalysisContext;
import com.alibaba.excel.event.AnalysisEventListener;
import com.baomidou.mybatisplus.core.conditions.query.QueryWrapper;
import com.sunset.eduService.entity.EduSubject;
import com.sunset.eduService.entity.excel.SubjectData;
import com.sunset.eduService.service.EduSubjectService;
import com.sunset.servicebase.exceptionHanlder.SunsetException;

public class SubjectExcelListen extends AnalysisEventListener<SubjectData> {
    private EduSubjectService eduSubjectService;

    public SubjectExcelListen() {
    }

    public SubjectExcelListen(EduSubjectService eduSubjectService) {
        this.eduSubjectService = eduSubjectService;
    }

    @Override
    public void invoke(SubjectData subjectData, AnalysisContext analysisContext) {
        if(subjectData == null){
            throw new SunsetException(20001,"文件数据为空");
        }
//        判断一级分类是否重复
        EduSubject eduSubject = this.existOneSubject(eduSubjectService, subjectData.getOneSubjectName());
        if(eduSubject==null){
            eduSubject = new EduSubject();
            eduSubject.setParentId("0");
            eduSubject.setTitle(subjectData.getOneSubjectName());
            eduSubjectService.save(eduSubject);
        }
//        获取一级分类id值
        String pid = eduSubject.getId();
        EduSubject twoSubject = this.existTwoSubject(eduSubjectService, subjectData.getTwoSubjectName(), pid);
        if(twoSubject == null){
            twoSubject = new EduSubject();
            twoSubject.setParentId(pid);
            twoSubject.setTitle(subjectData.getTwoSubjectName());
            eduSubjectService.save(twoSubject);
        }

    }

//    一级分类不能重复添加
    private EduSubject existOneSubject(EduSubjectService subjectService,String name){
        QueryWrapper<EduSubject> wrapper = new QueryWrapper<>();
        wrapper.eq("title",name);
        wrapper.eq("parent_id","0");
        EduSubject one = subjectService.getOne(wrapper);
        return one;
    }

    //    二级分类不能重复添加
    private EduSubject existTwoSubject(EduSubjectService subjectService,String name,String pid){
        QueryWrapper<EduSubject> wrapper = new QueryWrapper<>();
        wrapper.eq("title",name);
        wrapper.eq("parent_id","pid");
        EduSubject two = subjectService.getOne(wrapper);
        return two;
    }
    @Override
    public void doAfterAllAnalysed(AnalysisContext analysisContext) {

    }
}

3.创建service层

@Override
    public void saveSubject(MultipartFile file,EduSubjectService subjectService) {
        try {
            InputStream inputStream = file.getInputStream();
            EasyExcel.read(inputStream, SubjectData.class,new SubjectExcelListen(subjectService)).sheet().doRead();
        }catch (Exception e){
            e.printStackTrace();
        }

    }

4.创建controller层

//    添加课程分类
//    获取上传过来的文件,把文件读取出来、
    @PostMapping("/addSubject")
    public Result addSubject(MultipartFile file){
//        上传过来的excel文件
        subjectService.saveSubject(file,subjectService);
        return Result.ok();
    }

注意:这里选择传入subjectService是因为在listen里面要用到这个对象,但是listen监听器并没有交给spring容器管理,如果选择注入的话,注入不了,所以选择在controller里传过去,然后在构造方法里面将subjectService初始化,防止空指针异常。

在这里插入图片描述

service层

在这里插入图片描述

五.谷粒学院课程展示

1.展示模型

树状图模型

2.实现步骤

  1. 创建一级分类,二级分类vo对象

一级分类

package com.sunset.eduService.entity.subject;

import lombok.Data;

import java.util.ArrayList;
import java.util.List;

//一级分类
@Data
public class OneSubject {
    private String id;
    private String title;
//    一个一级分类里面有多个二级分类
    private List<TwoSubject> children = new ArrayList<>();
}

二级分类

package com.sunset.eduService.entity.subject;

import lombok.Data;

//二级分类
@Data
public class TwoSubject {
    private String id;
    private String title;
}

  1. 创建service层
//返回指定数据
    @Override
    public List<OneSubject> getAllOneTwoSubject() {
//        1.查询出所有的一级分类 parent_id = 0
        QueryWrapper<EduSubject> wrapper1 = new QueryWrapper<>();
        wrapper1.eq("parent_id",0);
        List<EduSubject> oneList = baseMapper.selectList(wrapper1);
//        2.查询出所有的二级分类 parent_id !=0
        QueryWrapper<EduSubject> wrapper2 = new QueryWrapper<>();
        wrapper2.ne("parent_id",0);
        List<EduSubject> twoList = baseMapper.selectList(wrapper2);
//        创建list集合,用于最后封装的数据
        List<OneSubject> finalList = new ArrayList<>();
//        3.封装一级分类
        for (int i = 0; i < oneList.size(); i++) {//遍历集合,得到每个对象
            EduSubject eduSubject = oneList.get(i);
//            String id = eduSubject.getId();
//            String title = eduSubject.getTitle();
            OneSubject oneSubject = new OneSubject();
//            oneSubject.setId(id);
//            oneSubject.setTitle(title);
//            使用工具类封装
            BeanUtils.copyProperties(eduSubject, oneSubject);
//            在一级分类里面封装二级分类
            List<TwoSubject> twoSubjectList = new ArrayList<>();
            for (int j = 0; j < twoList.size(); j++) {
                EduSubject eduSubject1 = twoList.get(j);
                if (eduSubject1.getParentId().equals(eduSubject.getId())) {
                    TwoSubject twoSubject = new TwoSubject();
                    BeanUtils.copyProperties(eduSubject1, twoSubject);
                    twoSubjectList.add(twoSubject);
                }
            }
            oneSubject.setChildren(twoSubjectList);
            finalList.add(oneSubject);
        }

//        4.封装二级分类
        return finalList;
    }
  1. controller调用
//    课程类别添加(树型)
    @GetMapping("/getAllSubject")
    public Result getAllSubject(){
//        list集合的泛型是一级分类
        List<OneSubject> list = subjectService.getAllOneTwoSubject();
        return Result.ok().data("list",list);
    }

<think>好的,我现在需要帮助用户了解如何将EasyExcelAmazon S3结合使用。首先,我得回顾一下这两个技术的基本概念,确保自己理解正确。 EasyExcel是阿里巴巴开源的一个处理Excel文件的Java库,它内存消耗低,适合处理大文件。而Amazon S3是AWS提供的对象存储服务,用于存储和检索大量数据。用户可能想知道如何在上传或下载Excel文件时,将两者结合起来,比如直接从S3读取或写入Excel文件,而不需要经过本地磁盘。 接下来,我应该考虑用户可能的场景。他们可能希望将生成的Excel报表直接保存到S3,或者从S3读取数据进行分析。这时候,EasyExcel的流式API会很有用,因为它可以处理输入输出流,而S3的SDK(如AWS SDK for Java)允许通过流来上传和下载文件。 需要确认的是,如何正确地将S3的输入输出流EasyExcel集成。例如,当从S3下载文件时,可以使用S3的GetObjectRequest获取输入流,然后传递给EasyExcel的read方法。同样,生成Excel文件时,可以通过S3的PutObjectRequest上传输出流,而EasyExcel的write方法支持输出流。 另外,要注意异常处理和资源管理。确保流在使用后被正确关闭,避免内存泄漏。可能还需要处理大文件时的分块上传或下载,但S3的SDK通常已经处理了这些细节,所以用户只需要关注流的传递。 权限和安全性也是需要考虑的。确保应用程序有正确的IAM角色或访问密钥来访问S3存储桶。同时,Excel文件可能包含敏感数据,传输过程中应使用HTTPS,存储时加密。 最后,用户可能需要具体的代码示例。比如,从S3读取Excel的步骤:创建S3客户端,获取对象,获取输入流,用EasyExcel读取。写入时则是创建输出流,用EasyExcel写入数据,然后上传到S3。需要确保代码结构清晰,并提到依赖管理,比如Maven或Gradle中添加AWS SDK和EasyExcel的依赖。 可能还需要提到一些最佳实践,比如使用异步上传以提高性能,或者处理大文件时的内存优化。同时,错误处理方面,比如捕获S3的异常和EasyExcel的异常,确保程序健壮性。 总结一下,回答的结构应该包括简介、结合场景、实现步骤、依赖配置、代码示例、注意事项等部分,逐步引导用户理解整合过程,并确保他们能够正确实施。</think>### EasyExcel结合Amazon S3的使用指南 #### 1. **技术简介** - **EasyExcel**:阿里巴巴开源的Java库,用于高效读写Excel文件(支持`.xls`/`.xlsx`),特点是内存占用低,适合处理大文件。 - **Amazon S3**:AWS提供的对象存储服务,支持通过API上传、下载和管理文件。 #### 2. **结合场景** - 从S3直接读取Excel文件并解析为Java对象。 - 将生成的Excel文件直接上传到S3,无需本地缓存。 - 适合云原生应用(如Serverless架构)避免本地磁盘依赖。 #### 3. **实现步骤** ##### **场景1:从S3读取Excel** 1. **依赖配置**(Maven): ```xml <!-- AWS SDK --> <dependency> <groupId>software.amazon.awssdk</groupId> <artifactId>s3</artifactId> <version>2.17.0</version> </dependency> <!-- EasyExcel --> <dependency> <groupId>com.alibaba</groupId> <artifactId>easyexcel</artifactId> <version>3.1.1</version> </dependency> ``` 2. **代码示例**: ```java // 创建S3客户端 S3Client s3Client = S3Client.builder() .region(Region.US_EAST_1) .build(); // 从S3获取输入流 GetObjectRequest request = GetObjectRequest.builder() .bucket("your-bucket-name") .key("path/to/file.xlsx") .build(); ResponseInputStream<?> s3Stream = s3Client.getObject(request); // 使用EasyExcel解析数据 List<User> users = EasyExcel.read(s3Stream) .head(User.class) // 定义数据模型类 .sheet() .doReadSync(); s3Stream.close(); // 关闭流 ``` ##### **场景2:写入Excel到S3** 1. **代码示例**: ```java // 创建S3客户端(同上) // 创建临时输出流(避免内存溢出) PipedInputStream in = new PipedInputStream(); PipedOutputStream out = new PipedOutputStream(in); // 异步上传到S3 CompletableFuture.runAsync(() -> { s3Client.putObject(PutObjectRequest.builder() .bucket("your-bucket-name") .key("path/to/output.xlsx") .build(), RequestBody.fromInputStream(in, -1)); }); // 使用EasyExcel写入数据 EasyExcel.write(out, User.class) .sheet("用户列表") .doWrite(userList); out.close(); // 关闭流触发上传 ``` #### 4. **注意事项** - **流式处理**:务必使用`try-with-resources`或手动关闭流,避免资源泄漏。 - **超时控制**:大文件处理时需设置合理的HTTP超时时间(通过`ApacheHttpClient`配置)。 - **权限管理**:确保AWS IAM角色具有S3存储桶的读写权限。 - **性能优化**: - 分页读取:通过`pageSize`限制单次加载数据量。 - 压缩传输:在S3上传时启用`gzip`压缩(需客户端支持)。 #### 5. **高级用法** - **自定义转换器**:处理日期、枚举等复杂字段。 ```java @Data public class User { @ExcelProperty("姓名") private String name; @ExcelProperty(value = "注册时间", converter = LocalDateTimeConverter.class) private LocalDateTime registerTime; } ``` - **监听器**:结合`ReadListener`实现实时进度监控。 ```java EasyExcel.read(s3Stream, User.class, new UserReadListener()) .sheet() .doRead(); ``` #### 6. **错误处理** - **捕获S3异常**: ```java try { s3Client.getObject(request); } catch (S3Exception e) { if (e.statusCode() == 404) { throw new FileNotFoundException("S3文件不存在"); } } ``` - **Excel解析错误**:通过`ReadListener`的`onException`方法拦截格式错误。 #### 7. **扩展场景** - **Spring Boot集成**:通过`@Async`实现异步上传/下载。 - **Serverless应用**:在AWS Lambda中结合使用,实现无服务器Excel处理。 --- 通过上述步骤,可实现EasyExcelS3的高效集成,适用于云环境下的数据导入导出需求。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值