不使用pageHelper在java项目中巧妙实现clickhouse分页，方便快捷，两个页面实现，亲测可用_clickhouse分页,pagehelperclickhouse资源-CSDN下载

共3个文件

jsp：2个

txt：1个

java

开发语言

5星 · 超过95%的资源需积分: 5 97 浏览量 2022-03-10 11:31:35 上传评论收藏 4KB RAR 举报

在Java项目中，分页是常见的数据查询需求，特别是在大数据量的场景下，如ClickHouse数据库的使用。PageHelper是一个非常流行的MyBatis插件，它提供了强大的分页功能，但有时我们可能出于某些原因不希望引入额外的依赖。本教程将介绍如何不使用PageHelper，仅通过两个关键页面实现ClickHouse的分页查询，这种方式既方便又快捷，并且经过实际测试，已经证实是可行的。我们需要理解ClickHouse的基本概念。ClickHouse是一款高性能的列式数据库管理系统（Column-Oriented DBMS），适用于在线分析处理（OLAP）场景，能够快速处理大量数据。对于分页，ClickHouse提供了`LIMIT`和`OFFSET`关键字来实现，但直接使用`OFFSET`可能导致性能问题，因为它需要扫描并跳过大量无用的数据。在Java项目中，我们可以利用ClickHouse的`ORDER BY`和`LIMIT`来实现高效的分页。以下是一种实现方式： 1. **前端页面**：在用户界面，提供分页控件，如页码和每页条数的选择。这些参数应该通过HTTP请求发送到后端，例如`pageNumber`和`pageSize`。 2. **后端服务**：在Java服务层，我们需要根据前端传递的参数进行计算。由于ClickHouse的`OFFSET`效率低，我们采用一种称为“游标”的方法。我们根据排序字段计算出第一页的数据，然后保存最后一个记录的关键字段值（比如ID）。这将成为下一页查询的起点。 ```java public List<Data> fetchPage(int pageNumber, int pageSize) { String lastId = fetchLastIdFromPreviousPage(pageNumber - 1, pageSize); String sql = "SELECT * FROM table ORDER BY id LIMIT ?, ?"; Object[] params = {lastId, pageSize}; return clickhouseJdbcTemplate.query(sql, params, new DataRowMapper()); } ``` 3. **查询优化**：为了提高效率，我们在`ORDER BY`子句中使用主键或唯一索引字段，确保查询速度。同时，避免使用`OFFSET`，而是将`lastId`作为查询条件，找出所有ID大于`lastId`的记录。 4. **分页逻辑**：在后端，我们还需要维护一个总记录数，这可以通过一次性查询获取，或者在第一次请求时计算。总页数可以根据总记录数和每页条数动态计算。 5. **数据库连接管理**：考虑到ClickHouse是分布式系统，可能需要配置多个节点，确保在高并发情况下，数据库连接的稳定性和性能。 6. **异常处理**：在实际开发中，需要添加异常处理机制，比如处理网络异常、数据不存在等情况。 7. **性能监控**：在生产环境中，对分页查询的性能进行监控，确保其在大数据量下的效率。不使用PageHelper，我们可以通过Java服务配合ClickHouse的`ORDER BY`和`LIMIT`关键字实现高效分页。这种方法减少了对外部库的依赖，同时也保持了代码的简洁性和可维护性。在实际应用中，根据具体业务需求和性能指标，可以进行适当的优化调整。

资源详情

资源评论

资源推荐

收起资源包目录

不使用pageHelper在java项目中巧妙实现clickhouse分页.rar （3个子文件）

不使用pageHelper在java项目中巧妙实现clickhouse分页

java类方法.txt 3KB

jsp

serindex.jsp 7KB

serlist.jsp 1KB

@RequestMapping("/index") public String index(HttpServletRequest request, HttpServletResponse reponse) throws Exception, ClassNotFoundException { int pageIndex = Integer.parseInt(request.getParameter("pageindex") == null ? "0" : request.getParameter("pageindex")); int pageSize = Integer.parseInt(request.getParameter("pageSize") == null ? "20" : request.getParameter("pageSize")); String swhere=getSwhere(request,reponse); String sqlCount = "select count(*) counts from wgh_call_record_list t"; sqlCount=sqlCount+" where 1=1 "+swhere; System.out.println("sqlCount:"+sqlCount); String count = new CHConnectUtils().getOneColumResultBysql(sqlCount); int len = Integer.parseInt(count); System.out.println("查询数据条数：" + len); request.setAttribute("len", len); request.setAttribute("pageIndex", pageIndex); request.setAttribute("pageSize", pageSize); return "clickhouse/callser/serindex"; } @RequestMapping("/list") public String list(HttpServletRequest request, HttpServletResponse reponse) throws Exception, ClassNotFoundException { int pageIndex = Integer.parseInt(request.getParameter("pageIndex")==null?"0":request.getParameter("pageIndex")); int pageSize= Integer.parseInt(request.getParameter("pageSize")==null?"20":request.getParameter("pageSize")); System.out.println("查询数据页数数："+pageIndex+";pageSize:"+pageSize); String swhere=getSwhere(request,reponse); String sqlShow=" select rowNumberInAllBlocks()+1 rownum,t.CALL_ID , t.CALL_NO ,t.PEER_NO ,t.TEL_X ,t.CALL_DURATION,t.CALL_TIME ,t.START_TIME ,t.FINISH_TIME " + " from tableName t where rownum>"+(pageIndex-1)*pageSize+" and rownum<="+pageIndex*pageSize; sqlShow=sqlShow+swhere; sqlShow+=" order by t.CALL_TIME desc"; System.out.println("sqlShowlist:"+sqlShow); List<RecordSer> listShow = new ArrayList<RecordSer>(); listShow = new CHConnectUtils().getResultSetBysql(sqlShow); String tableStr = ""; for (int i = 0; i < listShow.size(); i++) { RecordSer recordSer = listShow.get(i); tableStr += "<tr><td style=\"width: 130px\">" + recordSer.getCALL_ID() + "</td><td style=\"width: 120px\">" + recordSer.getCALL_NO() + "</td><Td style=\"width: 120px\">"+recordSer.getPEER_NO()+"</td>" + "<td style=\"width: 120px\">" + recordSer.getTEL_X()+ "</td>" + "<td style=\"width: 60px\">" + recordSer.getCALL_DURATION() + "</td>"+ "<td style=\"width: 120px\">" + recordSer.getCALL_TIME()+ "</td><td style=\"width: 120px\">" + recordSer.getSTART_TIME()+ "</td><td>" + recordSer.getFINISH_TIME()+ "</td></tr>"; } request.setAttribute("tableStr", tableStr); request.setAttribute("pageIndex", pageIndex); request.setAttribute("pageSize", pageSize); return "clickhouse/callser/serlist"; }