response.addHeader的value内容被自动拼接

<think>我们将在若依框架中集成EasyPOI来实现多Sheet导出功能。根据引用[2]和引用[3]的提示，EasyPOI可以处理复杂的Excel导出，包括多Sheet的情况。以下是具体步骤： ### 1. 添加EasyPOI依赖 在`pom.xml`中添加EasyPOI依赖： ```xml <dependency> <groupId>cn.afterturn</groupId> <artifactId>easypoi-spring-boot-starter</artifactId> <version>4.4.0</version> </dependency> ``` ### 2. 创建实体类（使用EasyPOI注解） ```java // 用户实体 @Data public class User { @Excel(name = "用户ID", orderNum = "0") private Long userId; @Excel(name = "用户名", orderNum = "1") private String userName; } // 部门实体 @Data public class Dept { @Excel(name = "部门ID", orderNum = "0") private Long deptId; @Excel(name = "部门名称", orderNum = "1") private String deptName; } ``` ### 3. 编写多Sheet导出工具类 ```java import cn.afterturn.easypoi.excel.ExcelExportUtil; import cn.afterturn.easypoi.excel.entity.ExportParams; import cn.afterturn.easypoi.excel.entity.enmus.ExcelType; import org.apache.poi.ss.usermodel.Workbook; import javax.servlet.http.HttpServletResponse; import java.io.IOException; import java.net.URLEncoder; import java.util.List; import java.util.Map; public class EasyPoiMultiSheetUtil { /** * 多Sheet导出 * @param response 响应对象 * @param fileName 文件名 * @param sheetMap Sheet数据映射 * key: Sheet名称, value: Map<"title"->Sheet标题, "entityType"->实体类类型, "data"->数据列表> */ public static void exportMultiSheet(HttpServletResponse response, String fileName, Map<String, Map<String, Object>> sheetMap) throws IOException { // 创建工作簿对象 Workbook workbook = null; // 遍历每个Sheet for (Map.Entry<String, Map<String, Object>> entry : sheetMap.entrySet()) { String sheetName = entry.getKey(); Map<String, Object> sheetInfo = entry.getValue(); ExportParams exportParams = new ExportParams(); exportParams.setSheetName(sheetName); exportParams.setTitle((String) sheetInfo.get("title")); exportParams.setType(ExcelType.XSSF); // 使用XSSF格式（支持大数据量） // 如果是第一个Sheet，则创建Workbook，否则追加Sheet if (workbook == null) { workbook = ExcelExportUtil.exportExcel(exportParams, (Class<?>) sheetInfo.get("entityType"), (List<?>) sheetInfo.get("data")); } else { ExcelExportUtil.exportExcel(exportParams, (Class<?>) sheetInfo.get("entityType"), (List<?>) sheetInfo.get("data"), workbook); } } // 设置响应头 response.setContentType("application/vnd.openxmlformats-officedocument.spreadsheetml.sheet"); response.setCharacterEncoding("utf-8"); String encodedFileName = URLEncoder.encode(fileName, "UTF-8").replaceAll("\\+", "%20"); response.setHeader("Content-disposition", "attachment;filename*=utf-8''" + encodedFileName + ".xlsx"); // 输出到响应流 workbook.write(response.getOutputStream()); workbook.close(); } } ``` ### 4. 在Controller中使用 ```java import org.springframework.web.bind.annotation.GetMapping; import javax.servlet.http.HttpServletResponse; import java.util.HashMap; import java.util.List; import java.util.Map; @GetMapping("/exportMultiSheet") public void exportMultiSheet(HttpServletResponse response) throws IOException { // 准备多Sheet数据 Map<String, Map<String, Object>> sheetMap = new HashMap<>(); // 用户数据Sheet Map<String, Object> userSheet = new HashMap<>(); userSheet.put("title", "用户信息表"); userSheet.put("entityType", User.class); userSheet.put("data", userService.selectUserList()); sheetMap.put("用户信息", userSheet); // 部门数据Sheet Map<String, Object> deptSheet = new HashMap<>(); deptSheet.put("title", "部门信息表"); deptSheet.put("entityType", Dept.class); deptSheet.put("data", deptService.selectDeptList()); sheetMap.put("部门信息", deptSheet); // 执行导出 EasyPoiMultiSheetUtil.exportMultiSheet(response, "多Sheet报表", sheetMap); } ``` ### 5. 处理大数据量（参考引用[2]） 若数据量超过10万行，建议使用分页查询并导出，避免内存溢出： ```java // 在工具类中增加分页导出方法 public static void exportLargeDataMultiSheet(HttpServletResponse response, String fileName, Map<String, Map<String, Object>> sheetMap, int pageSize) throws IOException { Workbook workbook = null; for (Map.Entry<String, Map<String, Object>> entry : sheetMap.entrySet()) { String sheetName = entry.getKey(); Map<String, Object> sheetInfo = entry.getValue(); Class<?> entityType = (Class<?>) sheetInfo.get("entityType"); List<?> fullData = (List<?>) sheetInfo.get("data"); // 分页处理 int total = fullData.size(); int pages = (total + pageSize - 1) / pageSize; for (int page = 1; page <= pages; page++) { int fromIndex = (page - 1) * pageSize; int toIndex = Math.min(page * pageSize, total); List<?> subList = fullData.subList(fromIndex, toIndex); ExportParams exportParams = new ExportParams(); exportParams.setSheetName(sheetName + (pages > 1 ? "_" + page : "")); exportParams.setTitle((String) sheetInfo.get("title")); exportParams.setType(ExcelType.XSSF); if (workbook == null) { workbook = ExcelExportUtil.exportExcel(exportParams, entityType, subList); } else { ExcelExportUtil.exportExcel(exportParams, entityType, subList, workbook); } } } // 响应设置（同上） // ... } ``` ### 关键说明 1. **注解配置**：使用`@Excel`注解配置表头 2. **动态Sheet**：通过循环添加多个Sheet 3. **性能优化**： - 使用`ExcelType.XSSF`支持大数据量 - 分页处理避免OOM 4. **样式保留**：EasyPOI会保留模板中的样式（若有模板） > **注意**：实际项目中，若数据量极大，建议使用`SXSSFWorkbook`进行流式导出（EasyPOI底层支持）[^2]。 ### 效果 导出的Excel文件将包含： - **用户信息** Sheet：用户数据 - **部门信息** Sheet：部门数据 - 每个Sheet都有独立的标题和表头 §§相关问题§§ 1. 如何在若依框架中使用EasyPOI导入多Sheet的Excel文件？ 2. EasyPOI如何处理带有合并单元格的复杂Excel导出？ 3. 若依框架中如何实现Excel模板导出（使用EasyPOI）？ 4. EasyPOI导出时如何设置单元格样式？ 5. 如何解决EasyPOI导出大数据量Excel时的内存溢出问题？</think># 若依框架集成EasyPOI实现多Sheet导出 在若依框架中集成EasyPOI实现多Sheet导出功能非常简便，下面我将详细介绍完整的实现步骤和代码示例。 ## 实现思路 1. 添加EasyPOI依赖 2. 创建不同数据类型的实体类 3. 编写多Sheet导出工具类 4. 在Controller中调用导出方法 ## 完整实现代码 ### 1. 添加EasyPOI依赖 在`pom.xml`中添加EasyPOI依赖： ```xml <dependency> <groupId>cn.afterturn</groupId> <artifactId>easypoi-spring-boot-starter</artifactId> <version>4.4.0</version> </dependency> ``` ### 2. 创建实体类（使用EasyPOI注解） ```java // 用户实体 @Data public class User { @Excel(name = "用户ID", orderNum = "0") private Long userId; @Excel(name = "用户名", orderNum = "1") private String userName; @Excel(name = "创建时间", format = "yyyy-MM-dd", orderNum = "2") private Date createTime; } // 部门实体 @Data public class Dept { @Excel(name = "部门ID", orderNum = "0") private Long deptId; @Excel(name = "部门名称", orderNum = "1") private String deptName; @Excel(name = "部门人数", orderNum = "2") private Integer userCount; } // 角色实体 @Data public class Role { @Excel(name = "角色ID", orderNum = "0") private Long roleId; @Excel(name = "角色名称", orderNum = "1") private String roleName; @Excel(name = "角色标识", orderNum = "2") private String roleKey; } ``` ### 3. 编写多Sheet导出工具类 ```java import cn.afterturn.easypoi.excel.ExcelExportUtil; import cn.afterturn.easypoi.excel.entity.ExportParams; import cn.afterturn.easypoi.excel.entity.enmus.ExcelType; import org.apache.poi.ss.usermodel.Workbook; import javax.servlet.http.HttpServletResponse; import java.io.IOException; import java.net.URLEncoder; import java.util.List; import java.util.Map; public class EasyPoiMultiSheetUtil { /** * 多Sheet导出 * @param response 响应对象 * @param fileName 文件名 * @param sheetMap Sheet数据映射 * key: Sheet名称, value: Map<"title"->Sheet标题, "entityType"->实体类类型, "data"->数据列表> */ public static void exportMultiSheet(HttpServletResponse response, String fileName, Map<String, Map<String, Object>> sheetMap) throws IOException { // 创建工作簿对象 Workbook workbook = null; // 遍历每个Sheet for (Map.Entry<String, Map<String, Object>> entry : sheetMap.entrySet()) { String sheetName = entry.getKey(); Map<String, Object> sheetInfo = entry.getValue(); ExportParams exportParams = new ExportParams(); exportParams.setSheetName(sheetName); exportParams.setTitle((String) sheetInfo.get("title")); exportParams.setType(ExcelType.XSSF); // 使用XSSF格式（支持大数据量） // 如果是第一个Sheet，则创建Workbook，否则追加Sheet if (workbook == null) { workbook = ExcelExportUtil.exportExcel(exportParams, (Class<?>) sheetInfo.get("entityType"), (List<?>) sheetInfo.get("data")); } else { ExcelExportUtil.exportExcel(exportParams, (Class<?>) sheetInfo.get("entityType"), (List<?>) sheetInfo.get("data"), workbook); } } // 设置响应头 response.setContentType("application/vnd.openxmlformats-officedocument.spreadsheetml.sheet"); response.setCharacterEncoding("utf-8"); String encodedFileName = URLEncoder.encode(fileName, "UTF-8").replaceAll("\\+", "%20"); response.setHeader("Content-disposition", "attachment;filename*=utf-8''" + encodedFileName + ".xlsx"); // 输出到响应流 workbook.write(response.getOutputStream()); workbook.close(); } } ``` ### 4. 在Controller中使用 ```java import org.springframework.web.bind.annotation.GetMapping; import javax.servlet.http.HttpServletResponse; import java.util.HashMap; import java.util.List; import java.util.Map; @GetMapping("/exportMultiSheet") public void exportMultiSheet(HttpServletResponse response) throws IOException { // 准备多Sheet数据 Map<String, Map<String, Object>> sheetMap = new HashMap<>(); // 用户数据Sheet Map<String, Object> userSheet = new HashMap<>(); userSheet.put("title", "用户信息表"); userSheet.put("entityType", User.class); userSheet.put("data", userService.selectUserList()); sheetMap.put("用户信息", userSheet); // 部门数据Sheet Map<String, Object> deptSheet = new HashMap<>(); deptSheet.put("title", "部门信息表"); deptSheet.put("entityType", Dept.class); deptSheet.put("data", deptService.selectDeptList()); sheetMap.put("部门信息", deptSheet); // 角色数据Sheet Map<String, Object> roleSheet = new HashMap<>(); roleSheet.put("title", "角色信息表"); roleSheet.put("entityType", Role.class); roleSheet.put("data", roleService.selectRoleList()); sheetMap.put("角色信息", roleSheet); // 执行导出 EasyPoiMultiSheetUtil.exportMultiSheet(response, "系统数据报表", sheetMap); } ``` ### 5. 处理大数据量（可选） 对于大数据量导出，可以使用分页处理避免内存溢出： ```java // 在工具类中增加分页导出方法 public static void exportLargeDataMultiSheet(HttpServletResponse response, String fileName, Map<String, Map<String, Object>> sheetMap, int pageSize) throws IOException { Workbook workbook = null; for (Map.Entry<String, Map<String, Object>> entry : sheetMap.entrySet()) { String sheetName = entry.getKey(); Map<String, Object> sheetInfo = entry.getValue(); Class<?> entityType = (Class<?>) sheetInfo.get("entityType"); List<?> fullData = (List<?>) sheetInfo.get("data"); // 分页处理 int total = fullData.size(); int pages = (total + pageSize - 1) / pageSize; for (int page = 1; page <= pages; page++) { int fromIndex = (page - 1) * pageSize; int toIndex = Math.min(page * pageSize, total); List<?> subList = fullData.subList(fromIndex, toIndex); ExportParams exportParams = new ExportParams(); exportParams.setSheetName(sheetName + (pages > 1 ? "_" + page : "")); exportParams.setTitle((String) sheetInfo.get("title")); exportParams.setType(ExcelType.XSSF); if (workbook == null) { workbook = ExcelExportUtil.exportExcel(exportParams, entityType, subList); } else { ExcelExportUtil.exportExcel(exportParams, entityType, subList, workbook); } } } // 响应设置（同上） // ... } ``` ## 关键点说明 1. **EasyPOI注解使用**： - `@Excel`注解用于定义Excel列名和顺序 - `format`属性可以格式化日期等特殊类型 - `orderNum`控制列的顺序 2. **多Sheet实现原理**： - 使用`ExcelExportUtil.exportExcel()`创建第一个Sheet - 后续使用`ExcelExportUtil.exportExcel()`追加Sheet - 所有Sheet共享同一个Workbook对象 3. **性能优化**： - 使用`ExcelType.XSSF`支持大数据量导出 - 对于超过10万行的数据，建议使用分页处理 - 避免在循环中频繁创建Workbook对象 4. **响应头设置**： - 正确设置Content-Type为Excel格式 - 使用URLEncoder处理文件名，解决中文乱码问题 - 设置`Content-disposition`为attachment实现文件下载 ## 导出效果 导出的Excel文件将包含多个Sheet： 1. **用户信息** Sheet：用户数据列表 2. **部门信息** Sheet：部门数据列表 3. **角色信息** Sheet：角色数据列表 每个Sheet都有独立的表头、标题和数据格式，且所有Sheet都在同一个Excel文件中。 > **提示**：对于更复杂的导出需求（如合并单元格、自定义样式等），EasyPOI支持模板导出功能，可以创建Excel模板文件并填充数据[^2]。

<think>我们正在将爬虫数据与DeepSeekAPI集成到Flask应用中，实现基于数据的AI对话功能。根据引用[2]和引用[3]，我们可以采用RAG（检索增强生成）技术。以下是具体步骤：###1.**数据准备**-爬取的数据需要清洗并存储为结构化的形式（如JSON或存入数据库）。-使用向量数据库（如FAISS、Chroma）存储文本的嵌入向量，以便快速检索。###2.**搭建Flask后端**-创建Flask应用，设置路由来处理用户请求。-设计两个主要端点：-一个用于接收用户问题，触发检索和生成回答。-一个用于展示对话历史或前端界面。###3.**RAG流程实现**-**检索**：当用户提问时，将问题转换为向量，从向量数据库中检索最相关的数据片段（如top_k=3）。-**生成**：将检索到的数据片段与用户问题一起构造成Prompt，发送给DeepSeekAPI生成回答。###4.**集成DeepSeekAPI**-在Flask中使用`requests`库调用DeepSeekAPI。-注意设置API密钥（从环境变量中获取）和请求头。###5.**前端展示**-使用HTML/JavaScript创建一个简单的前端页面，通过AJAX与后端交互，实现实时对话。###代码结构示例####文件结构```app/├──main.py#Flask主程序├──config.py#配置文件（API密钥等）├──rag_utils.py#RAG工具函数（检索、生成等）├──templates/│└──index.html#前端页面├──data/#存储爬虫数据└──vector_db/#向量数据库```####main.py示例```pythonfromflaskimportFlask,request,jsonify,render_templatefromrag_utilsimportget_retrieval_augmented_responseimportosapp=Flask(__name__)#配置DeepSeekAPI密钥（建议使用环境变量）DEEPSEEK_API_KEY=os.getenv('DEEPSEEK_API_KEY')ifnotDEEPSEEK_API_KEY:raiseValueError("DeepSeekAPIkeynotfoundinenvironmentvariables.")@app.route('/')defindex():returnrender_template('index.html')@app.route('/ask',methods=['POST'])defask():user_input=request.json.get('question')ifnotuser_input:returnjsonify({"error":"Noquestionprovided"}),400#使用RAG技术获取回答answer=get_retrieval_augmented_response(user_input)returnjsonify({"answer":answer})if__name__=='__main__':app.run(debug=True,port=7000)```####rag_utils.py关键函数```pythonimportrequestsfromyour_vector_db_moduleimportretrieve_top_k#假设你已经实现了向量检索defconstruct_prompt(query:str,context_items:list[str])->str:"""构造RAG提示"""context="\n".join([f"[参考数据{i+1}]:{item}"fori,iteminenumerate(context_items)])prompt=f"""根据以下参考信息回答问题：{context}问题：{query}"""returnpromptdefget_retrieval_augmented_response(query:str,top_k:int=3)->str:#1.检索相关上下文context_items=retrieve_top_k(query,top_k=top_k)#从向量数据库检索#2.构造Promptprompt=construct_prompt(query,context_items)#3.调用DeepSeekAPIresponse=requests.post("https://api.deepseek.com/chat",json={"messages":[{"role":"user","content":prompt}],"model":"deepseek-chat",},headers={"Authorization":f"Bearer{DEEPSEEK_API_KEY}"})ifresponse.status_code!=200:return"抱歉，我暂时无法回答这个问题。"data=response.json()returndata['choices'][0]['message']['content']```####向量数据库检索示例（使用sentence-transformers和FAISS）```python#向量数据库建立（单独脚本）fromsentence_transformersimportSentenceTransformerimportpandasaspdimportfaissimportnumpyasnpmodel=SentenceTransformer('BAAI/bge-base-zh-v1.5')#假设已加载爬虫数据到DataFramedf(columns:'id','content')df=pd.read_json('data/crawled_data.json')texts=df['content'].tolist()#生成向量embeddings=model.encode(texts,normalize_embeddings=True)dim=embeddings.shape[1]#创建FAISS索引index=faiss.IndexFlatIP(dim)index.add(embeddings.astype(np.float32))#保存索引faiss.write_index(index,'vector_db/crawled_data.index')``````python#在rag_utils.py中实现检索importfaissimportnumpyasnpfromsentence_transformersimportSentenceTransformermodel=SentenceTransformer('BAAI/bge-base-zh-v1.5')#加载索引index=faiss.read_index('vector_db/crawled_data.index')defretrieve_top_k(query:str,top_k=3):query_embedding=model.encode([query],normalize_embeddings=True).astype(np.float32)D,I=index.search(query_embedding,top_k)#I是索引列表，从df中获取对应文本#假设我们有全局变量df（实际应用中需优化为数据库或缓存）return[df.iloc[i]['content']foriinI[0]ifi!=-1]```###前端HTML示例(templates/index.html)```html<!DOCTYPEhtml><htmllang="en"><head><metacharset="UTF-8"><title>DeepSeek数据助手</title></head><body><divid="chat"><divid="history"></div><inputtype="text"id="question"placeholder="输入关于数据的问题..."><buttononclick="sendQuestion()">发送</button></div><script>functionsendQuestion(){constquestion=document.getElementById('question').value;if(!question)return;fetch('/ask',{method:'POST',headers:{'Content-Type':'application/json'},body:JSON.stringify({question})}).then(resp=>resp.json()).then(data=>{consthistoryDiv=document.getElementById('history');historyDiv.innerHTML+=`<p><b>你:</b>${question}</p>`;historyDiv.innerHTML+=`<p><b>助手:</b>${data.answer}</p>`;}).catch(console.error);}</script></body></html>```###环境变量与配置创建`.env`文件（注意不要提交到版本控制）：```DEEPSEEK_API_KEY=your_api_key_here```###部署运行1.安装依赖：```bashpipinstallflaskrequestssentence-transformersfaiss-cpupandas```2.运行：```bashpythonmain.py```访问：http://localhost:7000###注意事项-此实现假设爬虫数据已经存储在本地文件并构建了向量索引。实际应用中，可能需要定期更新索引。-检索时可以根据相关性分数（距离）过滤低质量结果（引用[3]中设置`MIN_RELEVANCE_SCORE=0.3`）。-大量数据时考虑使用数据库（如SQLite）存储原始文本，向量索引存储嵌入向量和ID映射。通过上述步骤，你可以在Flask应用中构建一个基于爬虫数据和DeepSeek的智能对话系统。该方法利用了检索增强技术，使模型能够根据你的特定数据回答问题，提高了准确性和相关性。</think> 基于您的需求，我将分步解释如何将爬虫数据与DeepSeek API集成，并在Flask应用中实现基于数据的AI对话功能。解决方案主要参考引用[2]和[3]中的RAG技术实现。 ### 技术方案概览 整个系统使用**Flask后端 + DeepSeek API + RAG架构**实现以下流程： ``` 用户问题 → Flask接收 → 向量数据库检索相关数据 → 构建DeepSeek API请求 → 返回AI回答 ``` --- ### 具体实现步骤 #### 1. 环境配置与依赖安装 ```bash # 安装所需Python包 pip install flask requests sentence-transformers python-dotenv ``` #### 2. 项目结构 ``` your_project/ ├── app.py # Flask主应用 ├── .env # 环境变量（API密钥等） ├── vector_db.py # 向量数据库管理 ├── crawler_data/ # 存储爬取的数据 │ └── data.json # 清洗后的结构化数据 └── templates/ └── chat.html # 聊天界面 ``` #### 3. 实现核心功能 **a. 环境变量配置 (.env)** ```ini # .env文件 DEEPSEEK_API_KEY="your_api_key_here" DEEPSEEK_MODEL_NAME="deepseek-chat" MIN_RELEVANCE_SCORE=0.3 # 相关性阈值(引用[3]) ``` **b. 向量数据库管理 (vector_db.py)** ```python import json import numpy as np from sentence_transformers import SentenceTransformer from sklearn.metrics.pairwise import cosine_similarity class VectorDB: def __init__(self): self.model = SentenceTransformer('BAAI/bge-base-zh-v1.5') # 中文优化的嵌入模型 self.data = [] self.embeddings = [] def load_data(self, file_path): """加载爬虫数据并生成嵌入向量""" with open(file_path, 'r') as f: self.data = json.load(f) texts = [item['content'] for item in self.data] self.embeddings = self.model.encode(texts) def search(self, query, top_k=3): """检索最相关的数据片段""" query_embedding = self.model.encode([query]) similarities = cosine_similarity(query_embedding, self.embeddings)[0] sorted_indices = np.argsort(similarities)[::-1] # 按相似度降序排序 results = [] for idx in sorted_indices[:top_k]: if similarities[idx] > MIN_RELEVANCE_SCORE: # 引用[3]中的相关性过滤 results.append(self.data[idx]) return results ``` **c. Flask应用集成 (app.py)** ```python from flask import Flask, request, render_template, jsonify from vector_db import VectorDB from dotenv import load_dotenv import requests import os # 加载环境变量 load_dotenv() app = Flask(__name__) # 初始化向量数据库 vector_db = VectorDB() vector_db.load_data('crawler_data/data.json') @app.route('/') def chat_page(): """渲染聊天界面""" return render_template('chat.html') @app.route('/ask', methods=['POST']) def ask_question(): """处理用户问题""" question = request.json.get('question') if not question: return jsonify({"error": "No question provided"}), 400 # RAG检索相关数据 context_items = vector_db.search(question, top_k=3) # 构建DeepSeek API请求 messages = [ {"role": "system", "content": "你是一个专业的数据助手，基于以下信息回答问题"}, {"role": "user", "content": build_prompt(question, context_items)} ] # 调用DeepSeek API response = requests.post( "https://api.deepseek.com/chat", json={ "messages": messages, "model": os.getenv("DEEPSEEK_MODEL_NAME") }, headers={"Authorization": f"Bearer {os.getenv('DEEPSEEK_API_KEY')}"} ) if response.status_code != 200: return jsonify({"error": "API request failed"}), 500 return jsonify(response.json()['choices'][0]['message']) def build_prompt(question, context_items): """构建RAG提示""" context_str = "\n".join( f"[相关数据 {i+1}]: {item['content']}\n来源: {item['source']}" for i, item in enumerate(context_items) ) return f""" 用户问题: {question} 参考信息: {context_str} 请基于以上信息回答问题，如果信息不足请说明 """ if __name__ == '__main__': app.run(port=7000, debug=True) ``` **d. 聊天界面模板 (templates/chat.html)** ```html <!DOCTYPE html> <html> <head> <title>基于数据的DeepSeek对话</title> <style> #chat-container { max-width: 800px; margin: 0 auto; } #chat-history { height: 400px; overflow-y: scroll; border: 1px solid #ddd; padding: 10px; } .user-message { text-align: right; color: blue; } .ai-message { text-align: left; color: green; } </style> </head> <body> <div id="chat-container"> <h1>基于爬虫数据的AI问答系统</h1> <div id="chat-history"></div> <div> <input type="text" id="user-input" placeholder="输入你的问题..."> <button onclick="sendQuestion()">发送</button> </div> </div> <script> function sendQuestion() { const input = document.getElementById('user-input'); const question = input.value.trim(); if (!question) return; // 显示用户消息 appendMessage('user-message', question); input.value = ''; // 发送请求到后端 fetch('/ask', { method: 'POST', headers: {'Content-Type': 'application/json'}, body: JSON.stringify({question}) }) .then(response => response.json()) .then(data => { if (data.error) { appendMessage('ai-message', '错误: ' + data.error); } else { appendMessage('ai-message', data.content); } }); } function appendMessage(className, content) { const history = document.getElementById('chat-history'); const messageDiv = document.createElement('div'); messageDiv.className = className; messageDiv.innerHTML = content; history.appendChild(messageDiv); history.scrollTop = history.scrollHeight; } </script> </body> </html> ``` #### 4. 数据格式要求 (crawler_data/data.json) 爬取的数据应结构化为： ```json [ { "source": "https://example.com/article1", "content": "这是第一条爬取的内容摘要..." }, { "source": "https://example.com/article2", "content": "这是第二条爬取的内容摘要..." } ] ``` --- ### 系统工作流程 1. 用户在前端输入问题 2. Flask后端接收问题: - 使用向量数据库检索最相关的数据片段 - 将问题+相关数据构建为RAG提示 - 调用DeepSeek API获取回答 3. 返回并显示AI生成的答案 此方案的核心优势： 1. 通过RAG技术结合爬虫数据与DeepSeek模型(引用[2]) 2. 使用相关度过滤提升答案质量(引用[3]) 3. 完整的Web应用方案，可直接部署 --- ### 注意事项 1. **API成本管理**: DeepSeek API按token计费，注意控制输入长度 2. **数据更新**: 定期重新构建向量数据库以包含新爬取数据 3. **安全性**: 在正式部署时: - 将`.env`加入`.gitignore` - 启用Flask CSRF保护 - 对用户输入做适当的清理过滤 4. **性能优化**: - 对于大型数据集，使用FAISS/Pinecone等专用向量数据库 - 实施请求缓存减少API调用 > 此架构在引用[2]和[3]基础上实现了完整的工作流，可直接用于基于爬虫数据的智能对话场景。 ---