用python Word中如何批量处理重复试题

<think>嗯，用户的问题是关于使用Python批量处理Word文档中的重复试题，需要删除或标记重复内容。首先，我得确定如何处理Word文档。Python处理Word的话，常用的库有python-docx，这个库可以读取和编辑docx文件。用户提到批量处理，所以可能需要遍历多个文件。 接下来是重复试题的判断。试题可能结构复杂，包含文字、图片、公式等。简单的文本比较可能不够，因为格式不同但内容相同的试题会被误判。例如，同一道题可能有不同的排版或者标点符号差异。所以需要提取试题的内容特征，可能需要进行标准化处理，比如去除空格、标点，统一大小写等。 然后，如何识别重复。一种方法是计算每个试题的哈希值，比如MD5或者SHA-1，将标准化后的文本生成哈希，然后比较哈希值是否相同。如果有相同的哈希，则视为重复试题。或者使用相似度算法，如余弦相似度，但这样计算量更大，可能不适合批量处理。 用户需要示例代码，所以得用python-docx来读取文档中的段落、表格、图片等信息。但处理图片和公式可能比较复杂，可能需要提取文本部分。假设用户主要是处理文本试题，那么可以提取每个段落的文本内容，进行标准化处理后比较。 然后，如何处理重复试题。删除或标记，比如用颜色高亮或者添加注释。删除的话，需要定位到具体段落并删除；标记的话，可能需要修改文本样式。 现在，结合引用内容。引用[1]中提到了使用正则表达式统计单词数，可能对处理文本有帮助，比如用正则表达式提取题目编号或内容。引用[2]关于代码缩进的问题，提醒在编写Python代码时注意缩进正确。引用[3]提到Python面试题，可能涉及字符串处理和数据结构，比如用集合来存储已出现的试题哈希，快速查找重复。 可能的步骤： 1. 遍历所有Word文档。 2. 提取每个试题的内容，可能需要根据试题的结构（如题目编号、题干、选项）进行分割。 3. 对每个试题内容进行标准化处理（去空格、转小写，去除标点）。 4. 生成哈希值，存入字典，记录出现次数和位置。 5. 对重复的试题进行删除或标记。 代码示例需要用到python-docx，读取文档，处理段落。可能还需要处理表格中的内容，如果试题在表格里的话。但示例可能先处理段落文本。 潜在的问题：试题可能跨段落，比如题干在一个段落，选项在后续段落。这时候需要确定试题的起始和结束位置，可能需要特定的标识符，比如“题目1”、“答案：”等，或者根据用户的文档结构来定。如果用户没有明确的标识，可能需要更复杂的自然语言处理或模式匹配，这可能比较复杂。 所以，在示例代码中，可能先假设每个试题是一个段落，或者通过特定的分隔符（如“###”或题号）来分割试题。如果用户的文档结构不明确，可能需要进一步询问用户，但根据问题，用户可能需要一个通用的方法，所以可能需要简化处理，比如按段落处理，并比较每个段落的哈希值。 另外，处理重复时，可能需要保留第一个出现的试题，删除后续重复的，或者标记所有重复的。需要根据用户需求来定，但示例代码可能需要参数控制。 最后，给出代码框架，使用python-docx读取文档，处理段落，生成哈希，标记重复。同时提醒用户注意试题的结构复杂性，可能需要调整代码以适应实际情况。</think>### Python批量处理Word文档重复试题的解决方案 ### 一、实现思路 1. **文档解析**：使用`python-docx`库读取Word内容，提取文本和格式信息[^3] 2. **重复检测**：通过哈希算法（如MD5）识别重复内容，支持文本标准化（去除空格/标点/大小写） 3. **批量处理**：遍历指定目录下的所有`.docx`文件 4. **标记策略**：通过字体颜色（红色）或批注标记重复试题 ### 二、示例代码 ```python from docx import Document from docx.shared import RGBColor import hashlib import os def process_docs(folder_path): seen = {} # 存储哈希值与文件路径的映射 for filename in os.listdir(folder_path): if filename.endswith('.docx'): doc_path = os.path.join(folder_path, filename) doc = Document(doc_path) for para in doc.paragraphs: # 标准化处理 clean_text = para.text.strip().lower().replace(' ', '') clean_text = ''.join(e for e in clean_text if e.isalnum()) if len(clean_text) < 20: # 忽略短文本 continue # 生成哈希 text_hash = hashlib.md5(clean_text.encode()).hexdigest() if text_hash in seen: # 标记重复段落为红色 for run in para.runs: run.font.color.rgb = RGBColor(255, 0, 0) # 可选：添加删除线 # para.add_comment(f"重复内容，原始文件：{seen[text_hash]}", author="系统") else: seen[text_hash] = filename doc.save(f'processed_{filename}') # 使用示例 process_docs('./word_docs') ``` ### 三、关键改进点 1. **智能过滤**：通过`len(clean_text) < 20`跳过页眉/页码等干扰内容 2. **格式保留**：使用`run.font.color`保持原有格式仅修改颜色 3. **跨文件检测**：全局`seen`字典实现多文档间的重复检测 4. **批注支持**：被注释的`add_comment`方法可记录原始出处 ### 四、注意事项 1. **复杂内容处理**：代码目前处理纯文本段落，若试题包含表格/图片需扩展解析逻辑 2. **性能优化**：处理100+文档时建议添加进度提示 3. **备份机制**：输出文件使用`processed_`前缀保留原始文件 4. **格式兼容性**：需确保所有Word文档为`.docx`格式