借助于llm将pdf转化为md文本

pdf转化为md格式后，意味着非结构化文本转为结构化文本，能清晰定位大标题、子标题，图表。

方便后续处理，因为llamaindex和langchain能更有效切分md类文本，避免信息丢失。

1）读取pdf为txt

读取pdf，并使用RecursiveCharacterTextSplitter去尝试分块，一般情况下效果不好

pdf文本暂时表示recur_text

from langchain.text_splitter import RecursiveCharacterTextSplitter, CharacterTextSplitter

from pypdf import PdfReader
# 读取 PDF 文件
pdf_path = 'docs/word.pdf'
reader = PdfReader(pdf_path)
recur_text = ''
for page in reader.pages:
    recur_text += page.extract_text().strip() + "\n\n"

recur_splitter = RecursiveCharacterTextSplitter(
    separators=["。"],
    chunk_size = 512,
    chunk_overlap  = 128
)
recur_docs = recur_splitter.create_documents([recur_text])

2）使用llm将txt转化为md

qwen或deepseek小一点的LLM不能完成这个任务，deepseek-r1完整版本可以。

prompt示例如下

# 示例调用
prompt = """
请将以下合同转化为md格式。
---
{}
""".format(recur_text)

若recur_text太长，需要切分后分批调用。

另外一种方式，就是将pdf先转化为图谱，在调用qwen2.5-vl模型解析图片输出md5文档。

reference

---

qwen2.5vl-pdf2md

https://github.com/QwenLM/Qwen2.5-VL/blob/main/cookbooks/document_parsing.ipynb

olmocr

https://github.com/allenai/olmocr

六个开源的PDF转Markdown项目

https://zhuanlan.zhihu.com/p/711487482

llm-parse

https://github.com/tanchangsheng/llm-parse