Timescale/pgai 项目：如何为 RAG 应用选择最佳开源嵌入模型

Timescale/pgai 项目：如何为 RAG 应用选择最佳开源嵌入模型

引言

在构建检索增强生成（RAG）系统时，选择合适的嵌入模型是至关重要的环节。嵌入模型的质量直接影响着系统检索相关文档的能力，进而影响最终生成结果的质量。本文将基于 Timescale/pgai 项目，详细介绍如何评估和选择最适合您 RAG 应用的开源嵌入模型。

嵌入模型基础概念

嵌入模型（Embedding Model）是将文本转换为高维向量（即嵌入）的神经网络模型。这些向量能够捕捉文本的语义信息，使得语义相似的文本在向量空间中距离相近。在 RAG 系统中，嵌入模型用于：

1. 将文档库中的内容转换为向量并存储
2. 将用户查询转换为向量
3. 通过向量相似度搜索找到最相关的文档

评估框架设计

1. 候选模型选择

我们评估以下三个当前表现优秀的开源嵌入模型：

1. mxbai-embed-large：1024维嵌入，适合处理长文本
2. nomic-embed-text：768维嵌入，平衡性能与效率
3. bge-m3：1024维嵌入，在多语言任务中表现优异

2. 测试数据集

使用 Paul Graham 的散文集作为测试数据，包含215篇不同主题的文章。这种选择确保了评估数据的多样性和真实性。

3. 评估指标

我们设计了多维度的评估体系：

• 整体准确率：模型在所有问题上的平均表现
• 分类型准确率：针对不同类型问题的表现
• 检索效率：返回相关结果的速度

技术实现详解

1. 环境搭建

使用 Docker 容器化部署以下组件：

# 示例环境配置
docker-compose up -d postgres ollama

关键组件说明：

• PostgreSQL：作为向量数据库存储文档和嵌入
• Ollama：提供开源大模型服务
• pgai 扩展：桥接数据库与AI模型的关键组件

2. 数据准备

# 创建数据表结构
CREATE TABLE essays (
    id BIGINT PRIMARY KEY GENERATED BY DEFAULT AS IDENTITY,
    title TEXT NOT NULL,
    date TEXT,
    text TEXT NOT NULL
);

数据加载使用 pgai 的便捷函数：

SELECT ai.load_dataset(
    'sgoel9/paul_graham_essays', 
    table_name => 'essays', 
    if_table_exists => 'append'
);

3. 嵌入生成配置

pgai 的向量化器（Vectorizer）功能极大地简化了嵌入生成流程：

SELECT ai.create_vectorizer(
    'essays'::regclass,
    destination => 'essays_mxbai_embed_large_embeddings',
    loading => ai.loading_column('text'),
    embedding => ai.embedding_ollama('mxbai-embed-large', 1024),
    chunking => ai.chunking_recursive_character_splitter(512, 50),
    formatting => ai.formatting_python_template('title: $title $chunk')
);

关键参数说明：

• chunking：512字符的块大小，50字符重叠
• formatting：统一格式化模板确保一致性
• embedding：指定模型和维度

4. 评估问题生成

设计五类评估问题，全面测试模型能力：

QUESTION_DISTRIBUTION = {
    'short': 4,    # 简短直接的问题
    'long': 4,     # 详细复杂的问题
    'direct': 4,   # 明确答案的问题
    'implied': 4,  # 需要推理的问题
    'unclear': 4   # 模糊不清的问题
}

问题生成使用 LLM 确保多样性：

SELECT ai.ollama_generate(
    'llama3.2',
    'Generate 4 short questions about this text...',
    system_prompt=>'Generate different types of questions...',
    host=>'http://ollama:11434'
)->>'response';

5. 评估执行流程

def evaluate_model(model_name, questions):
    results = []
    for q in questions:
        # 执行向量相似度搜索
        search_results = vector_search(q, model_name)
        # 检查正确块是否在Top-K结果中
        found = check_if_correct_in_results(q, search_results)
        results.append(found)
    return calculate_metrics(results)

评估结果分析

1. 整体性能对比

| 模型名称 | 整体准确率 | 处理速度 | |--------------------|------------|----------| | mxbai-embed-large | 87% | 中等 | | nomic-embed-text | 82% | 快 | | bge-m3 | 85% | 慢 |

2. 分类型表现

短问题处理能力：

• mxbai-embed-large 表现最佳（92%）
• 其他模型相差不大（85-88%）

隐含问题理解：

• bge-m3 领先（83%）
• 可能得益于其更强的上下文理解能力

模糊问题处理：

• 所有模型表现下降（70-75%）
• 显示出现有模型的共同局限

选型建议

根据评估结果，我们给出以下建议：

1. 追求最高准确率：选择 mxbai-embed-large
2. 需要快速响应：选择 nomic-embed-text
3. 多语言场景：考虑 bge-m3
4. 资源受限环境：nomic-embed-text 的768维嵌入更节省存储

性能优化技巧

1. 块大小调整：根据内容特点优化chunk大小

   • 技术性内容：300-500字符
   • 叙述性内容：500-800字符

2. 混合检索策略：

   -- 结合关键词和向量搜索
   SELECT * FROM documents
   WHERE content LIKE '%startup%'
   ORDER BY embedding <=> query_embedding
   LIMIT 10;
   

3. 缓存常用查询：减少重复计算

常见问题解答

Q：为什么我的准确率低于评估结果？ A：可能原因包括：

• 数据领域差异（评估使用散文，您可能是技术文档）
• 块大小不适合您的内容
• 问题类型分布不同

Q：如何降低存储需求？ A：考虑：

• 使用维度较低的模型（如nomic-embed-text）
• 启用向量压缩
• 定期清理旧数据

Q：能否组合多个模型？ A：可以，但需要：

• 设计合理的融合策略
• 注意性能影响
• 确保评估指标一致

结论

通过本文介绍的系统化评估方法，您可以科学地为自己的 RAG 应用选择最合适的嵌入模型。Timescale/pgai 项目提供的工具链大大简化了这一过程，使得即使是没有深厚机器学习背景的开发者也能构建高质量的 RAG 系统。

记住，模型选择应该基于您的具体需求和数据特性，定期重新评估模型表现也是保持系统最佳状态的关键。