使用NeuralDB打造高效的文档检索引擎

NeuralDB是由ThirdAI开发的一款可以在CPU上运行且可调优的检索引擎。本文将详细介绍如何使用NeuralDB构建一个高效的文档检索系统。

技术背景介绍

在信息爆炸的时代，如何快速而准确地检索信息成为一个关键问题。NeuralDB通过结合神经网络的能力及数据库的检索特性，提供了一种高效的文档检索解决方案。

核心原理解析

NeuralDB允许用户通过NeuralDBRetriever对象来管理和查询文档。其核心是将文档转化为一个向量空间，通过计算与查询的相关性来返回匹配的结果。

代码实现演示

以下代码示例演示了如何从头开始初始化NeuralDB以及如何从检查点加载一个预训练模型：

from langchain.retrievers import NeuralDBRetriever

# 从头开始初始化NeuralDB
retriever = NeuralDBRetriever.from_scratch(thirdai_key="your-thirdai-key")

# 从检查点加载NeuralDB
retriever = NeuralDBRetriever.from_checkpoint(
    checkpoint="/path/to/checkpoint.ndb",
    thirdai_key="your-thirdai-key",
)

插入文档源

NeuralDB支持多种文档格式的插入和训练：

# 插入并训练文档
retriever.insert(
    sources=["/path/to/doc.pdf", "/path/to/doc.docx", "/path/to/doc.csv"],
    train=True,
    fast_mode=True,
)

from thirdai import neural_db as ndb

# 插入自定义文档对象
retriever.insert(
    sources=[
        ndb.PDF("/path/to/doc.pdf", version="v2", chunk_size=100, metadata={"published": 2022}),
        ndb.Unstructured("/path/to/deck.pptx"),
    ]
)

检索文档

要查询插入的文档，可以使用以下方法：

# 检索相关文档
documents = retriever.invoke("query", top_k=10)
for doc in documents:
    print("Document ID:", doc.metadata.get("id"))
    print("Source:", doc.metadata.get("source"))
    print("Content:", doc.content)

微调

为了提高检索的精度和满足特定需求，NeuralDB提供了微调功能：

# 关联词汇微调
retriever.associate(source="source phrase", target="target phrase")

# 投票微调
retriever.upvote(query="how is a car manufactured", document_id=52)

应用场景分析

NeuralDB可用于构建企业内训知识库、客户支持文档检索、以及为特定领域定制的搜索引擎。其CPU友好的特性使其在资源有限的环境中依然表现优越。

实践建议

• 确保在训练阶段使用足够多的相关文档，以提高检索效果。
• 定期进行微调，确保检索结果随着用户需求的变化而保持相关性。
• 使用检查点功能来保存和加载模型，提高工作流的灵活性。

如果遇到问题欢迎在评论区交流。

—END—