目录
本指南介绍了将OpenAI的大型语言模型(LLMs)与Pinecone(称为 OP stack )集成的方法,增强LLMs的语义搜索或“长期记忆”。此组合利用LLMs的嵌入和完成(或生成)端点,以及Pinecone的向量搜索功能,进行微妙的信息检索。
LLMs like OpenAI's text-embedding-ada-002 generate vector embeddings, numerical representations of text semantics. These embeddings facilitate semantic-based rather than literal textual matches. Additionally, LLMs like gpt-4 or gpt-3.5-turbo predict text completions based on previous context.
Pinecone是专为存储和查询高维向量而设计的向量数据库。它提供了对这些向量嵌入的快速,高效的语义搜索。
通过将OpenAI的LLMs与Pinecone集成,我们将嵌入生成的深度学习能力与高效的向量存储