weixin_42548337的博客

为构建我们的本地知识库，我们需要对以多种类型存储的本地文档进行处理，读取本地文档并通过前文描述的 Embedding 方法将本地文档的内容转化为词向量来构建向量数据库。在本节中，我们以一些实际示例入手，来讲解如何对本地文档进行处理。

我们可以调用response的object来获取embedding的类型。print(f’返回的embedding类型为：{response.object}')返回的embedding类型为：list。

向量数据库是用于高效计算和管理大量向量数据的解决方案。向量数据库是一种专门用于存储和检索向量数据（embedding）的数据库系统。它与传统的基于关系模型的数据库不同，它主要关注的是向量数据的特性和相似性。在向量数据库中，数据被表示为向量形式，每个向量代表一个数据项。这些向量可以是数字、文本、图像或其他类型的数据。向量数据库使用高效的索引和查询算法来加速向量数据的存储和检索过程。

LLM 时代 prompt 这个词对于每个使用者和开发者来说已经听得滚瓜烂熟，那么到底什么是 prompt 呢？简单来说，prompt（提示）就是用户与大模型交互输入的代称。即我们给大模型的输入称为 Prompt，而大模型返回的输出一般称为 Completion。对于具有较强自然语言理解、生成能力，能够实现多样化任务处理的大语言模型（LLM）来说，一个好的 Prompt 设计极大地决定了其能力的上限与下限。如何去使用 Prompt，以充分发挥 LLM 的性能？

本章节主要介绍四种大语言模型（ChatGPTAPI、文心一言、讯飞星火、智谱 GLM）的 API 申请指引和 Python 版本的原生 API 调用方法。文心一言：当前无赠送新用户 tokens 的活动，推荐已有文心 tokens 额度用户和付费用户使用；智谱 GLM：新用户赠送 tokens，推荐免费用户使用。ChatGPT：推荐可科学上网的读者使用；

刚出来大家对大模型的期待非常高，好奇，所以提出一些不切实际的需求，但又没法实现，所以随着对大模型的认识提升，所以逐渐回归理性。

当我们遇到复杂任务时，往往需要多个prompt进行实现，并且可能包含前后顺序要求，所以复杂度也随之提升。比如输出报告，需要先定义主题，再定义格式，再定义内容，…等。并且如果其中一步错误，需要重新回退，重新生成，非常麻烦。

因为减少token生成的矩阵运算, 比如预测第100个token,模型需要先处理前99个token的信息，对这些信息进行矩阵运算，而进行矩阵运算是非常耗时的，所以KV缓存就是为了减少这种矩阵运算，在推理过程中，会把键和值放到KV缓存中，这样模型在后续生成token的时候，直接访问缓存。

Prompt最初是NLP研究者为任务设计的输入模板，随ChatGPT兴起，它成为与大模型交互的输入。每次向大模型（如ChatGPT）的提问即为Prompt，返回为Completion。后续将统一使用这些术语，并探讨如何通过设计Prompt来充分发挥LLM的能力。

基础环境配置部分：适用于环境配置初学者或新的服务器环境（如阿里云）。这部分介绍了如何生成 SSH key 并添加到 GitHub，以及在安装和初始化 conda 环境。通用环境配置部分：适用于有一定经验的用户、已有环境基础的本地安装或完全独立的环境（如 GitHub Codespace）。这部分介绍了如何新建和激活 conda 虚拟环境，克隆项目仓库，切换到项目目录，以及安装所需的 Python 包。为了加速 Python 包的安装，我们还提供了一些国内镜像源。

然而，就目前而言，英伟达显卡依然是AI计算硬件领域的佼佼者，它以其卓越的表现和广泛的影响力，为AI的未来发展注入了强大的动力和信心。对于AI开发者而言，选择一款合适的计算硬件是至关重要的。在AI的浩瀚探索之旅中，英伟达显卡仿佛是一位深谙并行计算之道的智者，其核心的CUDA技术如同智慧的火花，点燃了TensorFlow、PyTorch等AI框架的璀璨光芒。CUDA，这一并行计算的先锋技术，不仅引领了数据处理的革新潮流，更为AI模型的训练与推理提供了前所未有的加速体验，让AI的梦想照进了现实。

一、提示工程是什么：提示工程是一种在人工智能领域中优化和引导模型表现的方法，通过设计和使用特定的文本提示或其他形式的引导来帮助模型生成所需的输出。为了解决什么问题：提示工程旨在提高AI模型的准确性和可控性，使其能够更准确地执行特定任务，同时提升用户的使用体验和效率。对应例子：在自然语言处理领域，提示工程可以设计用于生成文本的提示语句，如在文本摘要任务中，提示可以是给定文章的标题或关键段落，用于指导模型生成符合要求的摘要。二、RAG是什么：RAG是Retrieval-Augmented Ge

代码空间是托管在云中的开发环境。可通过将配置文件提交到存储库（通常称为“配置即代码”）来为 GitHub Codespaces 自定义项目，这将为项目的所有用户创建可重复的 codespace 配置。有关详细信息，请参阅“