kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程

你通过遍历来使用它们，要么用一个“for”循环，要么将它们传递给任意可以进行迭代的函数和结构。然而，一个迭代器在遍历并读取一个容器的数据元素时，并不会执行一个迭代。tep）的区别在于， 单步进入会进入当前行调用的函数内部并停在里面， 而单步跳过会（几乎）全速执行完当前行调用的函数，并停在当前函数的下一行。许多Python 2里的标准库函数都会返回列表，而Python 3都修改成了返回生成器，因为生成器占用更少的资源。pdb真的是一个很方便的功能，上面仅列举少量用法，更多的命令强烈推荐你去看官方文档。

我观察到，大部分新的Python程序员都需要花上大量时间理解清楚 和这两个魔法变量。那么它们到底是什么?首先让我告诉你, 其实并不是必须写成和。 只有变量前面的 (星号)才是必须的. 你也可以写成和. 而写成和只是一个通俗的命名约定。 那就让我们先看一下吧。和 主要用于函数定义。 你可以将不定数量的参数传递给一个函数。这里的不定的意思是：预先并不知道, 函数使用者会传递多少个参数给你, 所以在这个场景下使用这两个关键字。 是用来发送一个非键值对的可变数量的参数列表给一个函数.这里有个例子帮你理解这个概念:

"""评估系统对于无效或不适用请求的响应，确保其适当拒绝回答。参数:- system_prompt_message: 测验生成的指令或上下文。- invalid_quiz_request_question: 系统应该拒绝回答的请求。- expected_refusal_response: 预期的拒绝响应，表明系统拒绝回答请求。- user_question_template: 用于结构化用户问题的模板，默认为占位符。

根据项目的需要调整docker部分中的 Python 版本。将pytest命令替换为您用于运行测试的具体命令，如有不同。如果您的项目有额外的设置步骤（例如设置数据库、配置环境变量等），您可以在jobs部分添加更多的步骤。要使您的测试在 CircleCI 上自动运行，请将此文件提交到您的仓库。一旦推送，如果您的 GitHub 或 Bitbucket 账户已与 CircleCI 集成，CircleCI 将自动检测配置文件，并按照您设定的规则在每次提交时运行定义的管道。

在这一章节中，我们将探索创建一个AI驱动的测验生成器的应用案例，该应用展示了如何利用第三方API、数据集创建以及为AI模型设计提示。构建我们的AI驱动测验生成器的第一步涉及设置环境，并确保我们能够访问必要的第三方API。在这一节中，我们将整个AI驱动的测验生成过程的设置和执行封装在一个单一的可重用函数中。将所有必需的组件——提示创建、模型选择和输出解析——组合成一个连贯的工作流，可以通过自定义输入进行调用。最后，我们使用Langchain的表达语言将所有组件结合在一起，形成一个无缝的测验生成管道。

"""组装用于通过AI驱动的过程生成测验所需的组件。参数:- system_prompt_message: 包含测验生成指令或上下文的消息。- user_question_template: 用于结构化用户问题的模板，默认为简单的占位符。- selected_language_model: 用于生成内容的AI模型，已指定默认模型。- response_format_parser: 解析AI模型响应的机制。返回:一个Langchain管道，当执行时，基于提供的系统消息和用户模板生成测验。

这个脚本演示了一个简单的数据准备流程，从JSON文件读取数据，执行转换（在这个例子中是基于条件的过滤），然后将处理后的数据保存到另一个JSON文件。这种任务可以在Kubeflow Pipeline组件中封装，用于自动化ML模型训练工作流中的数据准备步骤。这段脚本概述了如何参数化并提交一个编译好的Kubeflow Pipeline以供执行，假设存在一个适合的API或SDK方法（在这个假设示例中为。实际提交作业的方法取决于您的执行环境或云服务提供商的具体情况。这段更新的脚本抑制了所有模块产生的。

下一步涉及定义管道参数。这些参数指定了管道的输入和配置，根据我们的具体需求定制微调过程。

我们将创建一个管道，将和这两个组件串联起来。该管道接收一个名字，使用这个名字问候对方，然后再询问对方的近况。这个例子展示了如何定义管道以及如何正确处理管道内的组件输出。# 导入DSL模块以定义管道# 定义一个管道，编排我们的问候和跟进组件# 为greet_person组件创建一个任务# 为ask_about_wellbeing组件创建一个任务，使用greeting_task的输出# 正确返回wellbeing_task的输出，即最终的消息在这个管道中，参数直接传递给组件。的输出（

本章作为一份精心编撰的指南，汇集了行业先驱和学术专家的智慧，致力于揭开开发、部署和管理基于LLM的应用程序的复杂面纱。通过拥抱自动化、有效的提示管理、可扩展的策略以及持续的学习，专业人士可以驾驭基于LLM开发的复杂性，为创新和高效的AI解决方案铺平道路。这一过程可能包括调整提供给模型的提示，或者采用先进的技术如参数高效的微调，这种技术允许在不重新训练整个模型的情况下进行定制。自动化是高效LLM运维的核心，是减少部署和管理基于LLM的应用程序的手动负担的关键要素。部署后，持续监控应用程序的性能至关重要。

为了我们的指南书，我们将演示如何抑制与Kubeflow Pipelines SDK相关的特定类型的警告。这个简单的组件示例为理解如何使用Kubeflow Pipelines封装和自动化机器学习工作流中的任务奠定了基础。随着我们的进展，我们将探讨如何将多个组件串联起来形成全面的管道，以处理复杂的机器学习任务。Kubeflow Pipelines是一个灵活的框架，它将机器学习工作流结构化为可管理、可重用的组件和管道。管道定义了如何将一个组件的输出用作另一个组件的输入，从而实现数据在整个过程中的无缝流动。

让我们定义第二个组件，它接收第一个组件（我们的问候消息）的输出，并在此基础上添加一个问题，询问对方近况如何。这个例子说明了如何定义依赖于管道中先前组件输出的组件。# 导入DSL模块以定义组件# 定义依赖于另一个组件输出的组件# 构造一条包含问候和后续问题的新消息。

聊天机器人类，这里命名为，封装了所有加载文档、处理查询和维护对话历史所需的功能。conversation_history = param.List([]) # 存储查询和响应对current_answer = param.String("") # 聊天机器人的最新响应database_query = param.String("") # 发送给文档数据库的查询database_response = param.List([]) # 作为响应检索到的文档。

以上代码展示了如何进一步扩展聊天机器人功能，包括增强型聊天机器人的实现、基于文档分块的问答系统、集成记忆系统的对话检索链以及一个命令行界面聊天机器人。这些实例提供了更深入的理解和应用能力。

本章深入探讨了使用LangChain构建和优化对话型聊天机器人的方法。LangChain是一款旨在将语言模型与数据检索系统相结合以实现动态问题解答能力的工具。本章面向机器学习工程师、数据科学家、软件开发者以及相关领域的专业人士，提供了一个全面的指南，帮助开发能够处理后续问题并保持情境对话的聊天机器人。对话型聊天机器人已经彻底改变了我们与技术互动的方式，通过自然语言对话为我们提供了获取和处理信息的新途径。与传统聊天机器人不同的是，对话型聊天机器人能够理解和记住对话的上下文，使交互更加自然流畅。

这一组件是问答系统的核心，它结合了语言模型、文档检索功能和对话记忆，以处理问题并在对话上下文中生成答案。在深入聊天机器人创建过程之前，关键是要导入LangChain中的必要类和模块。创建聊天机器人的第一步是从文档加载和处理开始，这涉及读取文档，将其分割成易于处理和检索的小块，然后为每个小块生成嵌入。该类特别设计用于存储交互的历史记录，允许系统引用之前的交流，并针对后续问题提供上下文相关的回答。一旦对话检索链建立起来，系统就可以处理传入的问题，并利用存储的对话历史来生成恰当的答案。

实验可以帮助确定哪种技术最适合特定的应用场景。传递所有检索到的文档片段到语言模型（LM）上下文窗口的局限性包括上下文窗口大小的限制，这可能导致相关信息的丢失。在 RAG 系统中使用向量数据库（VectorDB）进行文档检索的重要性在于它能高效地存储和检索文档嵌入，从而实现对用户查询相关文档的快速准确检索。将对话记忆集成到 RAG 系统中非常重要，因为它能让系统记住之前的交互，提高系统与用户进行有意义对话的能力，提供情境感知的回答。

高级问答技术为 RAG 系统提供了更动态、更准确的回答路径，增强了用户交互。通过仔细实施 RetrievalQA 链，并解决其内在局限，开发者可以创建出能够与用户进行有意义对话的高度复杂系统。MapReduce 和 Refine 是设计用来规避由语言模型 (LM) 上下文窗口大小所导致的限制的高级技术，允许处理大量的文档。这一限制强调了将对话记忆集成到 RAG 系统中的必要性，这是一个将在后续章节中探讨的话题。值得注意的是，RetrievalQA 链无法保留对话历史记录，这会影响后续查询的流程。

检索增强生成 (RAG) 系统已经革新了我们与大型数据集互动的方式，使得开发高度复杂的聊天机器人和问答模型成为可能。这些系统的一个关键阶段是将检索到的文档与原始查询一起传递给语言模型 (LM)，以生成答案。默认情况下，所有检索到的文档片段都会被传递进语言模型的上下文窗口。这个设置包括导入必要的库、设置 API 密钥，并调整以适应任何语言模型版本的更新。RetrievalQA 链是一种结合文档检索与问答的方法，它利用语言模型的能力根据检索到的文档生成响应。请注意，上述代码示例中使用的。

自然语言处理技术的持续发展承诺将进一步改进检索技术，可能引入更复杂的方法来理解和响应复杂的查询，从而维持向更智能和直观的搜索能力的进步。元数据通过允许超出语义内容的搜索，针对特定文档属性（如发布日期或文档类型），提高了搜索的特定性，从而产生了更精确且相关的搜索结果。上下文压缩针对提取文档中最相关的部分，专注于提供回答查询所需的信息核心，从而提高了响应的质量并减少了不必要的计算负担。集成高级检索技术显著增强了语义搜索系统，通过提供更精确、多样和上下文相关的信息，改善了用户与智能系统的交互体验。

通过解决与多样性、特定性和信息相关性相关的限制，这些方法为更智能和高效的检索系统提供了一条途径。通过实际应用 MMR、自我查询检索、上下文压缩以及替代文档检索方法，开发者可以构建不仅能理解查询的语义内容，还能提供丰富、多样和有针对性的响应的系统。上下文压缩的目标是通过关注与查询最相关的段落来提炼文档的核心。当与 MMR 策略配对时，它在检索的文档中平衡了相关性和多样性，确保了对查询主题的更广泛视角。除了基于向量的检索方法之外，LangChain 库还支持多种其他文档检索策略，如 TF-IDF 和 SVM。

在我们可以执行基于元数据的搜索之前，我们需要设置环境并定义我们打算使用的元数据属性。# 定义元数据属性及其详细描述description="指定讲座文档，限于 `docs/cs229_lectures` 目录中的特定文件。",),description="讲座文档中的页码。",),# 注意：由于先前默认模型的废弃，现在转向使用 OpenAI 的 gpt-3.5-turbo-instruct 模型。document_content_description = "详细的讲座笔记"

能够从大量数据集中准确检索相关信息对于开发智能系统（如聊天机器人和问答模型）至关重要。虽然语义搜索为此类任务提供了坚实的基础，但在某些情况下其效果可能会减弱。本章深入探讨了旨在克服这些局限性的高级检索方法，从而提高检索信息的准确性和多样性。语义搜索仅依赖于语义相似性，可能无法始终产生最信息丰富或多样化的结果集。高级检索方法通过纳入机制来确保检索到的信息不仅相关而且多样且全面。此类技术对于处理需要细腻回答的复杂查询至关重要。# 定义一系列文本填充数据库texts = [

在语义搜索中，嵌入使得系统能够理解查询背后的意图和上下文含义，从而能够检索与查询语义相关的文档，即使没有精确的关键词匹配。查询处理涉及为用户的查询生成嵌入，并使用诸如欧几里得距离或余弦相似度等指标，在向量存储中查找与查询最相似的文档嵌入。创建词嵌入的过程涉及训练模型在大量文本语料库上学习词汇的向量表示，确保在相似上下文中使用的词语具有相似的向量表示。语义搜索中的潜在失败模式包括重复条目和无关文档的纳入。文档分割通过将文档分解为语义连贯的片段来提高搜索的粒度和相关性，使得文档部分与查询的匹配更加精确。

嵌入是一种将文本信息转换为数值形式的技术。这种转换至关重要，因为计算机处理数字比处理文本更加得心应手。这个过程涉及到将单词、句子或整个文档映射到高维空间中的实数向量。嵌入的主要目标是封装文本的语义含义，使得具有相似含义的文字或句子在这个向量空间中彼此靠近。

实施嵌入技术和向量存储以进行语义搜索的工作流程包括以下步骤：初始步骤涉及将原始文档集合分解成更小、更易于管理的部分，这些部分在语义上是连贯的。这一过程称为文档分割，对于提高搜索结果的粒度至关重要。每个片段或段落应理想地代表单一的主题或概念，以确保后续步骤生成的嵌入准确捕捉文本的语义本质。这一步增强了系统匹配文档特定部分与查询的能力，而不是检索可能只部分相关的整个文档。一旦文档被分割成语义连贯的片段，接下来的步骤就是将这些片段转化为嵌入。嵌入生成涉及使用机器学习模型将文本映射到高维向量。这些向量代表文本的语义

Markdown文档通常包含结构化的头部，这些头部可用于指导分割过程，保留文档的逻辑组织。对于上下文窗口由大型语言模型定义的应用程序，按词计数分割可以使片段更接近模型的需求。这个例子说明了如何将复杂文本分割成有意义的片段，同时考虑文档本身的结构。这段代码展示了分割器如何处理基本的文本字符串，无论是否指定了分隔符。

文档分割在文本处理中的主要目的是创建语义上意义明确的块，以促进高效的数据检索和分析。确保数据被组织成既易于管理又便于各种应用分析的形式。以上代码实现了每个练习题的要求。

代码将清理后的文本分句，过滤掉停用词以去除常见的不重要词汇，并计算单词的频率分布。然后打印最常见的单词，并使用前几个句子来提供内容的简单摘要。对于更高级的摘要，需要额外的自然语言处理技术和模型。此功能展示了以编程方式处理和分析网络内容的基础方法，从清理和信息提取到基本的摘要。

本节概述了文档分割的原则和挑战，并强调了在片段间保持语义相关性和一致性的重要性。这是一种更为复杂的分割器，它递归地基于层次结构的分隔符（例如段落、句子和单词）来分割文本。适当的片段大小取决于应用程序的具体需求和被处理文本的性质。适用于通用文本，它递归地使用层次结构的分隔符从较大的结构如段落到较小的结构如句子和单词来进行分割。本节介绍LangChain中可用的各种文本分割器，每种都针对特定类型的文本或文档结构进行了优化。根据词来分割文本，特别适用于准备给具有特定词限制的大型语言模型的数据。

通过启用直接的对话接口与文档交互，LangChain 开启了从那些不在互联网上可获得或者是在大型语言模型最后训练更新之后创建的内容中提取洞见和答案的新途径。对于希望深入了解 LangChain 或探索更高级主题的人来说，本指南推荐了一些额外资源，包括在线教程、社区论坛以及关于使用 LangChain 开发大型语言模型应用的入门课程。这种模块化的设计确保了组织和个人可以根据自己的数据环境定制系统，使其成为一个广泛用途的多功能工具。这些组件共同构成了一个强大的架构，支持定制化的大型语言模型应用的开发和部署。

在数据驱动的应用领域，特别是涉及对话界面和大型语言模型（LLM）的应用中，从各种来源高效加载、处理并与数据进行交互的能力至关重要。这些加载器擅长处理来自公共源的数据，如 YouTube、Twitter 和 Hacker News，同时也适用于来自专有源的数据，如 Figma 和 Notion。保存清洗后的文本：可选地，脚本可以将清洗和分词后的文档文本保存到文件中。这个扩展的代码提供了一个更全面的示例，展示如何从加载和清洗文本到基本分析和处理特殊情况，对 PDF 文档进行程序化的处理。

4.对于高风险的LLM应用程序，例如在医疗保健、法律咨询或财务规划等领域中的应用，严格的评估尤其重要，因为这些领域的错误输出可能会产生严重的后果。8.为LLM输出开发全面的评估框架涉及创建一个详细的评估标准来进行一致的评估、构建系统的评估协议，并使用专家比较来设定质量基准。7.定制评估指标并根据应用程序的目标和潜在错误的影响调整评估的严格程度是非常重要的。9.先进的评估技术，例如语义相似度评估和众包评估，解决了LLM输出评估的多面性问题。7.解释根据应用程序的影响定制评估指标并调整评估严格程度的重要性。

评估LLM输出是一个复杂的过程，需要采取平衡的方法，结合严谨的方法论和对持续学习和适应的开放态度。采用全面的评估策略，通过详细的评估标准、专家洞察和高级模型的使用，对于希望最大化LLM有效性和适用性的专业人士来说至关重要。使用专门的评估模型：探索专门设计用于评估任务的模型，如那些训练用来识别文本中的不一致性、逻辑错误或事实不准确性的模型。对于某些查询，一个“理想”或专家生成的答案可以作为比较的基准。盲测减少偏见：当涉及专家时，考虑盲测，即不披露响应的身份（LLM生成的还是专家生成的），以确保无偏见的评估。

函数中的逻辑需要根据实际情况进行调整，以便能够正确解析LLM的响应并提取分数和反馈。以上代码示例仅供参考，实际应用中需要根据具体情况调整和完善。函数对一个响应进行评估，以了解它与提供的上下文的匹配程度以及信息的准确性。

学术文章的摘要任务提出了独特的挑战，尤其是在保持准确性、完整性和客观性方面，特别是在处理复杂和技术性内容时。内容准确性：摘要的事实正确性至关重要，因为这可能对学术讨论和研究产生影响。信息密度：在需要简洁性与包含原文所有关键点和发现的要求之间取得平衡。连贯性和流畅性：确保摘要不仅捕捉文章的本质，而且以一种连贯和逻辑有序的方式呈现。技术能力：LLM准确使用和解释领域特定术语和概念的能力，这对于学术环境中的可信度和可用性至关重要。

本章深入探讨了评估LLM输出的关键方面，重点关注于开发性能评估指标、从开发到部署的转变，以及高风险应用所需的特殊考虑。通过遵守严格的评估标准，开发者可以增强其LLM应用的可靠性、实用性和伦理完整性，确保它们对其所部署的领域做出积极贡献。下面，我们探讨开发者在整个LLM应用生命周期中应考虑的关键策略，从最初的开发到最后的部署。在这种背景下，错误输出的后果可能是严重的，因此严格的评估不仅是有益的，而且是必不可少的。这些策略强调了一种深思熟虑的、迭代的开发方式的重要性，以及对公平性、可靠性和负责任创新的承诺。

让我们概述一个场景，其中客户服务 AI 处理初始的产品询问、处理故障排除请求、回答保修问题，并提供额外的产品推荐。这个场景建立在上述功能之上。

这个示例说明了一个连贯且现实的客户与客户服务AI之间的互动，无缝地过渡到客户参与的各种阶段。从最初的产品询问到故障排除、保修澄清和个人化推荐，每一步都逻辑相连，展示了如何利用GPT模型来创造全面且令人满意的客户服务体验。本章节已经引导您通过一个高级工作流程来处理用户查询、检索详细的产品信息，并生成有信息量的响应。为了创建一个单一而逻辑一致的例子，我们将模拟一个名叫Alex的顾客与客户服务AI的互动。Alex首先询问有关摄影产品的信息，随后遇到了最近购买的产品的问题，询问保修覆盖范围，并收到了配件推荐。

通过在每个步骤保持系统的状态，并根据此状态调整后续行动，提示链允许采用更加结构化的方法来解决问题。这种技术特别适用于那些一个子任务的结果决定了下一个步骤的方向的情况，例如，在客户服务互动中，查询被分类之后再获取并呈现具体信息。提示链涉及将复杂任务分解成一系列简单且相互连接的提示，每个提示处理特定的子任务。鉴于当前语言模型的上下文限制，这一点尤其有利，这些限制约束了单次交互中可以处理的信息量。较长的提示消耗更多的计算资源。通过使用提示链，每次只处理必要的信息，可能减少与语言模型使用相关的运营成本。