LangChain之借助Apify云平台实现网站内容爬取与回答问题

网站内容爬取与回答问题

Apify概述

Apify是一个网络抓取和数据提取的云平台，它提供了一个由一千多个现成的应用程序组成的生态系统，这些应用程序被称为Actors，用于各种网络抓取、爬行和数据提取用例。

数据集通常用于保存actor的结果：Actor应用程序对目标网站进行深度抓取，然后将网页的文本内容存储到数据集中

使用网站内容爬虫Actor，它可以深度爬取文档、知识库、帮助中心或博客等网站，并从网页中提取文本内容。然后将文档输入向量索引并回答其中的问题。

官网：https://apify.com/

文档：https://docs.apify.com/platform

爬取网站内容

爬取网站内容有2种方式，这里直接在Apify控制台执行爬取

点击Store菜单栏，然后搜索Actor名称，如：website-content-crawler

配置Start URLs，即配置爬取网站地址，这里配置https://www.runoob.com/

还可以对爬取、处理、输出、运行等参数配置

点击Save & Start，等待执行完毕，可以点击Storage菜单栏查看爬取结果

环境准备

安装Apify库

pip install apify-client

查看Apify API令牌并设置到环境变量中

os.environ["APIFY_API_TOKEN"] = 'apify_api_1xxxxxx5LB9'

设置OpenAI的BASE_URL、API_Key

os.environ["OPENAI_BASE_URL"]