txtai 教程系列 6----使用 Elasticsearch 提取 QA

Q shen

于 2023-05-05 13:37:19 发布

阅读量134

点赞数

CC 4.0 BY-SA版权

分类专栏： txtai 教程系列（45 部分系列）文章标签： elasticsearch 数据库大数据

本文链接：https://blog.csdn.net/qq_52010446/article/details/130504934

本文介绍了如何结合txtai库和Elasticsearch进行问答式数据提取。首先，安装txtai和Elasticsearch客户端，然后下载并启动Elasticsearch服务器。接着，从SQLite数据库加载CORD-19数据集的子集到Elasticsearch中。通过构建问答模型，针对特定查询在Elasticsearch中检索匹配项，并使用提取式问答模型派生额外的文档列。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

txtai 与数据存储无关，该库分析文本集。以下示例展示了如何在 Elasticsearch 系统之上添加提取式问答。

安装依赖
安装txtai和Elasticsearch。

Install txtai and elasticsearch python client

pip install txtai elasticsearch

Download and extract elasticsearch

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.10.1-linux-x86_64.tar.gz
tar -xzf elasticsearch-7.10.1-linux-x86_64.tar.gz
chown -R daemon:daemon elasticsearch-7.10.1
启动一个 Elasticsearch 实例。
import os
from subprocess import Popen, PIPE, STDOUT

Start and wait for server

server = Popen([‘elasticsearch-7.10.1/bin/elasticsearch’], stdout=PIPE, stderr=STDOUT, preexec_fn=lambda: os.setuid(1))
sleep 30
下载数据
这个例子将处理CORD-19数据集的一个子集。COVID-19 开放研究数据集 (CORD-19) 是一个免费的学术文章资源，由领先的研究小组联盟汇总，涵盖 COVID-19 和冠状病毒病毒家族。

下面下载的是一个从Kag