借助BERT完成Text-to-SQL任务

最新推荐文章于 2025-05-27 14:51:33 发布
原创 最新推荐文章于 2025-05-27 14:51:33 发布 · 3.9k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自然语言处理 #自动驾驶 #神经网络 #数据挖掘 #机器学习

本文介绍如何使用BERT和Pointer-networks完成Text-to-SQL任务，通过改进的编码器提升SQL生成的准确性。文章详细阐述了前人的做法及当前模型的结构，并讨论了BERT在处理SQL特有词汇时遇到的问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

借助BERT完成Text-to-SQL任务的encoder

已经完成了BERT的环境安装，下面想借助BERT和Pointer-networks来验证BERT的作用和效果。

前人做法

在这里插入图片描述

  1. BERT Encoder
    作者认为Glove还有ELMo效果有限，采用BERT来做一个输入的编码。在这里，作者将BERT应用在question和对应table的col上。句子放在最前面，每个head都采用SEP作为间隔。
    在这里插入图片描述
  2. Pointer network decoder
    完成Encoder以后，采用LSTM-Decoder.
    在这里插入图片描述在这里插入图片描述
    a. where_value中只确定q的起始位置和终止位置，默认连续。
    b. 对于有很多tok组成的column， 用第一个tok的编码信息代替。

Our Encoder BERT Model

  1. 代码中有四种输入序列， question_seq, source_seq, type_seq, newtype_seq。
    question_type
    [u’what’, u’is’, u’the’, u’lowest’, u’viewers’, u’(’, u’m’, u’)’, u’when’, u’the’, u’share’, u’is’, u’more’, u’than’, u’13’, u’?’]
    sourece_seq
    [[’<\UNK>’], [’<\END>’], [‘WHERE’], [‘AND’], [‘EQL’], [‘GT’], [‘LT’], [’<\BEG>’], [‘None’], [‘max’], [‘min’], [‘count’], [‘sum’], [‘avg’], [‘SELECT’], [u’episode’], [u’air’, u’date’], [u’rating’], [u’share’], [u’18-49’, u’(’, u’rating/share’, u’)’], [u’viewers’, u’(’, u’m’, u’)’], [u’rank’, u’(’, u’timeslot’, u’)’], [u’rating’, u’||’, u’<\NUMBER>’], [u’share’, u’||’, u’<\NUMBER>’], [u’18-49’, u’(’, u’rating/share’, u’)’, u’||’, u’<\NUMBER>’], [u’viewers’, u’(’, u’m’, u’)’, u’||’, u’<\NUMBER>’], [u’rank’, u’(’, u’timeslot’, u’)’, u’||’, u’<\NUMBER>’]]
    type_seq
    [‘SQL’, ‘SQL’, ‘SQL’, ‘SQL’, ‘SQL’, ‘SQL’, ‘SQL’, ‘SQL’, ‘SQL’, ‘SQL’, ‘SQL’, ‘SQL’, ‘SQL’, ‘SQL’, ‘SQL’, ‘column’, ‘column’, ‘column’, ‘column’, ‘column’, ‘column’, ‘column’, ‘cell’, ‘cell’, ‘cell’, ‘cell’, ‘cell’]
    newtype_seq
    [‘none’, ‘none’, ‘none’, ‘none’, ‘none’, ‘number’, ‘number’, ‘none’, ‘none’, ‘number’, ‘number’, ‘none’, ‘number’, ‘number’, ‘none’, u’text’, u’text’, u’number’, u’number’, u’number’, u’number’, u’number’, u’number’, u’number’, u’number’, u’number’, u’number’]

  2. 存在的问题
    太多SQL特有的词汇（EQL, GT, LT）， BERT的vocab中不存在。会标为unk或者尝试进行分解为substring等等。

Text-to-SQL小白入门（一）综述学习
junewgl
08-01 3557
本文主要介绍了Text-to-SQL研究的定义、意义、研究方法以及未来展望，主要是对Text-to-SQL领域进行一个初步的认识和了解，适合初学者入门了解。
NL2SQL-RULE：基于内容的增强型基于BERT的文本到SQL生成
02-03
NL2SQL-BERT 内容增强的基于BERT的文本到SQL生成 将数据库设计规则整合到text-to-sql生成中： 我们使用表格单元格和问题字符串的匹配信息来构造一个向量，该向量的长度与问题长度相同。 该问题向量主要提高了WHERE-VALUE推理结果的性能。 因为它注入了将答案单元格及其对应的表头绑定在一起的知识。 如果找到答案单元格，那么我们将找到包含答案单元格的答案列。 我们使用所有表头和问题字符串的匹配信息来构造一个向量，该向量的长度与表头的长度相同。 该头向量主要提高了WHERE-COLUMN推理结果的性能。 要求 python 3.6 记录0.5.3 火炬1.1.0
Go-SQLova-基于BERT将自然语言转换成SQL查询的神经网络语义解析器
08-13
SQLova - 基于BERT将自然语言转换成 SQL 查询的神经网络语义解析器
万字长文详解Text-to-SQL
最新发布
weixin_34611277的博客
05-27 269
在各个企业数据量暴涨的现在，Text-to-SQL越来越重要了，所以今天就来聊聊Text-to-SQL。Text-to-SQL是一种将自然语言查询转换为数据库查询的技术。它可以让用户通过自然语言来查询数据库，而不需要编写复杂的SQL语句。
万万没想到，BERT学会写SQL了
weixin_40920183的博客
02-24 594
‍‍‍‍‍‍文 | Giant编 | NLP情报局大家好，我是Giant，这是我的第2篇文章。文本-SQL转化任务，是将用户的自然语言转化为SQL继而完成数据库查询的工作。例如根据下表，用...
Text-to-SQL
qq_42341984的博客
04-18 652
Text-to-SQL 1 Single table（WikiSQL） 1.1 Encode 1.1.1 NL和DB的交互（对齐） 预训练的方法 STRUG：https://blog.csdn.net/qq_42341984/article/details/115615653 TaBert：学习自然语言描述和数据库的（半）结构化信息的联合表示 https://www.sohu.com/a/413894298_657157 GRAPPA：ICLR 2021 在文本数据和表数据的联合表示中学
文本转SQL（Text-to-SQL），场景介绍与 Spring AI 实现
成富的专栏
11-06 2285
在众多的 AI 大模型的应用场景中，Text-to-SQL，也就是文本转 SQL，是其中实用性很高的一个。Text-to-SQL 充分利用了大模型的优势，把用户提供的自然语言描述转换成 SQL 语句，还可以执行生成的 SQL 语句，再把查询结果返回给用户。在实际的业务系统中，绝大部分数据都保存在数据库中，其中以关系数据库为主流。这使得 SQL 成为了很多人的必备技能，除了程序员之外，还包括大量非技...
text-to-sql:text生成sql语句
03-29
文字转SQL 介绍 刚开始，由我自己整理权限脚本... 只有很少数据的时候，还能接受手动复制粘贴... 在之后的功能开发中，发现需要整理的权限脚本越来越多... 可能需要花费半小时或一个小时的时间去整理脚本，还生怕会出错... 于是，就有了这个小工具... 现在，就可以正大光明的偷懒啦〜 使用 整理成如src下permission.txt的形式，试试吧... 菜单等级=等级（1 2 3），父菜单码 菜单代码菜单名称 源 level = 1 menu_activity_home 活动管理 /activity level = 2 , menu_activity_home menu_activity_lottery_list 抽奖活动管理 /activity/lotteryList menu_activity_groupon_list 团购活动管理 /activity/grouponList m
一文了解 Text-to-SQL
Datawhale
01-18 5383
作者：哈工大SCIR 窦隆绪，潘名扬，乔振浩简介Text-to-SQL系统能够将自然语言描述转化成对应的SQL查询语句，这项技术能够有效地辅助人们对海量的数据库进行查询。因此，该项研究引...
txt-to-sql:用于将文本数据转换为SQL语句的工具
05-02
txt到sql 用于将文本数据转换为SQL语句的工具 语： 也可用于： 安装 $ npm install -g txt-to-sql 用法（命令行） # Generate file.yaml with detected options $ txt-to-sql --prepare file.txt # Process file.txt $ txt-to-sql file.txt # Process file.txt using streams $ txt-to-sql --fast file.txt # Exportr defaults to working directory $ txt-to-sql --export-default 用法（代码） var txtToSql = require ( 'txt-to-sql' ) ; var fs = require ( 'fs-p
Text-to-SQL方法研究
weixin_42254289的博客
09-27 2270
计算预测sql和示例sql之间的距离相似度。与基于上下文学习的方法不同,基于微调的方法通过在Text-to-SQL数据集上微调预训练语言模型的参数,让模型习得从自然语言问题生成SQL的能力。基于上下文学习的Text-to-SQL方法利用大语言模型强大的少样本学习能力,通过设计提示prompt使模型直接生成SQL,而无需微调模型参数。，论文中先对问题中的领域特定词进行掩码,然后基于嵌入式欧氏距离对候选示例进行排序,同时还考虑了候选SQL的相似度,最终选择兼顾问题和SQL相似度的高质量示例。
Text-to-SQL模型----IRNet
weixin_42223207的博客
10-28 1719
Text-to-SQL模型----IRNET 笔者最近在做Text-to-SQL任务，看了这篇论文记录一下理解过程，如有理解错误，欢迎大家指正。 IRNET模型是微软2019年发表于ACL的论文，论文题目为Towards Complex Text-to-SQL in Cross-Domain Database with Intermediate Representation，论文下载地址https://arxiv.org/pdf/1905.08205.pdf 代码地址为https://github.com/
【论文阅读】让数据库听懂人话（Text-to-SQL）
热门推荐
梦想破三的奔三狗
12-30 1万+
论文标题: 在跨领域数据库中引入中间表示来实现复杂Text2SQL 英文标题: Towards Complex Text-to-SQL in Cross-Domain Database with Intermediate Representation 论文下载链接: https://arxiv.org/abs/1905.08205 论文项目代码: GitHub@IRNet 摘要 本文提出一种名为IRNet的神经方法解决复杂的, 跨领域的(cross-domain) Text-to-SQL任务; IR
语义解析 (Text-to-SQL)学习笔记1
PyIDEA
02-23 2369
组成部分 Text-to-SQL解析器和SQL执行器。 目前能做到的程度 SQL查询语句是一个符合语法、有逻辑结构的序列，其构成来自三部分：数据库、问题、SQL关键词。 在当前深度学习研究背景下，Text-to-SQL任务可被看作是一个类似于神经机器翻译的序列到序列的生成任务，主要采用Seq2Seq模型框架。基线Seq2Seq模型加入注意力、拷贝等机制后，在单领域数据集上可以达到80%以上的准确率，但在多领域数据集上效果很差，准确率均低于25%。 从编码和解码两个方面进行原因分析。 在编码阶段，问题与
Text-to-SQL小白入门（二）——Transformer学习
junewgl
08-16 1800
本文主要针对NLP任务中经典的Transformer模型的来源、用途、网络结构进行了详细描述，对后续NLP研究、注意力机制理解、大模型研究有一定帮助。
Text-to-SQL 工具Vanna进阶|数据库对话机器人的多轮对话
sinat_29950703的博客
03-13 2074
跟数据库对话机器人对话，我可不止一个问题。可能基于第一句问话，还有第二句、第三句问话。。。第N句对话。所以本文测试了多轮对话功能。单轮对话的环境搭建参考博客我的数据是这样。
使用LangChain实现TextToSql
wangning0714的博客
10-18 9328
本文将演示如何通过将OpenAI的GPT-3.5连接到mysql数据库来将LLM与SQL数据库结合使用。我们将使用LangChain作为我们的框架，并用Python编写。
大模型与数据分析：探索Text-to-SQL
淘系技术
03-29 6089
当今大模型如此火热，作为一名数据同学，持续在关注LLM是如何应用在数据分析中的，也关注到很多公司推出了AI数智助手的产品，比如火山引擎数智平台VeDI—AI助手、 Kyligence Copilot AI数智助理、ThoughtSpot等，通过接入人工智能大模型，提升数据处理和查询分析的效率。智能数据分析助手，采用对话式分析技术，每个普通人都可以与数据进行随时随地的实时交互，根据用户的使用反馈，不...
信息系统项目管理师高级 gpt
01-25
### 关于信息系统项目管理师高级与GPT模型的关系 对于信息系统项目管理师而言，在高级阶段深入理解并应用像GPT这样的先进人工智能技术是非常有益的。这不仅有助于提升个人技能，还能为企业带来创新解决方案。 #### GPT作为工具支持决策制定 在现代信息技术环境中，利用自然语言处理(NLP)能力强大的预训练模型如GPT可以极大提高工作效率。通过构建特定领域内的对话系统或自动文档生成器来辅助日常管理和沟通工作[^1]。例如，项目经理可以通过定制化的聊天机器人快速查询历史案例、最佳实践指导方针等重要资源；也可以借助这些平台自动生成会议纪要、进度报告等内容，减少重复劳动时间成本的同时确保信息准确性。 #### 数据库集成与优化——以DB-GPT为例 针对大型企业级应用程序中的复杂数据库操作需求，DB-GPT 提供了一个全新的视角和技术路径。该项目实现了RAG（检索增强生成）、SMMF（多模型管理框架）等功能模块，并探索了Text2SQL 自动化微调机制，这些都是为了更好地服务于结构化数据查询场景下的智能化转换任务。特别是当涉及到海量异构源之间的关联分析时，这类基于深度学习算法设计出来的组件显得尤为重要[^2]。 #### 嵌入式表示法助力语义理解 从基础层面来看，掌握好GPT所采用的独特编码方式即嵌入(embedding)，可以帮助专业人士更加深刻地认识计算机是如何解析人类语言表达的意义所在。通过对输入序列进行分词处理后再映射至高维空间向量表征的过程，使得机器具备了一定程度上的上下文感知能力和泛化性能，这对于开发高质量的应用程序至关重要[^3]。 ```python import torch from transformers import BertTokenizer, BertModel tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertModel.from_pretrained('bert-base-uncased') text = "Example sentence to demonstrate embedding." encoded_input = tokenizer(text, return_tensors='pt') output = model(**encoded_input) print(output.last_hidden_state[:, 0]) ``` 此代码片段展示了如何使用Hugging Face Transformers库加载BERT模型并对给定文本计算其嵌入向量。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值