自然语言模型的发展历史

已于 2022-05-12 09:12:10 修改
阅读量623 收藏 3
点赞数 3
CC 4.0 BY-SA版权
文章标签： 自然语言处理
于 2022-01-15 22:26:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liushenggui123/article/details/122517187
本文回顾了自然语言处理领域中语言模型的发展历程，从早期的统计语言模型到近年来的深度学习模型如RNN、Word2vec、glove及transformer等。特别介绍了BERT、GPT-2、T5和BART等代表性模型及其贡献。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

自然语言模型的发展，画成思维导图的方式，如下图，仅供参考
从上个世纪的统计语言模型，到RNN，Word2vec，glove，之后出现transformer，语言模型的发展前进了一大步，出现了BERT，GPT-2，T5，BART等语言模型。每个模型的优缺点即对应的论文如下：
自然语言模型的发展

纛一
关注
自然语言模型的发展历程
AI天才研究院
06-28 1541
阶段一（直到1970年代），模型基于规则：该阶段自然语言处理主要基于手写规则，只能处理少量数据阶段二（1970-2000年代），模型基于统计：从数学统计的角度预测下个词的出现概率，代表模型如N-Gram等，推理过程非常直观，但是推理结果非常受数据集的影响，容易出现数据稀疏（即空值）等问题阶段三（2000年代到现在），模型基于神经网络：模型开始像人脑一样学习，2017年以前主要是小模型阶段， 在 2017年Transformer发布之后，模型开始尝试大量数据的训练学习，进入大语言模型阶段，在加入人工干预的反馈
自然语言处理的革命：深入探讨大语言模型的发展
AI天才研究院
01-02 1112
自然语言处理（NLP）是人工智能领域的一个分支，它涉及到人类语言和计算机之间的交互。自然语言处理的主要任务包括语言模型、语义分析、情感分析、实体识别等。大语言模型（LM）是一种深度学习模型，它可以用于自然语言处理的各种任务，如文本分类、情感分析、实体识别等。大语言模型通常是基于递归神经网络（RNN）或者transformer架构的。自注意力机制是一种注意力机制，它可以帮助模型关注序列中的不同部分。自注意力机制接受三个输入：查询向量、关键字向量和值向量。
自然语言模型发展历程 及 Transformer GPT Bert简介
ZSZ_shsf的博客
04-05 1410
简要介绍NLP发展历程和Transformer GPT Bert模型
自然语言发展历史
欢迎订阅 -- 小源笔迹
09-29 1438
什么是自然语言 自然语言处理（Natural Language Processing，NLP）是研究人与计算机交互语言问题的一门学科。其任务大致分为两类——自然语言理解和自然语言生成。 研究方法分类 20 世纪 50 年代到 70 年代自然语言处理主要采用基于规则的方法（符号派），研究人员们认为自然语言处理的过程和人类学习认知一门语言的过程是类似的，所以大量的研究员基于这个观点来进行研究，这时的自然语言处理停留在理性主义思潮阶段，以基于规则的方法为代表。但是基于规则的方法具有不可避免的缺点，首先规则不
【万字综述】NLP语言模型发展史
Kaiyuan_sjtu的博客
08-20 3260
作者|一轩明月编辑|NewBeeNLP2018 年对 NLP 领域来说是个不折不扣的转折年。像 OpenAI GPT 和 BERT 这样的大规模预训练语言模型，用通用模型架构在...