李宏毅机器学习第五节（自学）Transformer

最新推荐文章于 2025-04-19 16:40:32 发布
原创 最新推荐文章于 2025-04-19 16:40:32 发布 · 1k 阅读 · 27 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #transformer #人工智能

本文介绍了Transformer模型在序列到序列(seq2seq)任务中的应用，包括语音识别、机器翻译等。详细解析了Encoder和Decoder的结构，强调了自注意力机制和残差连接的重要性，并探讨了Autoregressive与Non-autoregressive两种解码方式的差异。同时，解释了训练过程中的Teacher Forcing策略及其作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Sequense to Sequence（seq2seq）

含义：所谓Seq2Seq(Sequence to Sequence)，即序列到序列模型，就是一种能够根据给定的序列，通过特定的生成方法生成另一个序列的方法，同时这两个序列可以不等长。经常应用于输出的长度不确定时。

相关应用
1）语音辨识

输入是声音讯号的一串的vector,输出是语音辨识的结果,也就是输出的这段声音讯号,所对应的文字⇒输出的长度由机器自己决定,

2）机器翻译

输入的文字的长度是N,输出的句子的长度是N',那N跟N'之间的关系,也要由机器自己来决定

3）语音翻译

4）语音合成Text-to-Speech (TTS) Synthesis

输入一段文字，输出语音

5）Seq2seq for Chatbot聊天机器人

输入输出都是文字

利用人的对话进行训练

6）Question Answering (QA)

7）Seq2seq for S
最低0.47元/天 解锁文章

200万优质内容无限畅学
繁落.
关注
李宏毅2025《机器学习》第四讲-Transformer架构的演进
木鱼时刻的专栏
07-06 1189
李宏毅第四讲：Transformer架构的演进
transformer（李宏毅老师系列）
Moliay的博客
08-12 1648
decoder会把自己的输出作为接下来的输入之一，当decoder看到错误的输入，再被decoder自己吃进去，可能会造成error propagation,一步错步步错。但是，在训练时，是对每一个生成的token进行优化，使用的指标是交叉熵。但是，虽然表面上看起来有种种的厉害之处,尤其是平行化是它最大的优势,但是 NAT 的 Decoder ,它的 Performance,往往都。根据这个蓝色的向量里给每一个中文的字的分数，来决定第二个输出，再作为输入，继续输出后续的字，以此类推……
机器学习（李宏毅）——Transformer
Dlog的博客
02-11 1376
机器学习（李宏毅）——transformer笔记
2020李宏毅机器学习笔记——19. Transformer(全自注意力网络)
weixin_44790306的博客
08-07 3465
摘要： 文章目录1. Transformer的引入2. Self-Attention 1. Transformer的引入 一般的sequence-to-sequence模型是用RNN（单方向或者双向）来做，RNN输入是一串sequence，输出是另外一串sequence。RNN常被用于input是一个序列的情况,但是有一个问题——不容易平行化（并行化计算）。 例如下图中左边的模型就是RNN结构的sequence-to-sequence模型，(假设是单向RNN）想要求出b4就得先从a1输入开始一步一步往后求，
【第九周】李宏毅机器学习笔记07：Transformer
qq_30043925的博客
08-25 2417
这周主要了解了 transformer 中的 encoder 和 decoder 的结构和实现原理。在 decoder 中学习了两种解码的方法，一种是 AT （Autoregressive Transformer） ，另一种是NAT（Non-Autoregressive Transformer）。其中，AT生成序列质量高但速度较慢，而NAT则以牺牲部分质量换取更快的生成速度。最后还学习了如何训练 transformer 以及训练中的小 tips。
李宏毅深度学习Transformer笔记
m0_61803871的博客
12-11 3680
记录了李宏毅老师的Transformer课程的笔记。
Meta Learning（李宏毅老师系列）
Moliay的博客
08-16 1211
Meta v.s. Domain adaptation：Meta中不同的task看做是不同的Domain，那么可以将Meta看做是Domain adaptation的一种方法。将该“学习算法”在所有的“学习任务”上的损失求和，得到total loss。“学习算法”也可以看做一个函数F，它的输入是训练数据，输出是model。最终我们真正关心的是，在“测试任务”上，学习算法。用在在测试任务的测试数据上，可以得到想要的结果。，利用某个任务的训练数据进行训练，得到模型。根据学习内容不同，将元学习的具体方法进行。
深度学习自学2.0
咬树羊的博客
03-10 1569
深度学习总结
Self-Supervised Learning（李宏毅老师系列）
Moliay的博客
08-16 758
自监督学习模型与芝麻街~参数量ELMO：94MBERT：340MT5：11BGPT-3：175B“自监督学习”数据本身没有标签，所以属于无监督学习；但是训练过程中实际上“有标签”，标签是“自己生成的”。想办法把训练数据分为“两部分”，一部分作为作为“输入数据、另一部分作为“标注”。
用deepseek学大模型04-模型与网络
wyg_031113的专栏
02-14 974
目前已经学完深度学习的数学基础，开始学习各种 模型和网络阶段，给出一个从简单到入门的，层层递进的学习路线。并给出学习每种模型需要的前置知识。增加注意力机制，bert, 大模型，gpt, transformer， MOE等流行的模型。另外，前置知识详细一点，加上需要前置学习的模型。并分析每种模型的使用场景，优缺点。
李宏毅机器学习课程视频笔记5：Transformer
m0_61819793的博客
08-27 244
李宏毅教授的机器学习课程视频Transformer部分的学习笔记
李宏毅老师机器学习 第五节 Transformer
weixin_45668166的博客
05-02 828
1. 什么是Transformer？Transformer是一种sequence to sequence的神经网络模型架构，可以处理序列问题，相比于CNN和RNN，具有更好的并行处理能力。Transformer由encoder和decoder组成，采用了self-attention机制，可以自适应学习每个位置和其他位置之间的依赖关系。此外，Transformer还采用了残差连接和层归一化等技术，用于加速模型的训练和提高模型的泛化能力2. Transformer与RNN相比，优点是什么？
（2021李宏毅）机器学习-Transformer
顾道长生的科研笔记
10-28 1299
文章目录Transformer模型EncoderResidual Connection & Layer normalizationlayer-NormEncoder总结DecoderAuto regressive（AT）Decoder具体结构Masked Multi-Head attentionEncoder-Decoder数据传输 Transformer模型 Transformer模型是一个基于多头自注意力的序列到序列模型 （seq2seq model），整个网络结构可以分为 编码器 （En.
【深度学习—李宏毅教程笔记】Transformer
最新发布
m0_56997192的博客
04-19 1103
本文超详解Transformer
Transformer（李宏毅2022）
linyuxi_loretta的博客
10-18 2663
（作业五）变形金刚的英文就是Transformer,那Transformer也跟我们之后会,提到的BERT有非常强烈的关係,
李宏毅Transformer
u014422462的专栏
07-07 836
Transformer Transformer 其实就是Sequence-to-Sequence（Seq2Seq）架构的model，就是输入一堆向量，输出一堆向量，输出的向量数量由机器自己决定。 Seq2Seq架构 整体架构 Encode部分 Encode部分就是输入一堆向量，然后输出一堆向量，这个encoder部分可以是RNN或者CNN组成的，但是在Transformer里，Encoder得是Transformer的Encoder就是下图右边这部分。 首先我们看下Encoder的基本架构，就是红色框中
Transformer(李宏毅课程)
qq_40438523的博客
08-03 264
TransformerSeq2seq Seq2seq The output length is determined by model Speech Recognition Machine Translation Speech Translation(language without text) Question Answering NLP problem can be solved by seq2seq Syntactic Parsing output is a tree which
李宏毅机器学习笔记-Transformer
WBingJ的博客
01-01 1592
Transformer 中的每个 Block 结构较为复杂，不仅包括 self-attention 层和全连接（FC）层，还结合了 residual connections 和 layer normalization 技术，以提高模型性能和训练稳定性。
李宏毅机器学习笔记-transformer
夏之微风的博客
09-23 890
transformer是什么呢？是一个seq2seq的model。具体应用如上图所示，输入和输出的序列长度不固定，由model自己决定。语音翻译指的是，直接输入一段语音信号，例如英文，输出的直接是翻译之后的中文。seq2seq如今已经是一个应用非常广泛的模型，可以应用于NLP的各种任务，如语义分析，语义分类，聊天机器人等。另外还有个值得说明的功能是做。。和是完全不一样的，一个是多分类，另一个是一个样本可以有多个标签。但是多标签的问题，可以用seq2seq模型来解决。
李宏毅老师-transformer part1
weixin_46675905的博客
05-05 189
transformer Transformer是一个sequence to sequence（seq2seq）的模型 输入一个序列，输出一个序列。这两个序列的长度、关系是由模型自己确定的。 為什麼我们不直接先做一个语音辨识,再做一个机器翻译,把语音辨识系统跟机器翻译系统,接起来就直接是语音翻译？ 那是因为世界上有7000种语言，这7000种语言中超过半数是没有文字的。 对于这些语言，根本就没有办法做语音辨识。 但我们有没有可能对这些语言,做语音翻译,直接把它翻译成,我们有办法阅读的文字呢？ 一个很好的
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值