用一个简单的例子学习Self Attention实现指代替换

不用编程,不用数学公式,纯粹用手动方式说明Self Attention机制是如何实现指代替换的。
 
看下面两段话:
1. 猫过不了街道因为它太宽了。

2. 猫过不了街道因为它太胖了。

作为人类,我们要理解这句话,必须知道“因为”后面说的是什么。而要理解因果关系,必须知道“它”这个词指的什么。当然作为人类,经过快速思考,我们知道第一句话里面的“它”代表街道,换掉后,第一句话成为:
猫过不了街道因为街道太宽了。

第二句话中的“它”代表猫,替换掉后成为:
猫过不了街道因为猫太胖了。

那么假设我们是一台人体计算机,要怎么做呢?

第一步,我们看4个词,其他词略去不看。第一句话和第二句话提纯为:
1a. 猫,街道,它,宽
2a. 猫,街道,它,胖
至于为什么可以这样处理,是因为我们有其他不同的“人”,去处理”过不了“,”因为”,“太”,“了”那些词。

第二步,我们查字典,发现“它”是代词,猫是名词,街道是名词。我们再思考一下代词是做什么用的。于是,我们就知道需要“理解”这段话,我们需要把代词替换成正确的名词。

第三步,我们两张

<
街道
0 0 0
街道 0 0 0
0 0 0
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值