论文阅读笔记AI篇 —— Transformer模型理论+实战 (四)

本文链接：https://blog.csdn.net/weixin_44327736/article/details/134448014

本文详细介绍了Transformer模型的理论基础，包括AIAgent的概念和其在强化学习中的应用，以及如何在PyTorch中使用tensor和nn.Module类进行Transformer的代码实现，涉及torch.nn.Linear层的工作原理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、理论

1.1 理论研读

参考文章或视频链接
[1] 《论文阅读笔记AI篇 —— Transformer模型理论+实战 (一)》- CSDN
[2] 《论文阅读笔记AI篇 —— Transformer模型理论+实战 (二)》- CSDN
[3] 《论文阅读笔记AI篇 —— Transformer模型理论+实战 (三)》- CSDN

1.2 什么是AI Agent?

如果说钢铁侠中的J.A.R.V.I.S.(贾维斯)是一个AGI通用人工智能的话，那么现阶段的AI Agent只是做到了感知任务、规划任务、执行任务。下面这张图的这个过程，看上去和强化学习是一模一样的。

Agent结构图——参考视频[1]

参考文章或视频链接
[1]【动画科普AI Agent：大模型之后为何要卷它？】- bilibili
[2]【【卢菁老师说】Agent就是一场彻头彻尾的AI泡沫】- bilibili
[3] 《读懂AI Agent：基于大模型的人工智能代理》
[4] LLM之Agent（一）：使用GPT-4开启AutoGPT Agent自动化任务完整指南

二、实战

2.1 先导知识

2.1.1 tensor的创建与使用

对于一维的tensor，它是没有形状而言的，你不能准确的称它为行向量row vector或列向量col vector，只有你明确的指定之后，它才有准确的形状。
但是，在数学中肯定是要有明确的意义的，要么n*1，要么1*n，总得有个说法，说法就是，认为是列向量n*1，见参考文章[2]。

import torch
import torch.nn as nn

def test1_tensor():
    x = torch.tensor([1, 1, 1, 1])
    print("Before reshape:", x.shape)
    # x = x.reshape(4, 1)
    x = x.view(4, 1)  # 与reshape一样
    print(x)
    print("After reshape(4,1):", x.shape)
    # x = x.reshape(1, 4)
    x = x.view(1, 4)  # 与reshape一样
    print(x)
    pr