- 博客(12)
- 收藏
- 关注
RSS订阅原创 GAN损失函数和JS散度的关系
判别器是要给生成图像低分，给真是的图像高分，带入到上面式子中，第一项中f给生成的图像低分，会让第一项更小，第二项中f给真实图像打高分，这也让第二项更小。在GAN的优化过程中，判别器的优化目标可以被理解为在最小化JS 散度的过程中，使得判别器能够有效地区分真实数据分布 ( P_data ) 和生成数据分布 ( P_G )，从而推动生成器生成更真实的数据样本。这里也是加了负号的，上面说到，要把判别器损失函数最大化，加了负号后，就是最小化问题了，这是符合对损失函数的理解的。zj：正态分布中随机生成的数据。
2024-07-11 11:45:49
1106
原创 【“Transformers快速入门”学习笔记8】学习中遇到的一些方法和关键字
Dropout 在训练时，以指定的丢弃概率（通常在 0.1 到 0.5 之间）随机将输入张量的部分元素置零，并按比例缩放剩余元素：[ \text{output} = \frac{\text{input} \times \text{mask}}{1 - \text{p}} ] 其中 p 是丢弃概率，mask 是二元掩码张量，其形状与输入张量相同。例如，nn.Linear(768, 2) 表示一个线性层，它将输入大小为 768 的张量转换为输出大小为 2 的张量，适用于二分类问题。
2024-06-30 14:12:13
474
原创 【“Transformers快速入门”学习笔记7】一个完整的训练需要做什么，以AFQMC数据集为例
首先继承Dataset类构造自定义数据集，以组织样本和标签。AFQMC 样本以 json 格式存储，因此我们使用 json 库按行读取样本，并且以行号作为索引构建数据集。每一个样本将以字典的形式保存。Data = {}若是数据集太大，也可以继承IterableDataset类构建迭代型数据集# 每次生成器函数执行到 yield 语句时，会保存当前的状态（例如文件读取位置、局部变量等），直到下一次迭代请求时继续执行。
2024-06-30 11:33:37
736
原创 【“Transformers快速入门”学习笔记6】训练模型，保存和加载模型
Pytorch 所有的模块（层）都是的子类，神经网络模型本身就是一个模块，它还包含了很多其他的模块。下面给出了一个完整的训练循环和测试循环过程，以及详细注释。
2024-06-29 23:02:07
700
原创 【“Transformers快速入门”学习笔记5】pytorch中的Dataset和DataLoaders
import osself.img_labels = pd.read_csv(annotations_file) # 从 CSV 文件中读取图像路径和标签self.img_dir = img_dir # 图像文件所在的目录self.transform = transform # 对图像进行的转换（如预处理）self.target_transform = target_transform # 对标签进行的转换return len(self.img_labels) # 返回数据集中图像的数量。
2024-06-29 21:38:27
843
原创 【“Transformers快速入门”学习笔记4】添加Token
tokenizer.add_tokens([“aaa”,“bbb”])，参数是新 token 列表{】，返回的是添加的token的数量。
2024-06-29 20:41:58
893
原创 【“Transformers快速入门”学习笔记3】处理多段文本
现实场景中，我们往往会同时处理多段文本，而且模型也只接受批 (batch) 数据作为输入，即使只有一段文本，也需要将它组成一个只包含一个样本的 batch。按批输入多段文本产生的一个直接问题就是：batch 中的文本有长有短，而输入张量必须是严格的二维矩形，维度为（batch_size,sequence_length），即每一段文本编码后的 token IDs 数量必须一样多。
2024-06-29 19:59:10
580
原创 【“Transformers快速入门”学习笔记2】加载与保存模型和分词器
Model.from_pretrained() 会自动缓存下载的模型权重，默认保存到 ~/.cache/huggingface/transformers，我们也可以通过 HF_HOME 环境变量自定义缓存目录。以上步骤可以使用encode()合并，并且 encode() 会自动添加模型需要的特殊 token，例如 BERT 分词器会分别在序列的首尾添加 [CLS] and [SEP]解码过程不是简单的映射回tokens，还需要合并被分为多个token的单词。如上文所述，编码（Encoding）包括。
2024-06-29 18:41:41
884
原创 【“Transformers快速入门”学习笔记1】pipeline操作背后做了什么？
比如，对于情感分析任务，很明显我们最后需要使用的是一个文本分类 head。包括input_ids和attention_mask，表示对应分词之后的 tokens 映射到的数字编号列表和用来标记哪些 tokens 是被填充的（这里“1”表示是原文，“0”表示是填充字符）。可以看到，对于 batch 中的每一个样本，模型都会输出一个两维的向量（每一维对应一个标签，positive 或 negative）。模型的输出是数值，人看不懂，需要进一步处理.这样模型的预测结果就是容易理解的概率值。
2024-06-29 16:49:16
710
原创 pytorch安装之本地安装torch和torchvision，并解决自动更新版本问题
使用pip安装，这里要注意默认的安装为最新版本，这会导致上一步安装的torch自动更新，可能会引起与gpu版本不一致，所以需要指定torchvision的安装版本。使用pip安装，我的whl文件名称为torch-2.0.0+cu118-cp39-cp39-win_amd64.whl。官网链接：https://download.pytorch.org/whl/torch_stable.html。找到自己需要的版本，下载需要十几分钟。最后查看是否安装完成。
2024-05-19 22:02:19
1983
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人