torch.nn.Dropout()细节记录

最新推荐文章于 2025-04-25 20:33:30 发布

FY_2018

最新推荐文章于 2025-04-25 20:33:30 发布

阅读量2.2k

点赞数 2

CC 4.0 BY-SA版权

分类专栏：机器学习文章标签： pytorch python 深度学习

本文链接：https://blog.csdn.net/FY_2018/article/details/119918294

机器学习专栏收录该内容

47 篇文章

订阅专栏

本文介绍了PyTorch中Dropout层的工作原理，特别是在model.train()和model.eval()模式下的不同行为。在训练期间，Dropout层会按指定的丢弃比率随机关闭一部分神经元以防止过拟合，并通过缩放输出来保持期望值不变。而在评估阶段，Dropout层不执行任何操作，仅作为恒等函数。示例代码展示了这一行为的差异。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

说明：

1. 在model.train()模式下Dropout层是有效的，在model.eval()模式下，Dropout层是无效的。

2. torch.nn.Dropout是采用的inverted 版本，为了“保持期望不变”而进行了rescale(缩放），缩放比例是1/(1-p)，p是的丢弃比率。

Furthermore, the outputs are scaled by a factor of :math:`\frac{1}{1-p}` during
training. This means that during evaluation the module simply computes an
identity function.

#-*- coding:utf-8 -*-
#Author LJB Create on 2021/8/25
import torch.nn as nn
import torch
class Test(nn.Module):
    def __init__(self):
        super(Test,self).__init__()
        self.droprate=0.8
        self.dropout = nn.Dropout(self.droprate)

    def forward(self,x):
        o = self.dropout(x)
        print('++before dropout:',x/(1-self.droprate))
        print('---after dropout:',o)

T = Test()

data = torch.Tensor([1,2,3,4,5,6,7,8,9,10])
T.train()
for i in range(5):
    T(data)

print('#'*40)
T.eval()
for i in range(5):
    T(data)

运行结果：