dwjf321的博客

所谓的训练函数，指的是输入数据读取、送入网络、计算损失、更新参数的流程，该流程较为固定。我们使用的是多分类交叉生损失函数、使用 SGD 优化方法。该数据为二手手机的各个性能的数据，最后根据这些性能得到4个价格区间，作为这些二手手机售出的价格区间。需要注意的是: 在这个问题中，我们不需要预测实际价格，而是一个价格范围，它的范围使用 0、1、2、3 来表示，所以该问题也是一个分类问题。我们可以使用机器学习的方法来解决这个问题，也可以构建一个全连接的网络。使用训练好的模型，对未知的样本的进行预测的过程。

在设计机器学习算法时希望在新样本上的泛化能力强。许多机器学习算法都采用相关的策略来减小测试误差，这些策略被统称为正则化。神经网络的强大的表示能力经常遇到过拟合，所以需要使用不同形式的正则化策略。目前在深度学习中使用较多的策略有范数惩罚DropOut特殊的网络层等，接下来我们对其进行详细的介绍。

梯度下降法是一种寻找使损失函数最小化的方法。从数学上的角度来看，梯度的方向是函数增长速度最快的方向，那么梯度的反方向就是函数减少最快的方向，所以有：其中，η是学习率，如果学习率太小，那么每次训练之后得到的效果都太小，增大训练的时间成本。如果，学习率太大，那就有可能直接跳过最优解，进入无限的训练中。解决的方法就是，学习率也需要随着训练的进行而变化。前向传播：指的是数据输入的神经网络中，逐层向前传输，一直到运算到输出层为止。

神经网络的输入数据是为[batch_size, in_features]的张量经过网络处理后获取了[batch_size, out_features]的输出张量。在 pytorch 中定义深度神经网络其实就是层堆叠的过程，继承自。

我们使用 PyTorch 的各个组件来构建线性回归的实现。学习目标：掌握PyTorch构建线性回归模型相关API。

训练神经网络时，最常用的算法就是反向传播。在该算法中，参数（模型权重）会根据损失函数关于对应参数的梯度进行调整。为了计算这些梯度，PyTorch 内置了名为。接下来我们使用这个结构进行自动微分模块的介绍。我们使用 backward 方法、grad 属性来实现梯度的计算和访问。学习目的：掌握自动微分模块的使用。当X为多维张量时梯度计算。当X为标量时梯度的计算。

torch.cat()函数可以将两个张量根据指定的维度拼接起来，不改变维度数。学习目标：掌握torch.cat()使用。

transpose 函数可以实现交换张量形状的指定维度, 例如: 一个张量的形状为 (2, 3, 4) 可以通过 transpose 函数把 3 和 4。块组成的，它们并没有存储在整块的内存中，view 函数无法对这样的张量进行变形处理，例如: 一个张量经过了。squeeze 函数删除形状为 1 的维度（降维），unsqueeze 函数添加形状为1的维度（升维）。学习目标：掌握reshape()、squeze()、unsqueeze()、transpose()permute 函数可以一次交换更多的维度。

在操作张量时，经常要去获取某些元素进行处理或者修改操作，在这里需要了解torch中的索引操作。

张量的基本运算及函数

使用torch.tensor()可以将ndarray数组转换为Tensor，不共享内存。函数可以将张量转换为ndarray数组，但是共享内存，可以使用。可以将ndarray数组转换为Tensor，共享内存。对于只有一个元素的张量，使用。函数将该值从张量中提取出来。

python的基本使用，创建张量