weixin_45780075的博客

【代码】【论文】2024/4/23▶️ROAN_DES。

它是一种基于梯度的方法，直接优化策略的期望回报。总的来说，REINFORCE是强化学习中的一种基本算法，为许多现代策略梯度方法奠定了基础。在强化学习中，一个代理与环境交互以学习一种策略，该策略最大化一定时间内的累积奖励。策略梯度方法是一类强化学习算法，直接参数化策略，并在增加期望回报的方向上更新它。目标是学习一种策略，该策略基于观察到的状态选择动作，以最大化期望的累积奖励。策略梯度定理提供了期望回报相对于策略参数的梯度的公式。通过与环境的交互收集的样本来估计期望回报的梯度。

是 PyTorch 中用于执行张量之间的矩阵乘法的函数。它可以用于两个张量之间的矩阵乘法，也可以用于高维张量之间的批量矩阵乘法。在矩阵乘法中，torch.matmul 会根据输入张量的维度自动进行广播，以便进行有效的矩阵乘法运算。

sorted：如果为 True，则返回的最大值和对应的索引按照值排序；如果为 False，则返回的最大值和对应的索引的顺序不确定。largest：如果为 True，则获取最大的 k 个值；如果为 False，则获取最小的 k 个值。是 PyTorch 中的一个函数，用于在指定维度上获取张量中最大的 k 个值及其对应的索引。这个函数对于需要在张量中找到最大值或最小值的任务非常有用，比如在排序、选择或计算统计信息时。dim：指定在哪个维度上获取最大值，默认为输入张量的最后一个维度。k：要获取的最大值的个数。

input: 输入张量，表示每个类别的概率分布。它可以是一个一维张量，也可以是一个二维张量。如果是二维张量，每行表示一个概率分布。函数返回一个包含抽样结果的张量，其形状为(input.size(0), num_samples)。是PyTorch中的一个函数，用于从多项分布中抽取样本。此示例从给定的概率分布中抽取了5个样本，其中每个样本是从0到3的整数，表示概率分布中对应类别的索引。num_samples: 抽样次数，即要从每个概率分布中抽取的样本数量。out: 输出张量，用于存储抽取的样本。

【代码】【pytorch版】多层感知机的从零开始实现。

【代码】softmax回归的简洁实现。

【代码】softmax回归的从零开始实现。

兼具 MSE 和 MAE 的优点：Huber Loss 同时考虑了均方误差和绝对误差的优点，因此在一定程度上能够平衡二者的影响，既能够保留 MSE 对于近似正态分布的数据的有效性，又能够在一定程度上抵抗异常值的干扰，具有更广泛的适用性。其中，y 是真实值，yhat 是预测值，δ 是 Huber Loss 的阈值。对异常值具有鲁棒性：由于 Huber Loss 在绝对误差较小时采用的是均方误差，而在绝对误差较大时采用的是绝对误差，因此对于异常值的影响相对较小，具有一定的鲁棒性。Huber Loss 的主要。

线性回归的从零开始实现。

因此，在应用线性回归模型时，需要对数据进行适当的预处理，并根据实际情况选择合适的模型和特征。然后，使用带有多项式特征的线性回归模型来拟合数据，并使用模型对一个新的房屋数据进行了预测。假设有一组房屋数据，包括每个房屋的面积（平方英尺）、卧室数量、浴室数量、房屋的建造材料、周围环境、交通便利性和价格（美元）。线性回归模型有许多不同的变体，包括简单线性回归（只包含一个自变量）、多元线性回归（包含多个自变量）、岭回归、Lasso 回归等。，使得模型预测值与观测值之间的残差（观测值与模型预测值的差异）最小化。

接着对特征进行标准化，以确保它们具有相同的尺度。是一种常见的线性回归的变体，它在原始的线性回归模型中引入了一种惩罚项，以防止模型过拟合数据。在惩罚线性回归中，除了最小化预测值与实际值之间的平方误差（或其他损失函数）外，还会考虑模型参数的大小。可以根据自己的数据集和需求调整参数，例如调整alpha的值以控制惩罚项的强度，或者尝试其他类型的惩罚线性回归模型，如Lasso回归或弹性网络回归。总的来说，惩罚线性回归模型通过引入惩罚项来平衡模型的复杂度和对训练数据的拟合程度，从而提高模型的泛化能力，并且在处理。

它从大规模的知识库中学习新的关系规则，这些规则可以帮助人们更好地理解知识图谱的内容，或者用于其他应用，如自然语言处理、推荐系统等。AMIE的主要目标是从结构化数据中抽取实体之间的关系，这些数据通常以三元组的形式表示，即由实体-关系-实体组成。：AMIE使用一种称为置信度和支持度的评估指标来衡量规则的有效性，以确保抽取的规则具有较高的质量和可信度。：AMIE利用多个智能方法来学习关系规则，包括基于频繁项集挖掘的方法、基于逻辑规则的方法等。要使用AMIE模型进行知识图谱中关系的自动抽取，一般遵循以下。

ConvE是一种用于知识图谱表示学习的深度学习模型。它是一种基于卷积神经网络（Convolutional Neural Network，CNN）的模型，用于将实体和关系映射到低维空间中的向量表示。ConvE 模型的主要思想是将实体和关系表示为低维向量，并使用卷积操作来捕捉它们之间的语义关联。在模型中，实体和关系的向量表示首先被平铺成为二维矩阵，并经过卷积层进行特征提取。然后，通过全连接层将提取的特征映射到最终的向量表示空间中。

Xavier初始化方法的主要思想是根据网络层的输入和输出的数量来确定权重的初始值，以保持信号在前向传播和反向传播过程中的稳定性。具体来说，对于一个具有n个输入和m个输出的全连接层（或卷积核），Xavier初始化将权重初始化为均值为0、方差为 2 / (n + m) 的高斯分布，或者在均匀分布中采样。Xavier初始化的优点在于，它能够在避免梯度消失或梯度爆炸的同时，使得每一层的激活值保持在一个较合适的范围内，有利于提高模型的训练效率和性能。

首先，我们定义一个策略网络，通常使用神经网络来表示。策略网络接收环境的状态作为输入，并输出一个概率分布，表示智能体在给定状态下执行每个动作的概率。**采样动作：**根据策略网络输出的概率分布，智能体从中采样一个动作执行。这个过程是根据当前状态使用随机性来选择动作的。**执行动作：**智能体执行所选择的动作，并观察环境的反馈，包括奖励信号和下一个状态。**计算损失：**根据执行动作后的奖励信号和策略网络输出的动作概率，计算出损失函数。