Soft argmin和Softmax的区别

Keep_Slence

于 2023-05-24 15:21:58 发布

阅读量510

点赞数

CC 4.0 BY-SA版权

文章标签：机器学习

本文链接：https://blog.csdn.net/qq_44628813/article/details/130847980

文章介绍了Softmax作为常用的激活函数，用于将向量转换为概率分布，常见于分类任务。而Soft-argmin则在转换后计算加权平均的实数值，应用于回归任务如姿态和深度估计。两者在计算和输出上存在显著差异。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Soft-argmin 和 Softmax 是两个不同的函数，尽管它们都涉及到概率分布的计算。

Softmax 是一种常用的激活函数，用于将一个向量 $x\mathbf{x}$ 转换为概率分布。具体来说，Softmax 的计算公式如下：

$\operatorname{softmax}(\mathbf{x})_i = \frac{\exp(x_i)}{\sum_{j=1}^{N} \exp(x_j)}$

其中， $N$ 是向量的长度， $softmax⁡(x)i\operatorname{softmax}(\mathbf{x})_i$ 表示 $x\mathbf{x}$ 中第 $i$ 个元素在 Softmax 转换后得到的概率值。Softmax 中的分母是所有元素的指数和，用于将元素的值标准化为概率分布。Softmax 的输出结果是一个概率分布，其所有元素的值都在 $[0, 1]$ 的范围内，并且所有元素的和为 $1$ 。

相比之下，Soft-argmin 的计算公式和 Softmax 不同。Soft-argmin 的输入是一个向量或张量，其输出是一个实数，而不是一个概率分布。Soft-argmin 的计算过程中，首先使用 softmax 函数将输入向量或张量转换为概率分布，然后使用加权平均的方式计算实数值的输出结果。与 Softmax 不同，Soft-argmin 的输出结果不是一个概率分布，因此其所有元素的值没有必要在 $[0, 1]$ 的范围内，并且不需要满足所有元素的和为 $1$ 。

在应用中，Soft-argmin 和 Softmax 通常用于不同的场景。Softmax 常用于分类任务中，用于将输入向量转换为概率分布，以便进行分类推断。而 Soft-argmin 则常用于回归任务中，例如姿态估计和深度估计等，用于计算向量的加权平均。同时，Soft-argmin 的计算过程中需要使用加权平均，相比之下，Softmax 的计算比较简单，只需要进行指数和归一化。