Sigmoid函数与逻辑密度函数

Sigmoid函数与逻辑密度函数

_来自deepseek，仅做记录

目录

1. Sigmoid函数
2. 逻辑密度函数
3. 二者关系
4. 应用场景对比

1. Sigmoid函数

定义

Sigmoid函数（逻辑斯蒂函数）的表达式为：
$$\sigma (x)=\frac{1}{1+e^{-x}}$$

核心性质

• 输出范围：将任意实数 $x\in \mathbb{R}$ 映射到 $(0,1)$
• 与逻辑斯蒂分布的关系：
  当逻辑斯蒂分布参数为 $\mu =0$（位置参数）、$s=1$（尺度参数）时，Sigmoid函数是其累积分布函数（CDF）
• 导数特性：
  $$\frac{d}{dx}\sigma (x)=\sigma (x)\cdot (1-\sigma (x))$$

应用场景

• 二分类概率建模（如逻辑回归中的概率输出）
• 神经网络激活函数（用于引入非线性）
• 数据归一化（将连续值压缩到概率区间）

2. 逻辑密度函数

定义

逻辑斯蒂分布的概率密度函数（PDF）为：
$$f(x;\mu ,s)=\frac{e^{-(x-\mu )/s}}{s{\left(1+e^{-(x-\mu )/s}\right)}^2}$$

参数说明

• $\mu$：位置参数（分布均值）
• $s$：尺度参数（控制分布宽度，方差为 $\frac{s^2{\pi }^2}{3}$）

标准形式

当 $\mu =0$、$s=1$ 时，简化为：
$$f(x)=\frac{e^{-x}}{(1+e^{-x}{)}^2}={\sigma }^{\prime }(x)$$

特性对比

3. 二者关系

数学关联

1. Sigmoid是逻辑分布的CDF：
   $$P(X\le x)=\sigma \left(\frac{x-\mu }{s}\right)=\frac{1}{1+e^{-(x-\mu )/s}}$$
2. 逻辑密度是Sigmoid的导数：
   $$f(x)=\frac{d}{dx}\sigma (x)=\sigma (x)(1-\sigma (x))$$

可视化关系

• CDF（Sigmoid）曲线：单调递增的S型曲线（从0渐近到1）
• PDF（逻辑密度）曲线：对称钟型曲线（峰值在 $\mu$ 处）

4. 应用场景对比

附录：关键公式速查

1. Sigmoid函数：
   $$\sigma (x)=\frac{1}{1+e^{-x}}$$
2. 逻辑密度函数（标准形式）：
   $$f(x)=\frac{e^{-x}}{(1+e^{-x}{)}^2}$$
3. 导数关系：
   $$\frac{d}{dx}\sigma (x)=\sigma (x)(1-\sigma (x))$$

✅ 总结：Sigmoid函数与逻辑密度函数通过导数紧密关联，分别描述逻辑斯蒂分布的累积概率和瞬时概率密度，广泛应用于概率建模与统计分析。