人工神经元新型模型的探索与实践

### 人工神经元新型模型的探索与实践 #### 1. 线性求和器的问题 线性求和器在人工神经元的应用中存在一些明显问题： - **输入评估不足**：独立的基于求和器的神经元在某种程度上较为薄弱。它不会对输入进行详细评估，仅关注输入的加权和以及相对于分离超平面的位置。这意味着一个通道缺乏活动（某些关键特征缺失）可能会被其他通道活动的增加所掩盖。例如，一个“面部神经元”可能会因单一面部部分的多次重复而被激活，而不是对完整面部特征进行识别。 - **逻辑实现脆弱**：基于求和器实现的与（AND）/或（OR）逻辑非常脆弱，尤其是在高维空间中。通过在不同通道输入许多小活动，神经元可以被设置为任意高的值（或者归零）。 #### 2. 新型“强神经元”的提出 为了解决上述问题，我们提出了一种新型的无求和器人工神经元——“强神经元”： - **逻辑实现方式**：使用 \(f() = \min(A, B, \ldots )\) 来实现与逻辑，使用 \(f() = \max(A, B, \ldots )\) 来实现或逻辑。 - **强神经元公式**： \[F_{strong} = \min\left(\max_{i} (w_{0,i}x_{i}), \max_{i} (w_{1,i}x_{i}), \max_{i} (w_{2,i}x_{i})\right)\] 其中，\(w_{k,i} \in \{0, 1\}\) 是极其稀疏的二进制权重，在训练过程中每个神经元通常只有 \(O(1)\) 个连接（大多数情况下约为 5 - 10 个）。输入 \(x_{i}\) 可以是对应于小图像块（如 \(4 \times 4\)、\(5 \times 5\) 或 \(6 \times 6\)）的初始低级特征，也可以是由前一层强神经元计算得到的中级特征。 - **强神经元的优势**： - **决策边界复杂**：与基于求和器的神经元相比，强神经元具有更复杂的决策边界。 - **符合人类直觉**：由 \(\min\) 和 \(\max\) 元素引入的非线性自然地与人类对模式识别的直觉理解相契合。 - **对抗攻击鲁棒**：输入的 \(\epsilon\) 有界扰动会产生恰好 \(\epsilon\) 有界的输出扰动。 #### 3. 模型背后的动机 我们的人工神经元模型是基于一些基本考虑提出的，满足一些合理且直观的要求，而基于求和器的神经元则无法满足这些要求。 - **\(L_{\infty}\) - 非扩张函数**：定义 \(L_{\infty}\) - 非扩张函数为在一般 \(N\) 维情况下，对于任何 \(N\) 维输入扰动 \(\Delta x\) 满足 \(|f(x + \Delta x) - f(x)| \leq \max_{i} |\Delta x_{i}| = \|\Delta x\|_{\infty}\) 的函数。人类视觉以及任何旨在具有鲁棒性的人工视觉系统对输入图像的有界扰动有有界反应。\(\min\) 和 \(\max\) 以及它们的叠加都是 \(L_{\infty}\) - 非扩张的。 - **\(L_{\infty}\) - 非扩张与/或问题**： - **定理 1**：存在唯一的 \(f(x, y) = \min(x, y)\) 满足以下条件： 1. \(f(x, y)\) 定义在 \(x, y \in [0, 1]\) 上。 2. \(f(0, 0) = f(0, 1) = f(1, 0) = 0\)，\(f(1, 1) = 1\)。 3. \(a \leq A\)，\(b \leq B \Rightarrow f(a, b) \leq f(A, B)\)（单调性）。 4. \(|f(a + \Delta a, b + \Delta b) - f(a, b)| \leq \max(|\Delta a|, |\Delta b|)\)。 - **定理 2**：存在唯一的 \(g(x, y) = \max(x, y)\) 满足以下条件： 1. \(g(x, y)\) 定义在 \(x, y \in [0, 1]\) 上。 2. \(g(0, 0) = 0\)，\(g(0, 1) = g(1, 0) = g(1, 1) = 1\)。 3. \(a \leq A\)，\(b \leq B \Rightarrow g(a, b) \leq g(A, B)\)（单调性）。 4. \(|g(a + \Delta a, b + \Delta b) - g(a, b)| \leq \max(|\Delta a|, |\Delta b|)\)。 这些定理表明，仅使用一个 ReLU 神经元无法实现鲁棒的与（或）元素，最好的结果是 \(L_{1}\) - 非扩张性，这并不具有鲁棒性。虽然可以通过许多传统的 ReLU 神经元来“模拟”鲁棒的与/或逻辑，