58、向量量化与无权重神经网络算法研究

向量量化与无权重神经网络算法研究

1. 向量量化算法对比

在向量量化（VQ）领域，LBG-VQ 过程使用浮点运算，不过结果可以用整数表示。LBG-VQ 所需的总字节数为((2 + 4 + N^2 + n^2 + M^2)) 。

为了对比不同算法的性能，进行了相关实验。实验针对 N = 128、256 和 512 进行，对比了 LBG 和 FSA - EAM 算法在每个像素平均操作数方面的计算复杂度。结果如下表所示：
|算法|时间复杂度|内存需求|
| ---- | ---- | ---- |
|LBG|较高|较大|
|FSA - EAM|较低|较小|

从时间复杂度来看，FSA - EAM 算法相较于 LBG 算法有显著改进。在进行 VQ 过程时，FSA - EAM 所需的内存也小于 LBG 算法。这表明 FSA - EAM 算法在效率和资源利用方面具有优势。

2. 无权重神经网络简介

无权重神经网络（WNNs）是从人工神经网络发展而来的计算模型，常用于模式识别任务。其特点是输入和输出均为二进制值，每个神经元的功能由随机访问存储器（RAM）组成的查找表实现。

早期，Bledsoe 和 Browning 在 1959 年提出了 n - tuple 方法，该方法基于分布式计算，采用一次性记忆任务，具有通过记忆学习的简单性和操作速度快的特点。随后，Aleksander 将 n - tuple 采样机应用于自适应神经网络。随着高容量、低成本 RAM 存储器的出现，推动了更高容量机器的发展。后来，许多重要研究开发了基于 n - tuple 理论扩展的 WNNs 模型，并使用其他技术进行对象