PyBrain教程：使用前馈神经网络进行分类任务

最新推荐文章于 2025-06-19 09:24:33 发布

原创最新推荐文章于 2025-06-19 09:24:33 发布 · 321 阅读

CC 4.0 BY-SA版权

PyBrain教程：使用前馈神经网络进行分类任务

前言

PyBrain是一个功能强大的Python神经网络库，特别适合机器学习初学者和研究人员使用。本教程将详细介绍如何使用PyBrain构建前馈神经网络(Feed-Forward Neural Network, FNN)来解决分类问题，并通过可视化手段直观展示训练过程和结果。

准备工作

首先需要导入必要的PyBrain组件：

from pybrain.datasets import ClassificationDataSet
from pybrain.utilities import percentError
from pybrain.tools.shortcuts import buildNetwork
from pybrain.supervised.trainers import BackpropTrainer
from pybrain.structure.modules import SoftmaxLayer

同时需要导入可视化相关的库：

from pylab import ion, ioff, figure, draw, contourf, clf, show, hold, plot
from scipy import diag, arange, meshgrid, where
from numpy.random import multivariate_normal

创建分类数据集

为了演示方便，我们创建一个简单的二维数据集，包含三个类别：

means = [(-1,0),(2,4),(3,1)]
cov = [diag([1,1]), diag([0.5,1.2]), diag([1.5,0.7])]
alldata = ClassificationDataSet(2, 1, nb_classes=3)
for n in xrange(400):
    for klass in range(3):
        input = multivariate_normal(means[klass],cov[klass])
        alldata.addSample(input, [klass])

这里使用了多元正态分布生成三个类别的数据点，每个类别有不同的均值和协方差矩阵。

数据集划分

将数据集划分为训练集(75%)和测试集(25%)：

tstdata, trndata = alldata.splitWithProportion(0.25)

数据预处理

对于神经网络分类任务，建议使用"one-hot"编码表示类别：

trndata._convertToOneOfMany()
tstdata._convertToOneOfMany()

这种方法会为每个类别创建一个输出神经元，使得网络能够更好地学习类别间的边界。

构建前馈神经网络

使用PyBrain的快捷函数构建网络：

fnn = buildNetwork(trndata.indim, 5, trndata.outdim, outclass=SoftmaxLayer)

这里构建了一个包含：

输入层(2个神经元，对应2D输入)
隐藏层(5个神经元)
输出层(使用Softmax激活函数)

Softmax层特别适合多分类问题，它能将输出转化为概率分布。

设置训练器

使用反向传播算法训练网络：

trainer = BackpropTrainer(fnn, dataset=trndata, momentum=0.1, verbose=True, weightdecay=0.01)

参数说明：

momentum=0.1：添加动量项帮助加速训练
weightdecay=0.01：权重衰减(正则化)系数
verbose=True：显示训练过程信息

训练过程可视化

为了直观展示训练效果，我们创建一个网格数据集用于绘制分类边界：

ticks = arange(-3.,6.,0.2)
X, Y = meshgrid(ticks, ticks)
griddata = ClassificationDataSet(2,1, nb_classes=3)
for i in xrange(X.size):
    griddata.addSample([X.ravel()[i],Y.ravel()[i]], [0])
griddata._convertToOneOfMany()

训练循环中，每完成一个epoch就评估并可视化当前模型：

for i in range(20):
    trainer.trainEpochs(1)
    
    # 评估训练集和测试集误差
    trnresult = percentError(trainer.testOnClassData(), trndata['class'])
    tstresult = percentError(trainer.testOnClassData(dataset=tstdata), tstdata['class'])
    
    # 可视化分类边界
    out = fnn.activateOnDataset(griddata)
    out = out.argmax(axis=1).reshape(X.shape)
    
    figure(1)
    ioff()
    clf()
    hold(True)
    for c in [0,1,2]:
        here, _ = where(tstdata['class']==c)
        plot(tstdata['input'][here,0], tstdata['input'][here,1], 'o')
    if out.max()!=out.min():
        contourf(X, Y, out)
    ion()
    draw()