用神经网络破解验证码

# 用神经网络破解验证码 ## 1. 图像信息解读难题与神经网络应用背景 在数据挖掘领域，解读图像中的信息一直是个难题。不过，最新研究已提供了检测和理解图像的算法，一些大型供应商已在现实场景中使用自动商业监控系统，这些系统能够理解和识别视频片段中的物体和人物。 然而，从图像中提取信息并非易事。图像包含大量原始数据，而标准的图像编码方式——像素本身所包含的信息并不多。图像（尤其是照片）可能存在模糊、离目标过近、过暗、过亮、缩放、裁剪、倾斜等各种问题，这给试图提取有用信息的计算机系统带来了极大困扰。 为了解决自动理解验证码（CAPTCHA）信息的问题，我们将使用神经网络来预测图像中的每个字母。验证码是一种旨在让人类容易解决而让计算机难以解决的图像，许多网站使用它来防止自动程序创建虚假账户和发布垃圾评论。 ### 相关主题 - 神经网络 - 创建自己的验证码和字母数据集 - 使用 scikit - image 库处理图像数据 - 使用 PyBrain 库构建神经网络 - 从图像中提取基本特征 - 使用神经网络进行大规模分类任务 - 通过后处理提高性能 ## 2. 人工神经网络基础 神经网络是一类最初基于人类大脑工作方式设计的算法，但现代的进展主要基于数学而非生物学见解。神经网络由相互连接的神经元组成，每个神经元是其输入的简单函数，并生成一个输出。 ### 神经元的激活函数 定义神经元处理过程的函数可以是任何标准函数，如输入的线性组合，这些函数被称为激活函数。为了使常用的学习算法生效，激活函数需要是可导且平滑的。常用的激活函数是逻辑函数，其定义如下（通常 k = 1，x 是神经元的输入，L 通常为 1，即函数的最大值）： ### 神经网络的结构 对于数据挖掘应用，神经元通常按层排列。第一层是输入层，从数据集中获取输入。每个神经元的输出被计算后传递到下一层，这种网络称为前馈神经网络。 输出层是最后一层，其输出代表神经网络的分类预测。输入层和输出层之间的任何神经元层都被称为隐藏层，因为它们学习到的数据表示人类难以直观解释。大多数神经网络至少有三层，而现代应用中使用的网络通常有更多层。 ### 全连接层 通常，我们考虑全连接层，即一层中每个神经元的输出都会传递到下一层的所有神经元。在训练过程中，许多连接的权重会被设置为零，实际上移除了这些连接。全连接神经网络比其他连接模式编程更简单、更高效。 ### 神经网络的参数 构建和训练神经网络的参数主要有两个： - **网络大小**：在构建阶段确定，包括神经网络的层数和每个隐藏层的神经元数量（输入层和输出层的大小通常由数据集决定）。 - **神经元连接的权重**：在训练阶段确定。当一个神经元连接到另一个神经元时，这个连接有一个相关的权重，该权重会乘以信号（第一个神经元的输出）。 合适大小的网络和训练良好的权重组合决定了神经网络在分类时的准确性。“合适”并不一定意味着更大，因为过大的神经网络训练时间长，且更容易过拟合训练数据。权重通常最初随机设置，然后在训练阶段进行更新。 ## 3. 创建验证码数据集 ### 目标与步骤 我们的目标是创建一个程序，从包含四个字母英文单词的验证码图像中恢复出单词。为此，我们将采取以下四个步骤： 1. 将图像分割成单个字母。 2. 对每个单个字母进行分类。 3. 将字母重新组合成单词。 4. 使用字典对单词进行排序以尝试修复错误。 ### 验证码假设 我们的验证码破解算法作出以下假设： - 单词是一个完整且有效的四个字符的英文单词（创建和破解验证码使用相同的字典）。 - 单词仅包含大写字母，不使用符号、数字或空格。 - 对文本进行剪切变换，并采用不同的剪切率。 ### 绘制基本验证码 我们使用 PIL 库绘制验证码，使用 scikit - image 库进行剪切变换。以下是创建验证码的代码： ```python import numpy as np from PIL import Image, ImageDraw, ImageFont from skimage import transform as tf def create_captcha(text, shear=0, size=(100, 24)): im = Image.new("L", size, "black") draw = ImageDraw.Draw(im) font = ImageFont.truetype(r"Coval.otf", 22) draw.text((2, 2), text, fill=1, font=font) image = np.array(im) affine_tf = tf.AffineTransform(shear=shear) image = tf.warp(image, affine_tf) return image / image.max() ``` 可以使用以下代码生成并显示验证码： ```python %matplotlib inline from matplotlib import pyplot as plt image = create_captcha("GENE", shear=0.5) plt.imshow(image, cmap='Greys') ``` ### 分割图像为单个字母 为了将验证码中的单词分割成单个字母，我们创建一个函数，该函数找到图像上连续的黑色像素区域，并将其提取为子图像。以下是分割图像的代码： ```python from skimage.measure import label, regionprops def segment_image(image): labeled_image = label(image > 0) subimages = [] for region in regionprops(labeled_image): start_x, start_y, end_x, end_y = region.bbox subimages.a ```