基于深度学习地址模糊匹配算法

基于深度学习模型的地址匹配算法 本发明涉及一种基于深度学习模型的地址匹配算法，该算法能够将海量不规范不标准地址匹配转换为标准地址。该算法首先利用结巴(jieba)中文分词库对语料库中的地址进行分词，然后利用词向量(Word2vec)模型进行地址词向量训练，最后利用增强序列推理模型(Enhanced Sequential Inference Model,ESIM)进行地址文本语义相似度计算，并输出匹配结果。 该算法的特点在于，侧重研究地址文本在语义上的相似程度，并以此为基础完成匹配任务。不同于传统的地址匹配算法侧重于利用匹配地址的字面重叠直接进行相似度计算与文本匹配，该算法能够提供了一种适用于当今海量的多源异构地址数据匹配任务的深度学习算法。 该算法的步骤包括： 1. 对地址语料库进行数据预处理，包括去除语料库中的重复地址、空格及特殊符号，以及校正错别字改。 2. 对预处理后的地址语料库进行中文分词，将地址文本中的词语与词语之间加上标记。 3. 对经过中文分词后的地址进行词向量训练，生成词表及其对应的多维词向量。 4. 地址文本语义匹配，包括以下子步骤： * 在进行模型训练之前，对实验数据集进行一系列预处理，以满足模型输入的要求。 * 载入词表，将分词后的地址文本转化为词表ID序列。 * 将label转化为独热编码One-Hot，设置正样本索引为1，负样本索引为2。 * 增强序列推理模型ESIM训练，具体包括采用小批处理进行训练，并添加随机失活层，使每一个小批都使用随机丢弃了一部分神经网络节点的深度神经网络进行训练。 5. 将需要匹配的地址直接输入到训练后的深度学习模型，输出匹配后的结果。 该算法的优点在于，能够适用于海量的多源异构地址数据匹配任务，并且能够提供高精度的匹配结果。同时，该算法也能够适用于不同行业的地址匹配需求，如物流、电子商务、地理信息系统等。