多分类文本分类与工业故障诊断的神经网络应用

### 多分类文本分类与工业故障诊断的神经网络应用 #### 1. 多分类文本分类模型 在文本分类领域，传统的多类别文本分类算法存在文本向量化表示维度高、未考虑单词对整体文本的重要性以及语义特征信息提取能力弱等问题。为解决这些问题，提出了WTCM模型。 ##### 1.1 BiLSTM - Attention模块 传统循环神经网络难以捕捉长距离语义信息且存在梯度爆炸问题，而长短时记忆神经网络（LSTM）通过引入更新门 $i$、遗忘门 $f$、输出门 $o$ 和记忆单元，克服了这些问题。LSTM网络结构的各门公式如下： - $\tilde{f} = \sigma(W_f [a^{<t - 1>}, x^{<t>}] + b_f )$ - $\tilde{u} = \sigma(W_u [a^{<t - 1>}, x^{<t>}] + b_u )$ - $\tilde{c}^{<t>} = \tanh(W_c [a^{<t - 1>}, x^{<t>}] + b_c )$ - $\tilde{o} = \sigma(W_o [a^{<t - 1>}, x^{<t>}] + b_o )$ - $c^{<t>} = \tilde{u} * \tilde{c}^{<t>} + \tilde{f} * c^{<t - 1>}$ - $a^{<t>} = \tilde{o} * \tanh c^{<t - 1>}$ 双向长短时记忆网络（BiLSTM）是两个LSTM（前向和后向）的组合，计算方式为： $\overrightarrow{h_t} = LSTM (x_t, \overrightarrow{h_{t - 1}})$；$\overleftarrow{h_t} = LSTM (x_t, \overleftarrow{h_{t - 1}})$；$h_t = w_t\overrightarrow{h_t} + v_t\overleftarrow{h_t} + b_t$ 注意力机制最初应用于图像领域，后在自然语言处理的机器翻译领域得到应用。它类似于人类大脑的注意力分配机制，通过计算每个时刻输出序列信息的概率权重值，提高语义特征信息提取的质量。计算公式如下： - $\tilde{h_t} = \tanh(w_vh_t + b_v)$ - $\alpha_t = softmax(\tilde{h_t})$ - $h_t^{\prime} = \sum_{i} \alpha_th_t$ ##### 1.2 前馈神经网络分类器 最后，通过softmax层进行归一化操作输出预测值，计算公式为：$Y = softmax(h_t^{\prime})$ ##### 1.3 实验 - **实验环境和数据集**：实验环境为Python 3.7.0，Inter Core i5 - 8250U 1.80 GHz，8 GB内存。相关库及其版本如下表所示： | 第三方库 | 版本 | | ---- | ---- | | Jieba | 0.42.1 | | Keras | 2.3.1 | | Numpy | 1.16.4 | | Pandas | 0.23.4 | | Scikit - learn | 0.19.2 | | Tensorflow | 1.14.0 | | Gensim | 3.8.1 | 实验数据集为今日头条新闻数据集，包含2018年4月至5月的新闻文本，共382,688条新闻文本，分布在15个类别中。为使测试结果更具说服力，选取10,000条文本，按训练集、测试集和验证集8:1:1的比例划分。 - **加权词向量性能比较**：为验证加权词向量算法的有效性，分别对原始词向量和加权词向量进行文本分类准确率实验。设置不同的窗口大小（0, 1, 2…10）和向量维度（0, 50, 100…300）。实验发现，引入TF - IDF算法对Word2vec词向量进行加权后，算法性能得到提升。Word2vec能有效克服独热编码中高维稀疏性问题，TF - IDF算法引入的权重值是词向量的特征增强。 - **网络比较**：选取支持向量机（SVM）、朴素贝叶斯（NB）、卷积神经网络（TextCNN）和长短时记忆神经网络（LSTM）四个经典模型，采用控制变量法进行比较实验。所提模型的超参数设置如下表所示： | 参数 | 值 | | ---- | ---- | | max_len | 30 | | hidden_size | 128 | | att_size | 64 | | dropout | 0.2 | | epochs | 20 | | batch_size | 128 | | 损失函数 | categorical_crossentropy | | 优化器 | Adam | 采用精确率、召回率和F值评估模型。实验结果如下表所示： | 方法 | 精确率 | 召回率 | F值 | | ---- | ---- | ---- | ---- | | 朴素贝叶斯 | 84.57% | 85.59% | 85.08% | | SVM | 8