TabNet模型的架构图-融合决策树与神经网络的深度学习算法

TabNet

原理：TabNet是由谷歌在2019年提出的一种专门处理表格数据的深度学习模型，采用了序列多步框架，构造了一种类似于加性模型的神经网络。它能够像决策树模型一样返回特征重要性，从而解释模型决策的依据。

优势：弥补了深度学习在表格数据建模过程中可解释性不足的问题，同时保留了深度学习本身较好的准确率特性。它通过基于单个样本进行特征筛选，使得筛选出的特征更符合单个样本，也可以返回单个样本的特征重要性排序，最大程度上尊重样本的个性。

应用场景：在需要对预测结果进行解释和分析的金融风控信贷违约风险预测中具有优势，尤其适用于那些需要明确了解哪些特征对违约风险影响较大的场景。经过重庆未来之智信息技术咨询服务有限公司Toby老师实验测试，Tabnet在风控数据集上，时常优于lightgbm和xgboost，这两个算法是模型竞赛中经常夺冠算法。

模型设计：融合决策树与神经网络

TabNet的核心设计理念是通过神经网络结构模拟决策树的决策流形。传统决策树通过特征划分实现数据分类或回归，而TabNet则通过Mask层和Attentive Transformer实现特征的稀疏选择，再利用Feature Transformer对选择的特征进行处理。这种设计不仅保留了决策树的可解释性，还通过稀疏性正则化（如Sparsemax替代Softmax）实现了更高效的权重特征分配。TabNet的模型结构类似于加性模型，由多个基本决策树组合而成，每个决策树对应一个特征选择和处理的步骤。这种结构使得TabNet能够像决策树一样进行特征选择，同时又具备神经网络的强大表征能力。下图为利用DNN构造类决策树的示意图；

Tabnet完整构架图如下：

这张图展示了TabNet模型的架构，包括编码器（encoder）和解码器（decoder）部分，以及特征转换器（feature transformer）和注意力转换器（attentive transformer）的详细结构。

(a) TabNet编码器架构

• 输入特征：首先通过批归一化（Batch Normalization, BN）处理输入特征。

• 特征转换器：特征经过特征转换器处理。

• 注意力转换器：特征被分割并输入到注意力转换器中，注意力转换器使用掩码（Mask）机制来选择性地关注特征。

• 聚合：经过注意力转换器处理后的特征被聚合。

• 步骤：这个过程在多个步骤中重复进行，每个步骤都通过全连接层（FC）输出结果。

(b) TabNet解码器架构

• 编码表示：解码器从编码器接收编码表示。

• 特征转换器：编码表示通过特征转换器处理。

• 全连接层：经过特征转换器处理后的特征通过全连接层（FC）。

• 步骤：这个过程在多个步骤中重复进行，最终输出重构的特征。

(c) 特征转换器

Feature Transformer则负责对选择的特征进行处理，包含共享层和非共享层。共享层提取特征的共性，而非共享层则针对每个决策步骤进行特定的特征处理。这种设计既减少了参数量，又提高了模型的灵活性。此外，TabNet还引入了Ghost Batch Normalization技术，通过虚拟批量大小（Virtual Batch Size）优化大批量训练的性能，减少泛化差距。

• 共享部分：特征转换器在决策步骤中共享部分结构。

• 决策步骤依赖部分：每个决策步骤都有特定的结构，包括全连接层（FC）、批归一化（BN）、激活函数（如GELU）和缩放因子（如0.5）。

(d) 注意力转换器

Attentive Transformer负责生成特征选择的Mask，通过Sparsemax实现稀疏化选择，确保每个样本的特征权重集中在少数关键特征上。

• 先验尺度：注意力转换器使用先验尺度来调整注意力权重。

• 稀疏最大值：使用稀疏最大值（Sparsemax）函数来生成稀疏的注意力权重。

TabNet模型通过这种架构实现了对表格数据的高效处理，特别是在处理具有复杂关系和缺失值的数据时表现出色。

版权声明：文章来自公众号(python风控模型),未经许可，不得抄袭。遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。