fastTEXT论文解读并附实例代码

上一篇博文是入门使用级别，但对于面试来说则不够，毕竟领导一问三不知必定over，其基本原理还是要搞清楚，因而有此博文。paper在此

0，绪论

考虑紧致特征以减少存储空间，提出在PQ（ product quantization，也是笛卡尔乘积）基础之上存储词向量。文本分类可用于垃圾过滤。fastTEXT基于n-gram特征，降维，以及更快的softmax分类器，一些关键部分，特征剪枝，量化，hash，再训练使得文本分类模型很小（一般小于100kB）而并没有明显的牺牲acc和速度。由于不受纯二进制代码的约束，采用了更传统的编码方式，即采用矢量的幅度/方向参数化。因此，只需要编码/压缩一个酉d维向量，这很好地符合上述LSH和PQ方法。

1，方法

在文本分类中，线性分类器依旧是有竞争力的，而且训练更快。在线性文本分类中最有效的trick是使用一个低等级的约束减少计算负担，同时在不同类别之间共享信息。这在更大输出空间中更有效，尤其是一些类别训练样本较少时。本文中，一个类似的模型，取N个document的so