蓝一潇的博客

神奇的word2vec现在“词向量”已经不是一个多么新的概念了。它由2014年被facebook实验室提出，现在是一个处理自然语言的常用工具之一。甚至现在在我实习的实验室里，学长和老师嘲笑这个方法在某些任务里面有多么多么挫。。但事实上在很多的与序列无关的任务里面还是很有用的！最初知道word2vec以及“词向量”的时候是高考完的暑假，当时对于机器学习十分感兴趣，尤其对词向量充满了好奇。它可以做...

keras 分批训练2今天讲的是如何使用keras进行分批训练（也叫增量训练、增量学习、在线训练）的第二种方法，上一种方法在这里：https://blog.csdn.net/weixin_42744102/article/details/87272950上一次讲的是fit_generator的方法，那个方法搞不清每层的名字就很容易报错、计算错了step和batch也很麻烦，需要自己写的生成器...

今天使用keras分批训练model时使用model.fit_generator方法报错：ValueError: No data provided for “dense_1_input”. Need data for each key in: [‘dense_1_input’]最后通过分析keras源码，找到了解决方案：将用于产生batch的generator的返回值的格式写成一个字典，长这样：...

自然语言处理的数据量通常很大，当数据集已经没办法装在整个内存里面了， 我们就需要分批构建word2vec。代码如下：from gensim.models.word2vec import Word2Vecfrom tqdm import tqdmWORK_PATH = '.'class Word2VecTrainingMaster(): def __init__(self, ...

我们继续分析著名的attention is all you need 论文的pytorch实现的源码解析。由于项目很大，所以我们会分开几讲来进行讲解。上一讲连接在此：Attention is all you need pytorch实现 源码解析01 - 数据预处理、词表的构建 - https://blog.csdn.net/weixin_42744102/article/details/8...

我们今天继续分析著名的attention is all you need 论文的pytorch实现的源码解析。由于项目很大，所以我们会分开几讲来进行讲解。上一讲连接在此：Attention is all you need pytorch实现 源码解析01 - 数据预处理、词表的构建 - https://blog.csdn.net/weixin_42744102/article/details...

我们今天开始分析著名的attention is all you need 论文的pytorch实现的源码解析。由于项目很大，所以我们会分开几讲来进行讲解。先上源码：https://github.com/Eathoublu/attention-is-all-you-need-pytorch大家可以先自行下载并理解。今天是第一讲，我们先讲解数据的预处理部分：preprocess.py项目结构...

今天是最后一节对Attention is all you need pytorch实现的解析，这一节非常的简单，我将会一笔带过。上一讲连接在此：Attention is all you need pytorch实现 源码解析01 - 数据预处理、词表的构建 - https://blog.csdn.net/weixin_42744102/article/details/87006081Atte...

我们在机器学习训练模型的时候常常需要将数据打乱，否则，假如一个数据集前半部分target是1，后半部分target是0，这样训练出来的效果很不好，很有可能模型会过拟合后半部分的样本，尤其是数据量很大的时候，尤其是你的模型要训练几天几夜的时候。别问我为什么，血一样的教训……如果数据量小，那么我们只需要使用random.shuffle函数就可以，具体用法在：https://blog.csdn.net...

这句话是一个很常见的错误，是在加载gensim预训练的word2vec模型时的报错，当时查资料找到加载模型应该用model = KeyedVectors.load_word2vec_format(‘model_1.w2v’)然而这个方式很开心的报错了。后尝试改成model = KeyedVectors.load(‘model_1.w2v’)就可以了。...

鉴于很多人最近问我LSTM的API在keras中怎么用，怎么总是报错，我觉得写一个博客，搭建一个最小化的语言情感分类模型，这样大家就能一通百通了。这个讲解会主要侧重于LSTM中的数据维度处理。这里就不谈LSTM的原理了，大家肯定没少看到过那个经典的LSTM cell结构图。那么，第一步做什么呢？首先，我们需要一个数据集，用word2vec来做word embeding（即将词转化为向量的形...