zhang2010hao的博客

import randomimport mathfrom operator import itemgetterdef Splitdata(data, M, k, seed): test = dict() train = dict() random.seed(seed) for user, item in data: rdm = random....

决策树的目标是从一组样本数据中，根据不同的特征和属性，建立一颗树形的分类结构。对于一个特定的问题，决策树的选择可能有很多种，从中选择最优的决策树是一个NP问题，在实际中我们通常会采用启发式学习的方法去构建一颗满足启发式条件的决策树。常用的决策树算法有ID3、C4.5、CART，下面对这三种算法进行讲述：ID3--最大信息增益对于样本集合D，类别数为K，数据集D的经验熵表示为 ...

矩阵求导的技术，在统计学、控制论、机器学习等领域有广泛的应用。本文来做个科普，分作两篇，上篇讲标量对矩阵的求导术，下篇讲矩阵对矩阵的求导术。本文使用小写字母xxx表示标量，粗体小写字母x\boldsymbol{x}x表示（列）向量，大写字母XXX表示矩阵。首先来琢磨一下定义，标量fff对矩阵XXX的导数∂f∂X=[∂f∂Xij]\frac{\partial f}{\partial X}=\lef...

机器学习和深度学习都基于大量的标注数据，对于NLP任务也不例外，由于文本的特殊性，导致很多任务没有好的标注数据集给我们使用，对于某些场景下的任务也不能使用通用标注数据集训练，否则效果也不会很好。实体关系提取是NLP的基础任务，也是许多上层任务的基础。这里介绍一种很久之前就提出的，但是在我们项目中使用效果很好的方案--snowball。由于在通天塔上没有看到翻译，因此为了方便大家学习，也方便自己...

word2vec理解及pytorch实现欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导...

序言cw2vec来自于蚂蚁金服的论文：《cw2vec: Learning Chinese Word Embeddings with Stroke n-gram Information》，本文主要对论文中的一些关键点进行解析，并讲解pytorch版本实现。一、相关知识词向量算法是自然语言处理领域的基础算法，在序列标注、问答系统和机器翻译等诸多任务中都发挥了重要作用。词向量算法最早由谷歌在...

Abstract我们提出了一种新的汉字嵌入学习方法cw2vec。根据我们的观察，笔划层次的信息对于提高汉字单词嵌入的学习是至关重要的。具体来说，我们设计了一种极简主义的方法来利用这些特征，通过使用笔画n-gram来捕捉汉字单词的语义和构词层面的信息。通过定性分析，我们证明了我们的模型能够提取现有方法无法捕获的语义信息。在单词相似性、单词类比、文本分类和命名实体识别任务方面的实验结果表明，该方法...

2.3 CRF损失函数CRF损失函数中包含了真实标签序列得分和所有可能标签序列的总得分，正常情况下，真实标签序列得分在所有可能标签序列得分中是最高的。比如，假设数据集中的标签如下所示：LabelIndexB-Person0I-Person1B-Organization2I-Organization3O4START5END6...

BILSTM-CRF2.6 推断新句子的标签参考声明：本系列转载自createmomo大神的博客https://createmomo.github.io，并在其中加入一些新的内容，如有侵权请及时联系。2.6 推断新句子的标签在前面的部分中，我们学习了BiLSTM-CRF模型的结构和CRF损失函数的细节。您可以通过各种开源框架（Keras，Chainer，TensorFlow等）实现您自己的B...

BILSTM-CRF2 CRF层2.1 Emission score2.2 Transition score下一节2.3 CRF损失功能2.4 真实路径得分2.5 所有可能路径的得分参考声明：本系列转载自createmomo大神的博客https://createmomo.github.io，并在其中加入一些新的内容，如有侵权请及时联系。在上一节中，我们知道CRF层可以从训练数据集中学习一些约束...

BILSTM-CRF目录1 简介1.1 在我们开始前1.2 BILSTM-CRF模型1.3如果我们没有CRF层怎么办？1.4 CRF层可以从训练数据中学习约束下一节参考声明：本系列转载自createmomo大神的博客https://createmomo.github.io，并在其中加入一些新的内容，如有侵权请及时联系。目录本系列将包括：简介：介绍命名实体识别（NER）中的相关概念，一些解...

准确率、精确率、召回率、F1是衡量机器学习结果的重要指标。下面我们用经典的表格来说明他们之间的关系和区别。     Positive（预测到的正例）    Negative（预测到的反例）   True（预测结果为真）                      TP（1）                       TN（2）   False（预测结果为假） ...

转自：https://blog.csdn.net/mieleizhi0522/article/details/80421030摘要：本系列主要对tf的一些常用概念与方法进行描述。本文主要针对tensorflow的模型训练Training与测试Testing等相关函数进行讲解。为‘Tensorflow一些常用基本概念与函数’系列之四。1、序言本文所讲的内容主要为以下列表中相关函数。函数t...

最近在看ELMO以及BERT，为了更好的理解特将相关论文翻译后以供使用。概要：我们引入了一种新型的深层语境化的词表示，它既模拟了复杂的词特征的使用(例如，语法和语义)，也模拟了这些词在不同语言语境中的使用(即，一词多义)。我们的词向量是一个深度双向语言模型(biLM)内部状态的学习函数，该模型是在大型文本语料库上预训练的。我们发现，这些表示可以很容易地添加到现有的模型中，并显著地改善6个具有挑...