zhang2010hao的博客

针对本文的翻译和解释有很多，具体的内容不在此处细说。我们这里主要讨论论文中的两个技术，分别是Pointer-generator network和Coverage mechanism。大多数博客对这两个技术进行了描述，但是为什么该技术可以解决论文中提出的问题，并没人进行过说明。我们详细的研究讨论了这两个技术，下面将进一步阐明。Pointer-generator network：如文中所述，该...

没时间，先把论文附在这，有需要的可以看下，看完后是一个很大的提升。后期有空补上https://arxiv.org/pdf/1411.2738.pdfhttps://arxiv.org/pdf/1402.3722.pdfword2vec Parameter Learning Explained译文：AbstractMikolov等人的word2vec模型及其应用在近两年引起了...

一、译文：ABSTRACT自然语言是分层结构的:较小的单元(例如短语)嵌套在较大的单元(例如子句)中。当较大的组件结束时，嵌套在其中的所有较小的组件也必须结束。虽然标准的LSTM体系结构允许不同的神经元在不同的时间尺度上跟踪信息，但它并没有明确地偏向于对成分层次结构建模。本文提出通过对神经元进行排序来增加这种诱导偏差;一个主输入和遗忘门的向量确保当一个给定的神经元被更新时，按照顺序跟随它的...

译文：Abstract问题具有多个候选项的机器阅读理解(MRC)要求机器阅读给定的文章，并从几个候选项中选择正确答案。在本文中，我们提出了一种新的方法，称为卷积空间注意(CSA)模型，它可以更好地处理带有多个候选项的MRC。该模型能够充分提取文章、问题和候选项之间的相互信息，形成丰富的表征。此外，为了合并各种注意结果，我们建议使用卷积运算来动态总结不同区域大小内的注意值。实验结果表明，所提...

在深度学习中，经常会使用EMA（指数移动平均）这个方法对模型的参数做平均，以求提高测试指标并增加模型鲁棒。EMA的定义指数移动平均（Exponential Moving Average）也叫权重移动平均（Weighted Moving Average），是一种给予近期数据更高权重的平均方法。假设我们有n个数据：普通的平均数： EMA：，其中，表示前条的平均值 ()...

译文：Abstract句子中的关系事实往往是复杂的。不同的关系三元组在一个句子中可能有重叠。根据三元组重叠程度，我们将句子分为三种类型:普通、实体对重叠和单实体重叠。现有的方法主要集中在普通类上，不能准确提取关系三元组。在本文中，我们提出了一种基于复制机制的序列到序列学习的端到端模型，该模型可以从任意类的句子中联合提取关系事实。在解码过程中，我们采用了两种不同的解码策略:使用一个统一的解码...

原文链接：https://arxiv.org/pdf/1608.07905.pdf原文代码：https://github.com/shuohangwang/SeqMatchSeqABSTRACT:机器理解是自然语言处理中的一个重要问题。最近发布的数据集Stanford Question answers dataset (SQuAD)提供了大量由人类通过众包创建的真实问题及其答案。SQu...

机器学习和深度学习都基于大量的标注数据，对于NLP任务也不例外，由于文本的特殊性，导致很多任务没有好的标注数据集给我们使用，对于某些场景下的任务也不能使用通用标注数据集训练，否则效果也不会很好。实体关系提取是NLP的基础任务，也是许多上层任务的基础。这里介绍一种很久之前就提出的，但是在我们项目中使用效果很好的方案--snowball。由于在通天塔上没有看到翻译，因此为了方便大家学习，也方便自己...

在上一篇博客中介绍了ESIM模型（https://blog.csdn.net/zhang2010hao/article/details/87913910），这里介绍一个新的文本匹配模型BiMPM，其在某些任务中的效果超过ESIM模型。论文链接：http://tongtianta.site/paper/1759现在去判断两个句子相似性的深度学校解决方案主要有两种，其一是Simaese net...

论文来源：TACL 2017论文链接：http://tongtianta.site/paper/11096文本匹配是智能问答（社区问答）中的关键环节，用于判断两个句子的语义是否相似。机器智能问答FAQ中，输入新文本(语音转文本)后，和对话库内已有句子进行匹配，匹配完成后输出对应问题答案。而这里主要研究的就是两个句子如何计算它们之间语义相似度的问题。一、原理Enhanced LST...

word2vec理解及pytorch实现欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导...

序言cw2vec来自于蚂蚁金服的论文：《cw2vec: Learning Chinese Word Embeddings with Stroke n-gram Information》，本文主要对论文中的一些关键点进行解析，并讲解pytorch版本实现。一、相关知识词向量算法是自然语言处理领域的基础算法，在序列标注、问答系统和机器翻译等诸多任务中都发挥了重要作用。词向量算法最早由谷歌在...

本文转载自《机器学习算和自然语言处理》Transformer由论文《Attention is All You Need》提出，现在是谷歌云TPU推荐的参考模型。论文相关的Tensorflow的代码可以从GitHub获取，其作为Tensor2Tensor包的一部分。哈佛的NLP团队也实现了一个基于PyTorch的版本，并注释该论文。在本文中，我们将试图把模型简化一点，并逐一介绍里面的核...

Abstract我们提出了一种新的汉字嵌入学习方法cw2vec。根据我们的观察，笔划层次的信息对于提高汉字单词嵌入的学习是至关重要的。具体来说，我们设计了一种极简主义的方法来利用这些特征，通过使用笔画n-gram来捕捉汉字单词的语义和构词层面的信息。通过定性分析，我们证明了我们的模型能够提取现有方法无法捕获的语义信息。在单词相似性、单词类比、文本分类和命名实体识别任务方面的实验结果表明，该方法...

本文参考：https://zhuanlan.zhihu.com/p/36892462，https://zhuanlan.zhihu.com/p/335672681. 字符串子串查找算法KMP给定一个主串（以 S 代替）和模式串（以 P 代替），要求找出 P 在 S 中出现的位置，此即串的模式匹配问题。Knuth-Morris-Pratt 算法（简称 KMP）是解决这一问题的常用算法之一。...