【Python机器学习】NLP分词——词的“情感”

目录

VADER：一个基于规则的情感分析器

朴素贝叶斯

无论NLP流水线中使用的是单个词、n-gram、词干还是词元作为词条，每个词条都包含了一些信息，这些信息中一个重要部分是词的情感，即一个词所唤起的总体感觉或感情。这种度量短语或者文本块的情感的任务称为情感分析，是NLP中的一个常见应用。在很多公司中，NLP工程师要做的最主要的工作就是情感分析。

类似于研究/分析用户对商品的反馈，机器不会有人类的那种倾向性，也没有人类的情感触发器。而且，并不仅仅是人类才可以处理自然语言文本和从中提取信息甚至意义，NLP流水线也能够快速客观地处理大量用户反馈，而不会出现什么倾向性。同时，NLP流水线能够输入文本的正向性或者负向性以及任何其他的情感质量的数值等级。

另一个常见的情感分析应用是垃圾邮件或钓鱼消息的过滤。我们也希望自己的聊天机器人能够判断聊天信息中的情感以便能够合理地回复消息。甚至更重要的一点是：我们希望聊天机器人在输出语句之前能够知道该语句的情感倾向，从而引导机器人输出更加亲和、友好的语句。我们需要机器人能够度量要说的任何话的得体程度从而决定是否需要回复。

要度量一段文本的情感产生所谓的倾向性数值，我们希望NLP流水线和情感分析算法输出单个从-1到+1之间的浮点数。

有两种情感分词的方法，分别是：

• 基于规则的算法，规则由人来撰写；
• 基于机器学习的模型，模型是机器从数据中学习而得到的。

第一种情感分析的方法使用用户设计的规则（有时称为启发式规则）来度量文本的情感。一个常用的基于规则的方法是在文本中寻找关键词，并将每个关键词映射到某部字典或者映射上的数值得分或权重，例如这部字典可以是Python的dict。我们在字典中可以使用分词后的词干、词元或者n-gram词条，而不只是词。算法中的规则将迭加文档中每个关键词在字典中的情感得分。显然，在文本上运行我们的算法之前，我们必须要手工构建一步关键词及每个关键词的情感得分的字典。

第二中基于机器学习的方法利用一系列标注语句或者文档来训练机器学习模型以产生规则。机器学习的情感模型在经过训练以后能够处理输入文本并输出该文本的一个情感数值得分，该得分就像正向倾向性、垃圾程度和钓鱼程度一样。对于机器学习方法，需要大量标注好“正确”情感得分的文本数据。推文数据往往被用于这类方法，因为推文中的哈希标签往往可用于构建“自标注”的数据集。

VADER：一个基于规则的情感分析器

VADER算法时最早被成功提出的基于规则的情感分析算法，很多NLP包实现的是该算法的某种形式。NLTK包中的nltk.sentiment.vader实现了VADER算法。

下面是使用vaderSentiment的代码：

from vaderSentiment.vaderSentiment import SentimentIntensityAnalyzer

sa=SentimentIntensityAnalyzer()
print(sa.lexicon)