词袋模型和TF-IDF

作者|PURVA HUILGOL 编译|VK 来源|Analytics Vidhya

机器理解文本的挑战

“语言是一种极好的交流媒介”

你和我很快就会明白那句话。但机器根本无法处理原始形式的文本数据。他们需要我们将文本分解成一种易于机器阅读的数字格式（自然语言处理背后的理念！）。

这就引入“词袋”（BoW）和TF-IDF。BoW和TF-IDF都是帮助我们将文本句子转换为向量的技术。

在这篇文章中，我将讨论“词袋”和TF-IDF。我们将使用一个直观和一般的例子来详细理解每个概念。

示例

我将用一个流行的例子来解释本文中的Bag of Words（BoW）和TF-IDF。

我们都喜欢看电影（不同程度）。在我决定看一部电影之前，我总是先看它的影评。我知道你们很多人也这么做！所以，我在这里用这个例子。

以下是关于某部恐怖电影的评论示例：

• 点评一：This movie is very scary and long

• 点评二：This movie is not scary and is slow

• 点评三：This movie is spooky and good

你可以看到关于这部电影的一些对比评论，以及电影的长度和节奏。想象一下看一千篇这样的评论是多么枯燥。显然，我们可以从中汲取很多有趣的东西，并以此为基础来衡量电影的表现。

然而，正如我们在上面看到的，我们不能简单地把这些句子交给机器学习模型，让它告诉我们一篇评论是正面的还是负面的。我们需要执行某些文本预处理步骤。

“词袋”和TF-IDF就是两个这样做的例子。让我们详细了解一下。

从文本创建向量