关于IMDB 数据中decoded_review = ‘ ‘.join([reverse_word_index.get(i - 3, ‘?‘) for i in train_data[0]])的理解

holyjesus

于 2022-09-24 14:42:02 发布

阅读量347

点赞数 2

CC 4.0 BY-SA版权

分类专栏：初学者 python

本文链接：https://blog.csdn.net/holyjesus/article/details/127024993

初学者同时被 2 个专栏收录

10 篇文章

订阅专栏

python

3 篇文章

订阅专栏

这篇博客探讨了IMDB数据集中如何通过decoded_review=''.join([reverse_word_index.get(i-3,'?')foriintrain_data[0]])这段代码将评论解码。作者指出，由于0、1、2的索引分别对应'padding'、'startofsequence'和'unknown'，实际单词映射是从索引3开始，因此在解码时需要对每个索引减3以获取正确的单词。博客旨在帮助读者理解这一转换过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

关于IMDB 数据集中代码decoded_review = ' '.join([reverse_word_index.get(i - 3, '?') for i in train_data[0]])

看到代码decoded_review = ' '.join([reverse_word_index.get(i - 3, '?') for i in train_data[0]])这个i-3怎么都不理解。

书中解释是如下：“将评论解码。注意，索引减去了3，因为0、1、2是为“padding”（填充）、“start of sequence”（序列开始）、“unknown”（未知词）分别保留的索引”

我去年想明白了，但今年看第二版时又忘了，所以写下来我的理解，imdb.get_word_index()这个是单词映射整数的字典，将其键值颠倒，变为根据索引查单词。

这句话的意思是文字先是映射成整数数字，但是0、1、2这三个数字是为了“padding”（填充）、“start of sequence”（序列开始）、“unknown”（未知词）保留的，也就是说单词映射数字不是从数字0开始，而是数字3开始，所以在单词映射数字时要先加3才是数字单词字imdb.get_word_index()的结果，所以翻过来就应该每个单词编号-3。

以上是我的理解，欢迎大家交流讨论。