【Pytorch】pytorch Tried to access index 6040 out of table with 6039 rows

sdbhewfoqi

已于 2023-01-09 22:47:06 修改

阅读量340

点赞数

CC 4.0 BY-SA版权

分类专栏： Tensorflow & Pytorch 文章标签： pytorch 深度学习 python

于 2023-01-05 16:54:02 首次发布

41 篇文章

订阅专栏

文章讨论了在PyTorch中创建embtable时遇到的问题，即尝试访问超出embtable行数的索引。解决方法是确保创建embtable的维度为输入数据加1，以避免索引错误。对于稀疏和变长特征，需要在计算最大长度时加上1以包含所有数据项。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

pytorch 试图从具有 6039 行的表中访问索引 6040。

创建的emb table只有6039行，但是输入的数据有6040。

创建emb table需要给定数据+1，这个维度才能创建正确的table。

# 生成输入特征设置
sparse_max_len = {f:len(encoder[f]) + 1 for f in sparse_features}
varlens_max_len = {f:len(encoder[f]) + 1 for f in varlen_features}

可以看到 len(encoder[f]) + 1，每个特征都多+1。

emb矩阵的构建

1、全量数据确定(size, emb_d)中的size；

2、e.g. 性别有男女两种，那么创建sex:(3,64d)，那么第1维要比真实类别多1位；