Coggle数据科学 | Kaggle赛题解析：MAP绘制学生数学误解-CSDN博客

本文链接：https://blog.csdn.net/csdn_xmj/article/details/149334249

本文来源公众号“Coggle数据科学”，仅用于学术分享，侵权删，干货满满。

赛题名称：MAP - Charting Student Math Misunderstandings
赛题类型：自然语言处理
赛题任务：为学生的解释提供候选误解建议

https://www.kaggle.com/competitions/map-charting-student-math-misunderstandings

赛题背景

在数学学习中，学生经常被要求解释他们的解题思路。这些解释提供了深入了解学生思维的宝贵视角，并常常揭示其潜在的误解（即系统性的错误思维方式）。

对学生的解释进行误解标记对于诊断性反馈非常有价值，但这既耗时又难以规模化。误解可能很微妙，具体程度各不相同，并且会随着学生推理新模式的出现而演变。目前，使用预训练语言模型的初步尝试并未成功，这很可能是由于数学内容本身的复杂性。因此，需要一种更高效、更一致的方法来简化标记过程并提高整体质量。

为了解决这一挑战，范德堡大学（Vanderbilt University）和学习机构（The Learning Agency）与 Kaggle 合作，共同举办了 MAP (Misconception Annotation Project) 竞赛。此次竞赛旨在探索通过机器学习（ML）驱动的自然语言处理（NLP）模型来预测学生基于开放式回答所产生的潜在数学误解的可能性。

赛题任务

本次竞赛的核心任务是开发一个 NLP 模型，该模型能够根据学生的开放式解释，准确预测他们潜在的数学误解。具体来说，模型需要为学生的解释提供候选误解建议，从而帮助教师更容易地识别和解决学生的错误思维，这对于提高学生的数学学习至关重要。

目标是创建一个能够识别潜在数学误解并能推广到不同问题的模型。您的工作将有助于改进对误解的理解和管理，从而提升学生和教师的教育体验。

评估指标

提交作品将根据 Mean Average Precision＠ 3 （MAP＠3）进行评估，其公式如下：

提交格式

对于测试集中的每个 row_id，您必须预测相应的 Category 和 Misconception，并用冒号 (:) 连接。每个行可以预测最多 3 个 Category:Misconception 值（超出第三个的任何预测都将被忽略），并且预测值应以空格分隔。文件应包含标题，并具有以下格式：

row_id,Category:Misconception
36696,True_Correct:NA False_Neither:NA False_Misconception:Incomplete
36697,True_Correct:NA False_Neither:NA False_Misconception:Incomplete
36698,True_Correct:NA False_Neither:NA False_Misconception:Incomplete

赛题数据集

在 MAP 竞赛中，核心在于分析学生对 诊断性问题 (DQs) 的开放式解释。这些 DQs 是多项选择题，包含一个正确答案和三个被称为干扰项的错误答案。学生在做出多项选择后，有时会被要求提供书面解释来证明他们选择的答案。这些解释正是 MAP 数据集的主要焦点，它们将被用来识别并解决学生推理中潜在的误解。竞赛的目标是开发一个模型，该模型需要完成以下三个步骤：

判断所选答案是否正确： 模型需要确定学生选择的多项选择答案是正确 (True) 还是**错误 (False)**。这体现在 Category 字段的前缀中，例如 True_Correct 或 False_Misconception。
评估解释是否包含误解： 模型需要判断学生的解释是否：
- 正确 (Correct) ：解释清晰无误。
- 误解 (Misconception) ：解释中包含一个或多个数学误解。
- 无关 (Neither) ：解释既不是明确的正确，也不包含明显的误解（例如，解释不完整或不相关）。
- 这体现在 Category 字段的后缀中，例如 True_Correct、False_Misconception 或 False_Neither。
识别具体误解（如果存在）： 如果解释中包含误解，模型需要识别出具体的数学误解类型。这对应于 Misconception 字段。