利用学习代理构建学生模型以预测解题时间

### 利用学习代理与学生模型预测解题时间 #### 1. 背景与动机 传统的MFD辅导系统通过复杂但临时的机制调整问题难度，它根据绝对标准评估问题复杂度，为学生构建难度“合适”且能让学生练习所需技能的问题。然而，新系统将构建需要学生花费一定时间来解决的问题，这是因为若问题解决时间过长，学习者可能会感到沮丧并对自己的数学能力失去信心。MFD会判断学生在当前问题上是否进展不足，若是则生成更简单的问题。 预测学生解决问题所需的时间是一项具有挑战性的任务，原因如下： - 学生的整体技能水平不同，技能水平高的学生解决问题通常比技能水平低的学生更快。 - 问题的难度各异，简单问题和复杂问题的解决时间差异明显。 - 学生个体之间存在显著差异，如键盘操作速度、对乘法表的记忆程度等，这些都会影响解题时间。 - 解题时间是一个不稳定的变量，同一学生两次解决相同问题可能花费不同的时间。 为了解决这些问题，我们使用机器学习（ML）代理来预测学生解决问题所需的时间，并采用函数逼近器处理噪声数据。机器学习的灵活性使我们能够纳入传统学生模型中未使用的数据，如问题难度和学生对自身能力的信念。 #### 2. 相关工作 - **构建学生模型**：Chiu和Webb使用C4.5决策树算法构建规则集，以确定学生是否存在特定的误解。该方法能够成功分类学生的误解，但在区分学生知识中多个可能的“错误”时存在困难。 - **选择教学行动**：Quafafou等人构建了原型系统NeTutor，该系统构建规则表，学习哪种类型的交互（引导式学习、发现式学习、示例等）能使每个学生学习效果最佳。 #### 3. 方法 ##### 3.1 数据收集 在小学学生使用辅导系统时，系统收集了多种数据： - 辅导系统对学生解决主题的能力评估以及所需子技能的平均得分（范围为[1...7]）。 - 学生对自己在该主题及其所需子技能上的能力估计（整数范围为[1...7]）。 - 问题类型（加法或减法）。 - 问题的估计难度（源自领域模型，范围为[0...7]）。 - 学生的性别。 系统仅考虑与当前问题相关的子技能。例如，在计算\(\frac{1}{2} - \frac{1}{3}\)时，学生需要找到2和3的最小公倍数，并将\(\frac{1}{3}\)和\(\frac{1}{2}\)转换为分母相同的分数，但不需要将答案转换为真分数形式或简化答案，因此这些子技能不会被考虑。 学习算法会获取学生对自身能力的自我评估。系统会定期要求学生评估自己在各个领域主题上的熟练程度。虽然所有学生的自我评估与实际表现之间没有线性关系，但在每个学生的基础上，他们对自己能力的估计存在一定的系统性偏差。 学生解决问题后，系统会记录所需时间。50名学生使用了该辅导系统，共解决了1781个涉及分数的问题。我们使用这些数据训练学习代理，以学习“总体学生模型”，即预测学生解决问题所需的时间。 ##### 3.2 学习架构 系统中有两个ML组件： - **总体学生模型（PSM）**：基于所有用户的数据，它将学生的特征和待解决问题的信息作为输入，输出学生解决该问题所需的预期时间（以秒为单位）。该模型的预测依赖于学生模型，因此每个学生的预测结果会有所不同。训练学习代理使用多个学生的数据可以提供更多的训练点，从而收集到大量的训练数据。 - **个体调整组件**：在每个学生的基础上运行，对PSM进行调整，以更好地预测每个学生的表现。由于PSM在预测时可能会忽略一些个体差异，因此需要这个组件来进一步优化预测结果。 #### 4. 总体学生模型 我们使用带有反向传播学习算法的神经网络来学习PSM。选择机器学习架构很大程度上取决于可用数据的数量，随着训练集的增大，神经网络由于其学习各种函数的能力而成为更好的选择。我们的网络使用25个输入单元、4个隐藏单元和1个输出单元，这些参数是通过试错法确定的。 ##### 4.1 输入单元 神经网络使用第3.1节中列出的数据作为输入。输入编码有两种方式： - **归一化**：将输入值缩放到[0, 1]范围内。例如，如果值x的范围是[1, 7]，则网络输入为\(\frac{x - 1}{6}\)。 - **离散化**：将输入划分为不同的范围，并为每个范围分配一个输入单元。例如，如果x的范围是[1, 7]，可以创建7个输入单元，当x为1时，第一个输入单元设置为1，其他为0；当x为5时，第五个输入单元设置为1，其他为0。我们采用离散化输入，因为这种方法通常比归一化效果更好，这也是我们的网络有25个输入单元但实际输入较少（7个）的原因。 输入的一个重要特点是，系统不学习领域模型中特定组件的信息，而是以学生在测试主题上的熟练程度来表述输入。例如，对于问题\(\frac{1}{4} + \frac{1}{4}\)，神经网络的输入包括该主题的熟练程度（假设为0.6）和所需子技能的平均熟练程度（假设仅需要简化技能，其熟练程度为0.1）。这种构建特征的方式使学习代理能够更好地泛化所学知识，同时避免考虑不必要的细节，从而提高学习速度。 | 技能 | 熟练程度评级 | | ---- | ---- | | 分数加法 | 0.6 | | 寻找最小公倍数 | 0.3 | | 制作等价分数 | 0.4 | | 简化 | 0.1 | | 制作真分数 | 0.3 | ##### 4.2 目标值 神经网络的目标是预测学生解决问题所需的时间。由于解题时间以秒为单位记录，需要将其归一化到[0...1]范围内。我们决定丢弃耗时超过5分钟的试验，因此将300秒作为归一化常数，目标值为\(\frac{时间}{300.0}\)。这样做丢弃了约5%的数据集，但有助于排除一些不反映学生实际解题时间的数据，如学生离开电脑或保存问题后第二天再解决的情况。 ##### 4.3 网络常数 训练神经网络需要确定几个学习参数： - **学习率（η）**：控制网络权重调整的速度。高值会导致初始学习速度快，但网络性能可能很快达到平台期或变差；低值则会使初始学习速度慢，但系统可能达到更好的性能。 - **动量**：高动量使网络一旦开始向某个方向调整内部权重，就会倾向于继续朝该方向调整，从而加快学习速度，但可能导致网络在学习过程中过于“急躁”，花费大量时间纠正早期的错误调整。 ##### 4.4 总体学生模型的准确性 为了测试PSM的准确性，我们使用了k折交叉验证技术。修剪后的数据集包含1587个数据点，来自50名学生的日志文件。对于每个学生，我们使用49名学生的数据训练网络，然后用剩余学生的数据进行测试。 模型的误差是通过计算神经网络预测时间与学生实际所需时间之差的平方来计算的。我们将PSM的误差率与简单猜测平均解题时间（约98秒）的函数进行比较。如果ML代理不能优于简单猜测平均时间的代理，那么使用它就没有太大意义。 实验结果表明，将η设置为0.001，动量设置为0.0，并训练网络2000次，得到的模型拟合效果最佳，比简单猜测平均时间的误差平方减少了33%（即神经网络解释了33%的方差）。在初始工作中，我们更关注学习速度，因此将η和动量都设置为0.4，运行网络10次得到的模型拟合效果也较好，解释了约25%的方差。 以下是不同模型类型的误差情况表格： | 模型类型 | 误差情况 | | ---- | ---- | | 简单猜测平均时间 | [具体误差值] | | η=0.001，动量=0.0，训练2000次 | [具体误差值] | | η=0.4，动量=0.4，训练10次 | [具体误差值] | mermaid流程图展示PSM训练和测试过程： ```mermaid graph LR A[收集数据] --> B[划分训练集和测试集] B --> C[训练神经网络] C --> D[测试神经网络] D --> E[计算误差] ``` #### 5. 调整总体学生模型以适应个体 数据表明，我们的模型不能完美预测学生的行为，仍有很大的改进空间。改变网络架构或增加训练次数的方法已被排除。一种选择是增加网络的输入，但测量学生的打字能力、简单数字乘法速度等信息可能比较困难。因此，系统可以学习如何微调神经网络的输出，以更好地适应每个学生的表现。由于这种调整是针对每个学生进行的，可用的数据点相对较少，因此“调整函数”应该比较简单。 ##### 5.1 调整函数 我们选择了两种简单的操作来修改神经网络的预测： - **加法调整**：给神经网络的输出加上一个常数因子。公式为\(\frac{总时间 - 预测时间}{案例数量}\)。 - **乘法调整**：将神经网络的输出乘以一个常数因子。公式为\(\frac{总时间}{预测时间}\)。 我们分别测试了这两种调整方法，而不是同时应用。以下是一个示例： | 时间类型 | 具体时间 | | ---- | ---- | | 实际时间 | 10, 35, 30, 50, 10, 40, 25, 35, 20, 40（总时间295） | | 预测时间 | 20, 50, 40, 30, 25, 55, 10, 70, 15, 70（总时间385） | | 误差 | 100, 225, 100, 400, 225, 225, 225, 625, 25, 900（总误差3050） | 对于加法调整，常数为\(\frac{295 - 385}{10} = -9\)，调整后的预测时间误差为2460，误差减少了20%。对于乘法调整，常数为\(\frac{295}{385} = 0.77\)，调整后的预测时间误差为1786，误差减少了41%。 ##### 5.2 个体模型分析 通过分析可知，乘法和加法因子都能提高模型的拟合效果。通过调整总体学生模型以适应个体，可以减少学生在解决问题时的挫折感，并且在未来，MFD系统可以根据这个模型为学生提供更多的支持。 以下是调整前后误差对比表格： | 调整方式 | 调整前误差 | 调整后误差 | 误差减少比例 | | ---- | ---- | ---- | ---- | | 加法调整 | 3050 | 2460 | 20% | | 乘法调整 | 3050 | 1786 | 41% | mermaid流程图展示个体调整过程： ```mermaid graph LR A[获取PSM预测结果] --> B[计算调整因子] B --> C[应用加法或乘法调整] C --> D[得到调整后预测结果] D --> E[与实际结果对比评估] ``` 综上所述，利用学习代理与学生模型相结合的方法，通过构建总体学生模型并对其进行个体调整，可以更准确地预测学生解决问题所需的时间，提高辅导系统的效果。 ### 利用学习代理与学生模型预测解题时间 #### 6. 调整函数的进一步探讨 虽然加法和乘法调整函数在示例中显示出了显著的误差减少效果，但在实际应用中，还需要考虑更多因素。 首先，调整函数的计算是基于所有观察到的实例，这意味着在实际使用中，可能需要一定的时间来收集足够的数据以计算准确的调整因子。例如，对于新学生，初始阶段可能没有足够的数据来准确计算加法或乘法常数，此时可以采用默认值或者根据相似学生的经验值进行初步调整。 其次，加法和乘法调整函数的效果可能因学生而异。有些学生的解题时间差异可能更适合用加法调整来修正，而另一些学生可能更适合乘法调整。因此，在实际应用中，可以根据学生的具体情况动态选择调整函数。 以下是一个根据学生数据动态选择调整函数的流程： 1. 收集学生的解题数据，包括实际时间和预测时间。 2. 分别计算加法调整和乘法调整后的误差。 3. 比较两种调整方式的误差大小。 4. 选择误差较小的调整方式作为当前学生的调整函数。 | 调整方式 | 计算步骤 | 适用情况 | | ---- | ---- | ---- | | 加法调整 | 计算\(\frac{总时间 - 预测时间}{案例数量}\)，并将其加到预测时间上 | 当学生的解题时间偏差相对稳定，不随预测时间的大小而显著变化时适用 | | 乘法调整 | 计算\(\frac{总时间}{预测时间}\)，并将预测时间乘以该常数 | 当学生的解题时间偏差与预测时间成比例关系时适用 | mermaid流程图展示动态选择调整函数的过程： ```mermaid graph LR A[收集数据] --> B[计算加法调整误差] A --> C[计算乘法调整误差] B --> D[比较误差大小] C --> D D --> E{选择误差小的调整方式} E --> F[应用调整函数] ``` #### 7. 系统的可扩展性 该系统具有一定的可扩展性，可以在多个方面进行改进和扩展。 在数据收集方面，可以增加更多类型的数据。例如，除了现有的学生能力评估、问题类型和难度等数据，还可以收集学生的学习习惯数据，如学习时间分布、是否喜欢使用提示等。这些额外的数据可以为学习代理提供更多的信息，从而提高预测的准确性。 在模型架构方面，可以尝试不同的机器学习算法或对现有神经网络进行改进。例如，可以使用深度学习模型，如长短期记忆网络（LSTM），来处理序列数据，因为学生的解题过程可能具有一定的时间序列特征。 在应用场景方面，该系统不仅可以应用于数学辅导，还可以扩展到其他学科。例如，在语文学习中，可以预测学生阅读一篇文章或完成一篇作文所需的时间；在科学实验中，可以预测学生完成一个实验步骤所需的时间。 以下是系统可扩展性的具体方面和相应的扩展方法： | 扩展方面 | 扩展方法 | | ---- | ---- | | 数据收集 | 增加学生学习习惯数据、学习环境数据等 | | 模型架构 | 尝试深度学习模型，如LSTM；调整神经网络的层数和单元数量 | | 应用场景 | 将系统应用于其他学科，如语文、科学等 | #### 8. 实际应用中的挑战与解决方案 在实际应用中，该系统可能会面临一些挑战，以下是一些常见的挑战及相应的解决方案。 **数据质量问题**：收集到的数据可能存在噪声或错误，例如学生误操作导致的异常解题时间。解决方案是在数据预处理阶段进行数据清洗，去除明显的异常值。可以使用统计方法，如基于标准差的方法，将偏离均值一定倍数标准差的数据视为异常值并进行剔除。 **计算资源问题**：训练神经网络和计算调整因子可能需要大量的计算资源，特别是在处理大规模数据时。可以采用分布式计算的方法，将计算任务分配到多个计算节点上进行并行处理。此外，还可以使用云计算平台，根据实际需求灵活调整计算资源。 **学生个体差异的复杂性**：学生的个体差异非常复杂，除了前面提到的打字速度、乘法表记忆程度等因素外，还可能受到情绪、健康状况等因素的影响。为了应对这种复杂性，可以采用多维度的特征表示方法，将更多的个体特征纳入到模型中。同时，可以结合实时监测技术，如通过学生的面部表情、生理指标等监测学生的情绪和健康状况，并根据这些信息动态调整预测模型。 以下是实际应用中挑战与解决方案的表格总结： | 挑战 | 解决方案 | | ---- | ---- | | 数据质量问题 | 数据预处理，去除异常值 | | 计算资源问题 | 分布式计算，使用云计算平台 | | 学生个体差异的复杂性 | 多维度特征表示，实时监测并动态调整模型 | mermaid流程图展示应对实际应用挑战的过程： ```mermaid graph LR A[实际应用] --> B{是否存在挑战} B -- 是 --> C[识别挑战类型] C --> D[选择解决方案] D --> E[实施解决方案] E --> A B -- 否 --> A ``` #### 9. 总结与展望 通过构建总体学生模型并对其进行个体调整，利用学习代理与学生模型相结合的方法在预测学生解题时间方面取得了较好的效果。总体学生模型基于大量学生的数据，能够提供一个初步的预测，而个体调整则可以根据每个学生的具体情况对预测结果进行修正，从而提高预测的准确性。 在未来，可以进一步优化系统。一方面，可以继续改进调整函数，使其更加灵活和智能，能够更好地适应不同学生的需求。另一方面，可以加强系统的实时性和交互性，例如根据学生的实时解题情况动态调整问题难度和提供个性化的辅导建议。此外，随着技术的发展，可以将更多的先进技术融入到系统中，如人工智能中的强化学习技术，以进一步提高系统的性能和适应性。 总之，利用学习代理与学生模型预测解题时间是一个有前景的研究方向，通过不断的改进和完善，可以为教育辅导系统提供更强大的支持，帮助学生更高效地学习。