NLP论文速读|Describe-then-Reason: 通过视觉理解训练来提升多模态数学的推理

论文速读|Describe-then-Reason: Improving Multimodal Mathematical Reasoning through Visual Compre- hension Training

论文信息：

简介：

      该论文试图解决的问题是开源多模态大型语言模型（MLLMs）在复杂多模态数学推理任务中的表现不佳的问题。尽管这些模型在处理涉及文本和视觉输入的任务时表现出了令人印象深刻的推理能力，但它们在解决数学相关的多模态问题时，相较于专有模型（如GPT-4V和Gemini-Pro）仍有较大差距。这种性能差距限制了开源MLLMs在教育内容生成和统计数据分析等领域的应用潜力。本文的动机在于，尽管通过中间步骤（即理由）的微调可以激发MLLMs的一些数学推理能力，但现有模型在视觉理解方面仍然存在不足，导致对数学图形的解释不准确。为了提高MLLMs在多模态数学推理中的表现，研究者们提出了一种新的训练流程，强调视觉理解训练的重要性，以期通过提升视觉理解能力来增强模型的整体推理能力。