【InternLM 实战营第二期笔记+作业07】OpenCompass 大模型评测实战

最新推荐文章于 2025-08-16 12:52:19 发布
原创 最新推荐文章于 2025-08-16 12:52:19 发布 · 2.1k 阅读 · 40 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#笔记

第七次课程官方操作文档：Tutorial/opencompass/readme.md at camp2 · InternLM/Tutorial · GitHub

第七次课程录播链接：OpenCompass 大模型评测实战_哔哩哔哩_bilibili

一、评测促进模型发展

1.评测的必要性

 2.评测的挑战

二、opencompass介绍

1.opencompass开源历程

2.opencompass应用企业及高校

是meta官方推荐唯一国产大模型评测体系

社区支持最完善的评测体系之一，有100+评测集 50万+题目，涉及学科、语言、知识、理解、推理等多个领域

3.如何评测大模型

评测对象包括基座模型和对话模型

  • 基座模型：一般是经过海量的文本数据以自监督学习的方式进行训练获得的模型（如OpenAI的GPT-3，Meta的LLaMA），往往具有强大的文字续写能力。
  • 对话模型：一般是在的基座模型的基础上，经过指令微调或人类偏好对齐获得的模型（如OpenAI的ChatGPT、书生·浦语、通义千问），能理解人类指令，具有较强的对话能力。

评测方式分为客观评测和主观评测

提示词工程

明确性、概念无歧义、逐步引导、具体描述、迭代反馈

小样本学习、思维链技术

长文本评测 ：指令跟随能力、长文本建模能力、信息抽取能力

 汇集社区力量：工具——基准——榜单

 大模型评测全栈工具链：

数据污染检查--更丰富的模型推理接入--长文本能力评测--中英文双语主观评测

数据污染检查：支持包括GSM-8K、MMLU等主流数据集上的污染检测

更丰富的模型推理接入：支持近20个商业模型API、支持LMDeploy、vLLM、lightLLM等推理后端，如huggingface模型评测较慢，可以更换lmdeploy推理后端，加快评测速度

opencompass评测流水线

在 OpenCompass 中评估一个模型通常包括以下几个阶段：配置 -> 推理 -> 评估 -> 可视化。

  • 配置：这是整个工作流的起点。您需要配置整个评估过程，选择要评估的模型和数据集。此外，还可以选择评估策略、计算后端等，并定义显示结果的方式。
  • 推理与评估：在这个阶段，OpenCompass 将会开始对模型和数据集进行并行推理和评估。推理阶段主要是让模型从数据集产生输出，而评估阶段则是衡量这些输出与标准答案的匹配程度。这两个过程会被拆分为多个同时运行的“任务”以提高效率，但请注意，如果计算资源有限，这种策略可能会使评测变得更慢。如果需要了解该问题及解决方案，可以参考 FAQ: 效率。
  • 可视化：评估完成后，OpenCompass 将结果整理成易读的表格，并将其保存为 CSV 和 TXT 文件。你也可以激活飞书状态上报功能，此后可以在飞书客户端中及时获得评测状态报告。 接下来，我们将展示 OpenCompass 的基础用法，展示书生浦语在 C-Eval 基准任务上的评估。它们的配置文件可以在 configs/eval_demo.py 中找到。

compasskit：大冒险评测全栈工具链

自研高质量大模型评测基准

 mathbench：多层次数学能力评测基准

CIBench：代码解释器能力评测基准

T-Eval大模型细粒度工具能力评测基准

三、代码实现

1.环境安装

2.准备数据集

3.查看支持的数据集和模型

 3.启动评测（基础作业）

第一种纯用命令行

python run.py --datasets ceval_gen --hf-path /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --tokenizer-path /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --tokenizer-kwargs padding_side='left' truncation='left' trust_remote_code=True --model-kwargs trust_remote_code=True device_map='auto' --max-seq-len 1024 --max-out-len 16 --batch-size 2 --num-gpus 1 --debug
启动评测命令行参数
参数 说明
--datasets ceval_gen 要评价的数据集
--hf-path /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b 用的模型
--tokenizer-path /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b 分词器（tokenizer）的路径
--tokenizer-kwargs padding_side='left' truncation='left' 这个选项传递了额外的参数给分词器。padding_side='left'意味着在序列的左侧填充标记，以确保所有序列的长度一致。truncation='left'表示如果序列超过了最大长度，将从左侧开始截断。
trust_remote_code=True 这个布尔参数允许加载远程代码，这在加载模型和分词器时可能会用到。设置为True意味着信任并加载远程代码。
device_map='auto' 这个参数指定了模型应该在哪个设备上运行。'auto'选项意味着让系统自动决定使用哪个设备，通常是GPU（如果有的话）。
--max-seq-len 1024 可以输入的最大序列长度 1024token/字符
--max-out-len 16 可以输出的最大序列长度 16token/字符（视情况而定）
--batch-size 2 每小批次训练处理的样本数
--num-gpus 1 GPU数
--work dir ‘xxxx/xxx’ 指定执行操作的路径，默认在outputs/default路径下
--reuse latest 指定从哪个时间戳开始跑，时间戳查看在outputs/default,比如--reuse 20240416_215103,就是接着这个时间戳开始跑
--debug 开这个模式，所有的bug都会在terminal显示，不开就在outputs/logs下

评测的运行情况、结果在：

第二种方法 把命令行放入python文件

python run.py configs/eval_demo.py

第一次用的这种，遇到了错误捏，仔细一看run文件是根本没有，删环境重头来过~

跑了40分钟可以了

基础作业完整如下：

dataset version metric mode
最低0.47元/天 解锁文章

200万优质内容无限畅学
zzzibo
关注
【第7节】OpenCompass 大模型评测实战
熊猫小妖的AI世界
04-24 1361
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。
OpenCompass 大模型评测
RessCris的博客
02-05 1328
推理阶段主要是让模型从数据集产生输出，而评估阶段则是衡量这些输出与标准答案的匹配程度。使用 OpenCompass 评测 InternLM2-Chat-7B 模型使用 LMDeploy 0.2.0 部署后在 C-Eval 数据集上的性能。您需要配置整个评估过程，选择要评估的模型和数据集。使用 OpenCompass 评测 InternLM2-Chat-7B 模型在 C-Eval 数据集上的性能。OpenCompass 官方提供的数据集是怎么处理我们自己的模型能力的？每个评估任务由待评估的模型和数据集组成。
书生·浦语大模型实战训练营--第二期第七节--OpenCompass大模型评测实战--homework
weixin_61573157的博客
04-23 378
安装下面的顺序以及自己的文件路径配置环境。打开配置之后可以看到如下结果。
书生·浦语大模型-OpenCompass
weixin_45222417的博客
04-24 894
ceval_infer_cfg需要修改 prompt，ceval_eval_cfg是评测方式的选择，如果是选择题，这里使用AccEvaluator。过程：在一个长文本中插入一个无关的问题和答案，比如下面的小明在哪里实习的问题。然后再问模型这个问题，如果能回答上来，说明具备比较好的长文本能力。在评测过程中，显存占用可能高达十几个 GB，因此 8GB 应该是不够用的。这里的 class 名和配置文件中的要一致。有评测流水线：任务切分，并行的跑评测任务。
书生浦语实战营作业7
m0_70684128的博客
04-21 709
Tips：不强制要求配置数据集对应榜单（ leaderboard.xlsx ），可仅上传 EADME_OPENCOMPASS.md 文档。使用 OpenCompass 评测 internlm2-chat-1_8b 模型在 C-Eval 数据集上的性能。
【InternLM 实战营第二期笔记07】OpenCompass 大模型评测实战
qq_74261455的博客
04-22 1415
OpenCompass是上海人工智能实验室开源的大模型评测平台，该平台具有一系列显著的特点和功能。首先，它提供了开源可复现的评测方案，保证了评测的公平、公开和可复现性。这为研究者提供了一个稳定可靠的基准，使得不同模型之间的比较更加准确和有意义。其次，OpenCompass在评测维度上非常全面，涵盖了学科、语言、知识、理解、推理等五大维度。
【InternLM 实战营第二期笔记+作业05】LMDeploy量化部署LLM&VLM实践
zzzibo的博客
05-17 1299
在软件工程中，部署通常指的是将开发完毕的软件投入使用的过程。在人工智能领域，模型部署是实现深度学习算法落地应用的关键步骤。简单来说，模型部署就是将训练好的深度学习模型在特定环境中运行的过程LMDeploy 由 MMDeploy 和 MMRazor 团队联合开发是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案。核心功能包括高效推理、可靠量化、便捷服务和有状态推理。
【InternLM实战营第二期07笔记】【OpenCompass大模型评测实战】
w626394316的博客
05-01 1144
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。其主要特点如下：开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。
InternLM实战营第二期笔记·⑦「OpenCompass 大模型评测实战」
m0_69227055的博客
04-24 402
确保按照上述步骤正确安装 OpenCompass 并准备好数据集后，可以通过以下命令评测 InternLM2-Chat-1.8B 模型在 C-Eval 数据集上的性能。由于 OpenCompass 默认并行启动评估过程，我们可以在第一次运行时以 --debug 模式启动评估，并检查是否存在问题。在 --debug 模式下，任务将按顺序执行，并实时打印输出。即可列出所有跟 InternLM 及 C-Eval 相关的配置。
【InternLM 实战营第二期笔记7】OpenCompass 大模型评测实战
qq_45776432的博客
04-24 381
本文主要对OpenCompass-用于为大语言模型、多模态模型等提供一站式评测服务，进行介绍以及实践。
【InternLM 实战营第二期-笔记1】书生浦语大模型开源体系详细介绍&InternLM2技术报告解读（附相关论文）
Oven_maizi的博客
04-12 2411
书生·浦语大模型全链路开源体系_哔哩哔哩_bilibili自从ChatGPT和GPT-4的出现以来 (OpenAI, 2023)，大型语言模型（LLMs）在学术界和工业界迅速走红。训练在数十亿令牌上的模型展现了深刻的情感理解和问题解决能力，引发了人们普遍认为AGI时代即将到来的猜测。尽管如此，开发出与ChatGPT或GPT-4相当能力的模型的道路仍然模糊不清。开源社区正在努力缩小专有LLM与开源模型之间的差距。在过去的一年里，如LLaMA (Touvron et al., 2023a;
[Linux]学习笔记系列 -- [block][\bdev]
wdfk_prog的博客https://github.com/wdfk-prog/linux-study
08-14 734
本文介绍了Linux内核中块设备相关的关键代码实现。首先展示了bdev_inode结构体及其转换宏BDEV_I，用于连接块设备与VFS inode。其次说明了bdev_cache_init函数，它初始化块设备缓存，创建专用伪文件系统。最后分析了copy_io函数，处理进程克隆时的I/O上下文共享逻辑，根据CLONE_IO标志决定是否共享父进程的I/O优先级设置。这些机制共同构成了Linux内核块设备管理的基础设施。
【数据库】Oracle学习笔记整理之五：ORACLE体系结构 - 参数文件与控制文件（Parameter Files & Control Files）
最新发布
FixPng的博客
08-16 430
格式：分为两种类型SPFILE（服务器参数文件）：二进制格式，不可直接编辑（可 strings 查看）；PFILE（文本初始化文件）：纯文本格式，可通过文本编辑器修改。默认目录：Unix/Linux系统中默认路径为；常见名称（如）、spfile.ora（默认名称）；（如格式：二进制文件，不可通过文本编辑器直接修改；默认目录：路径由参数文件的参数指定（如常见名称：通常命名为（按副本序号区分）。
VUE3 学习笔记2 computed、watch、生命周期、hooks、其他组合式API
mashirokayo的博客
08-15 937
在vue3中，虽然也能写vue2的computed，但还是更推荐使用vue3语法的computed。computed是一个函数。它的参数接收一个函数，这个函数可以是普通函数，也可以是箭头函数，由于vue3中没有this，所以无需关注函数类型对this指向的影响。这个函数就是计算的方法函数。但是通过这种方式定义的计算属性，是只读的，无法对属性进行修改。如果计算属性同时需要读取和修改，要通过下面这种形式：传入computed的参数是一个对象，在对象中配置get和set。
权重迁移笔记
ZHY0091的博客
08-15 406
== 调试信息 ===还有 593 个权重层…
Mybatis学习笔记(十)
xfzldxfz的博客
08-14 559
通过实际的业务场景案例，展示MyBatis-Plus在真实项目中的应用，包括完整的代码实现和最佳实践。
若依前后端分离版学习笔记（九）——登录和操作日志
weixin_55549435的博客
08-13 1087
若依前后端分离版学习笔记（九）——登录和操作日志
终端安全与网络威胁防护笔记
2403_86572967的博客
08-12 768
网关杀毒（Gateway Antivirus）是部署在网络网关设备（如防火墙、路由器、UTM 统一威胁管理设备等）上的病毒防护技术。其核心作用是在网络流量进入内部网络前，对数据进行扫描过滤，拦截恶意文件、病毒、蠕虫等威胁，阻止其渗透到内部终端或服务器。
电子电路原理学习笔记---第5章特殊用途二极管---第2天
m0_74874269的博客
08-12 1173
摘要：本文详细介绍了齐纳二极管和发光二极管的工作原理、参数特性及应用。在齐纳二极管部分，重点分析了最大功率、电流、容差和阻抗等关键参数，并讨论了故障诊断方法。发光二极管部分阐述了LED的电压电流特性、亮度控制、参数指标及典型应用电路，同时对比了高功率LED与传统光源的效率差异。文中还介绍了七段显示器等其他光电器件，通过具体电路实例和计算公式，全面展示了二极管器件在电子电路中的实用价值和技术要点。
微信小程序实战：文笔记+增删改查解析
"司小文分享了一篇关于微信小程序实战的文章，主要讲解了如何实现一个简单的笔记应用——文笔记+，该应用包含了增删改查的基本功能。虽然小程序只有两个页面，但实现这些功能需要处理与数据库类似的逻辑。在代码中，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值