【亲测免费】 LiveCodeBench 项目下载及安装教程

LiveCodeBench 项目下载及安装教程

1、项目介绍

LiveCodeBench 是一个用于全面且无污染评估大型语言模型（LLMs）代码生成能力的开源项目。该项目不仅关注代码生成，还涵盖了代码执行、测试输出预测等更广泛的代码相关能力。LiveCodeBench 持续从 LeetCode、AtCoder 和 CodeForces 等竞赛平台收集新问题，并提供了一个包含 400 多个高质量编程问题的基准数据集。

2、项目下载位置

你可以通过以下命令从 GitHub 仓库下载 LiveCodeBench 项目：

git clone https://github.com/LiveCodeBench/LiveCodeBench.git

3、项目安装环境配置

3.1 环境要求

• Python 3.7 或更高版本
• Poetry（用于依赖管理）

3.2 安装 Poetry

首先，确保你已经安装了 Python。然后，使用以下命令安装 Poetry：

pip install poetry

3.3 配置环境

进入项目目录并安装依赖：

cd LiveCodeBench
poetry install

如果你需要安装 vllm，可以使用以下命令：

poetry install --with with-gpu

3.4 环境配置示例

以下是一个简单的环境配置示例：

4、项目安装方式

4.1 使用 Poetry 安装依赖

在项目根目录下运行以下命令以安装所有依赖项：

poetry install

4.2 运行项目

安装完成后，你可以通过以下命令运行项目：

python -m lcb_runner.runner.main --model [model_name] --scenario codegeneration

5、项目处理脚本

5.1 代码生成

使用以下命令进行代码生成：

python -m lcb_runner.runner.main --model [model_name] --scenario codegeneration

5.2 代码执行

使用以下命令进行代码执行：

python -m lcb_runner.runner.main --model [model_name] --scenario codeexecution

5.3 测试输出预测

使用以下命令进行测试输出预测：

python -m lcb_runner.runner.main --model [model_name] --scenario testoutputprediction

5.4 自修复

使用以下命令进行自修复：

python -m lcb_runner.runner.main --model [model_name] --scenario selfrepair --codegen_n [num_codes_codegen] --n 1

通过以上步骤，你可以成功下载并安装 LiveCodeBench 项目，并开始使用其提供的各种功能。