• 💫 涵盖打造数字分身的全链路方案，包括聊天数据导出、预处理、模型训练、部署
• 💬 使用微信聊天记录微调LLM，让大模型有“那味儿”
• 🎙️ 使用微信语音消息➕0.5B大模型实现高质量声音克隆 👉WeClone-audio
• 🔗 绑定到微信、QQ、Telegram、企微、飞书机器人，实现自己的数字分身

项目默认使用Qwen2.5-7B-Instruct模型，LoRA方法对sft阶段微调，大约需要16GB显存。也可以使用LLaMA Factory支持的其他模型和方法。

需要显存的估算值：

cuda安装(已安装可跳过)：LLaMA Factory

建议使用 uv，这是一个非常快速的 Python 环境管理器。安装uv后，您可以使用以下命令创建一个新的Python环境并安装依赖项，注意这不包含音频克隆功能的依赖：

git clone https://github.com/xming521/WeClone.git
cd WeClone
uv venv .venv --python=3.10
source .venv/bin/activate
uv pip install --group main -e . 

使用以下命令测试CUDA环境是否正确配置并可被PyTorch识别，Mac不需要：

python -c "import torch; print('CUDA是否可用:', torch.cuda.is_available());"

（可选）安装FlashAttention，加速训练和推理：uv pip install flash-attn --no-build-isolation

请使用PyWxDump提取微信聊天记录。可以先将手机的聊天记录迁移（备份）到电脑，数据量更多一些。下载软件并解密数据库后，点击聊天备份，导出类型为CSV，可以导出多个联系人或群聊，然后将导出的位于wxdump_tmp/export 的 csv 文件夹放在./dataset目录即可，也就是不同人聊天记录的文件夹一起放在 ./dataset/csv。

• 项目默认去除了数据中的手机号、身份证号、邮箱、网址。还提供了一个禁用词词库blocked_words，可以自行添加需要过滤的词句（会默认去掉包括禁用词的整句）。
• 执行以下命令对数据进行处理，可以根据自己的聊天风格修改settings.json的make_dataset_args。

python weclone/data/qa_generator.py

• 目前仅支持时间窗口策略，根据single_combine_time_window将单人连续消息通过逗号连接合并为一句，根据qa_match_time_window匹配问答对。后续将增加大模型清洗数据的功能。

git lfs install
git clone https://www.modelscope.cn/Qwen/Qwen2.5-7B-Instruct.git

• (可选)修改settings.json的model_name_or_path和template选择本地下载好的其他模型。
• 修改per_device_train_batch_size以及gradient_accumulation_steps来调整显存占用。
• 可以根据自己数据集的数量和质量修改lora_rank、lora_dropout等参数。

python weclone/train/train_sft.py

取消settings.json中deepspeed行代码注释，使用以下命令多卡训练：

uv pip install deepspeed
deepspeed --num_gpus=使用显卡数量 weclone/train/train_sft.py

可以在这一步测试出合适的temperature、top_p值，修改settings.json的infer_args后，供后续推理时使用。

python weclone/eval/web_demo.py

python weclone/server/api_service.py

有些答案比较抽象，主要原因是训练数据没有覆盖，后续通过ＲＡＧ来解决。测试结果在test_result-my.txt。

python weclone/server/api_service.py
python weclone/eval/test_model.py

使用Qwen2.5-14B-Instruct模型，大概3万条处理后的有效数据，loss降到了3.5左右的效果。

截图

AstrBot 是易上手的多平台 LLM 聊天机器人及开发框架 ✨ 平台支持 QQ、QQ频道、Telegram、微信、企微、飞书。

使用步骤：

1. 部署 AstrBot
2. 在 AstrBot 中部署消息平台
3. 执行 python weclone/server/api_service.py 启动api服务
4. 在 AstrBot 中新增服务提供商，类型选择OpenAI，API Base URL 根据AstrBot部署方式填写（例如docker部署可能为http://172.17.0.1:8005/v1） ，模型填写gpt-3.5-turbo,API Key随意填写一个
5. 微调后不支持工具调用，请先关掉默认的工具，消息平台发送指令： /tool off all，否则会没有微调后的效果。
6. 根据微调时使用的default_system，在 AstrBot 中设置系统提示词。

7. 调整采样参数，例如temperature、top_p、top_k等 配置自定义的模型参数

• 微调问题：LLaMA-Factory| FAQs | 常见问题

欢迎任何 Issues/Pull Requests！

你可以通过查看Issues或帮助审核 PR（拉取请求）来贡献。对于新功能的添加，请先通过 Issue 讨论。
运行uv pip install --group dev -e .安装开发依赖。
项目使用pytest测试，pyright检查类型，ruff检查代码格式。