windows+WSL（ubuntu22）下的通义千问（7B-Chat）部署、lora微调初探

1. cuda版本

cuda建议11.8，之前使用的12.1，但遇到一些问题降级到11.8了，但忘了是啥库装不上了，目前11.8肯定能用，web能打开、lora能简单跑。

python版本是3.10。

2. 下载模型和项目

> 通义千问-7B-Chat · 模型库 (modelscope.cn)

使用git

#模型
git clone https://www.modelscope.cn/qwen/Qwen-7B-Chat.git
#项目
git clone https://github.com/QwenLM/Qwen.git

模型的缺省目录是项目下的 Qwen\Qwen-7B，可以酌情放置，并在项目的各种.py中进行调整。

3. 有关WSL（windows linux子系统）

好处是下载的各种东西直接放到windows里，ubuntu子系统可以在/mnt中直接读取，很方便。

参见：

WSL2+ubuntu2004+cuda11.8+cudnn8.8开发环境搭建

我是用的ubuntu版本是2204，也没问题。基于该文部署好cuda11.8，cudnn（也可能不需要）、环境变量.bashrc、当然还有python3.10。

然后，ubuntu内pytorch的部署（11.8），很慢：