【huggingface模型】huggingface模型的默认下载/加载位置

Hugging Face 是一个流行的开源平台，提供大量的预训练模型（如BERT、GPT、T5等）和工具库（如Transformers、Datasets）。以下是下载和使用 Hugging Face 模型的详细步骤：首先安装 库，它提供了加载和使用模型的接口： 如果处理数据集，建议同时安装 库： 根据模型需求，可能还需安装 PyTorch 或 TensorFlow： 二、快速使用模型（Pipeline） Hugging Face 提供了 API，可快速调用模型完成常见任务（如

草履虫都能看懂的HuggingFace的Transformers库模型缓存路径修改教程。

我正在基于pycorretor开源项目来编写文本校对接口，(pycorrector) PS D:\XYWL\pycorrector> python .\test.pymodel.safetensors: 27%|██████████████▉ | 839M/3.09G [00:20<00:56, 39.6MB/s]请问这个模型是下载到哪里了，在windows系统的什么路径。

huggingface模型的默认下载/加载位置。包、库、library的位置。

1.若需要将数据集/模型放在指定路径，需要指定"cache-dir"参数，而不是“local-dir”2.直接从huggingface中下载对应的模型和数据集，需要外网。因此可以使用国内镜像“HF-Mirror - Huggingface 镜像站。

通过HuggingFace下载的模型/数据默认存储在位置下，通过ModelScope下载的模型/数据默认存储在位置下。我们可以通过添加环境变量修改默认存储位置。

AutoModelForSequenceClassification 类是基于PyTorch的，因此需要安装PyTorch才能使用。我发现：大家加载huggingface模型，基本都是使用这两条代码来下载相关的文件的，所以我们只要找到这两条代码在哪里，就能找到文件的下载位置。但是我还是感觉很奇怪，就是它们是怎么知道需要把模型下载到哪里的，我能不能下次代码报错，自己发现需要把代码下载到哪里？之后我就通过代码连接不成功的报错，还有一些调试搜索方法，在这个头文件中找到这两行相关代码。参考了上面的帖子，找到了。

解决默认下载地址问题，将huggingface的语言模型自动下载到其它影片，避免下载到.cache文件夹里

🎯 本文目标：帮你全面掌握国产大模型的权重仓库结构与加载路径，避免下载失败、路径混乱、缓存异常等部署常见问题，做到“仓库用得明白，模型加载不踩坑”。

复现别人模型时huggingface自动下载的模型和文件保存位置 有些时候我们复现别人的实验。直接对代码进行运行，会下载bert等模型文件，经过查找。发现他们的位置是在C:\Users\用户名\.cache\torch\transformers ...

注意，这里我使用了--cache-dir而非--local-dir，我也是再其它博客上看到的，个人不知道是否有影响，如有影响请请在评论区指正。通常为.conda\envs\“虚拟环境名”\Lib\site-packages\huggingface_hub。到此位置，博主已经可以将huggingface的模型下载到指定文件夹了。将画横线的部分替换成自己指定的下载路径。

如果可以访问官方教程，建议直接参考官方教程。本文是对官方教程和个人使用经历的片面总结。这里仅仅是把模型下载下来的过程，找到模型和数据集下载位置是为了便于使用本地模型的权重。huggingface的使用环境为python。

欢迎使用 huggingface 国内镜像站

AutoModel.from_pretrained(‘bert-base-chinese’, cache_dir=‘./’)

但是在jypyter中使用huggingface的相关package的时候，仍旧会使用默认的路径，需要在代码中添加下面代码。在终端中配置hugging face的默认下载路径一般通过在.bashrc中加入下面的代码。使用.py和.ipykernel运行下面代码的时候，得到的结果是不同的。在.py中的许多环境变量在.ipykernel中是看不到的。虽然这样可以临时解决问题，但是却也不是长久之计。

在加载前需要统一模型文件名。比如bin文件都得叫pytorch_model.bin，配置文件都得叫config.json，词汇文件都得叫vocab.txt或json。这个是因为源码中的判断要求，所以别问，问就是改名。(https://blog.csdn.net/qq_33293040/article/details/109534923) RoBERTa中的merge.txt和vocab.json是什么 Bert采用的是字符级别的BPE编码，直接生成词表文件。Roberta采用的是**byte level的B

找到自己安装的huggingface_hub下的constants.py 文件，比如我的文件位置在 lib/python3.10/site-packages/huggingface_hub 下。使用hugging face 来跑代码时，往往会把模型缓存到系统目录下，比如我的ubuntu系统就缓存到~.cache目录下。把 default_home 修改为自己需要保存的文件路径即可。