huggingface访问慢？镜像站来了

为了加速 Hugging Face 模型和数据集的下载，可以通过配置镜像站点（如使用国内的镜像源）来优化下载速度。以下是几种常见的设置方式： ### 1. 使用环境变量设置镜像 Hugging Face 支持通过设置 `HF_ENDPOINT` 环境变量来指定镜像站点。例如，使用清华 TUNA 镜像加速模型下载： ```bash export HF_ENDPOINT=https://mirrors.tuna.tsinghua.edu.cn/hugging-face ``` 该方法适用于 Linux 和 macOS 系统。在 Windows 系统中，可以通过命令提示符设置： ```cmd set HF_ENDPOINT=https://mirrors.tuna.tsinghua.edu.cn/hugging-face ``` ### 2. 使用 `huggingface-cli` 命令行工具 `huggingface-cli` 提供了下载功能，可以通过指定参数来加速下载。例如，使用镜像站点下载模型时，可以结合镜像源地址进行模型下载： ```bash huggingface-cli download --resume-download BAAI/bge-m3 --local-dir ./bge-m3 --hf-endpoint https://mirrors.tuna.tsinghua.edu.cn/hugging-face ``` 该方法允许在单次下载中指定镜像站点，避免全局配置的影响。 ### 3. 修改 `huggingface` 库的默认下载源 如果希望长期使用镜像站点，可以通过修改 `huggingface` 库的默认下载源来实现。具体方法是修改 `transformers` 或 `datasets` 库中的源码，将默认的下载地址替换为镜像地址。例如，在 `transformers` 中，可以修改 `src/transformers/utils/hub.py` 文件中的 `HF_ENDPOINT` 变量。 ### 4. 使用 `--local-dir-use-symlinks` 参数 在下载模型时，可以使用 `--local-dir-use-symlinks False` 参数来禁用符号链接，确保文件直接存储在指定目录中。例如： ```bash huggingface-cli download --resume-download BAAI/bge-m3 --local-dir D:\huggingface\model\bge-m3 --local-dir-use-symlinks False ``` ### 5. 使用 `--repo-type` 参数下载数据集 如果需要下载数据集，可以使用 `--repo-type dataset` 参数，并结合镜像站点加速下载。例如： ```bash huggingface-cli download --repo-type dataset --resume-download wikitext --local-dir wikitext --hf-endpoint https://mirrors.tuna.tsinghua.edu.cn/hugging-face ``` ### 注意事项 - **镜像源选择**：国内常用的镜像源包括清华大学 TUNA、中科大 USTC 等，可以根据网络环境选择合适的镜像源。 - **网络环境**：确保网络能够访问所选的镜像站点，避免因网络限制导致下载失败。 - **版本兼容性**：不同版本的 `huggingface-cli` 可能支持的参数略有差异，建议查看官方文档以获取最新支持的参数。