​HuggingFace 的镜像源网站​,下载提速


 

 HuggingFace 的镜像网站

镜像网站

有了这个网站,我们可以快速地下载 HuggingFace 上的公开的大模型

使用方法有两种

方法一

使用 huggingface 官方提供的 huggingface-cli 命令行工具。

1. 安装相关依赖 
pip install -U huggingface_hub

2. 基本命令示例
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download --resume-download --local-dir-use-symlinks False facebook/musicgen-small --local-dir musicgen-small

方法二

通过设置环境变量来解决

export HF_ENDPOINT=https://hf-mirror.com
python your_script.py 
### 如何从国内镜像源下载 Hugging Face CL 模型或库 为了更高效地获取 Hugging Face 上托管的模型及相关资源,可以利用国内的一些加速服务或镜像点来减少网络延迟并提高下载速度。 #### 使用阿里云 ModelScope 镜像 ModelScope 是由阿里云提供的一项支持多种框架的大规模预训练模型平台。对于希望访问 Hugging Face 资源但受限于国际带宽瓶颈的研究者来说,这是一个很好的替代方案之一。 可以通过如下方式安装来自 ModelScope 的 transformers 库: ```bash pip install modelscope ``` 接着,在加载具体模型时指定 `from_modelscope=True` 参数即可自动切换至阿里云提供的镜像地址进行下载操作[^2]。 #### 利用 Tsinghua University TUNA 镜像源 清华大学开源软件镜像 (TUNA) 提供了一个针对 PyPI 和 Conda 等包管理工具优化过的中国区 CDN 加速节点。虽然这里并没有直接提到对 Hugging Face 官方仓库的支持,不过仍然能够通过配置环境变量的方式间接实现提速效果。 设置临时性的 HTTP/HTTPS_PROXY 来覆盖默认行为: ```bash export HTTPS_PROXY="https://pypi.tuna.tsinghua.edu.cn/simple" export TRANSFORMERS_CACHE="/path/to/local/cache" ``` 上述命令中的 `/path/to/local/cache` 表示本地缓存路径,可以根据实际情况调整;而代理服务器 URL 则指向了清华 TUNA 团队维护的一个常用 Python 包索引页面作为例子展示,并不是真正意义上的 Hugging Face API Gateway 地址替换[^1]。 #### 自定义 Hugging Face Cache Path 并配合其他第三方插件使用 如果以上两种途径都不能满足需求,则还可以考虑修改 `$HOME/.cache/huggingface` 文件夹位置到具有更快读写性能的位置上(比如 SSD 或 NAS 设备)。与此同时,借助类似于 `git-lfs-cn` 这样的 Git LFS 扩展程序进一步改善跨国界同步大型文件的速度表现。 需要注意的是,这些解决方案可能不会完全消除所有潜在的问题,因为部分依赖项依旧会尝试连接国外主机完成最终验证过程。但是总体而言,应该能够在一定程度上缓解因地理位置差异带来的不便之处。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

黑贝是条狗

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值