公开服务¶

Github: https://ghproxy.com/

HuggingFace镜像站：HF-Mirror

AutoDL内置服务¶

声明：限于学术使用github和huggingface网络速度慢的问题，以下为方便用户学术用途使用相关资源提供的加速代理，不承诺稳定性保证。此外如遭遇恶意攻击等，将随时停止该加速服务

以下为可以加速访问的学术资源地址：

• github.com
• githubusercontent.com
• githubassets.com
• huggingface.co

如果在终端中使用：

source /etc/network_turbo

如果是在Notebook中使用：

import subprocess
import os

result = subprocess.run('bash -c "source /etc/network_turbo && env | grep proxy"', shell=True, capture_output=True, text=True)
output = result.stdout
for line in output.splitlines():
    if '=' in line:
        var, value = line.split('=', 1)
        os.environ[var] = value

取消学术加速，如果不再需要建议关闭学术加速，因为该加速可能对正常网络造成一定影响

unset http_proxy && unset https_proxy

原文链接：https://blog.csdn.net/weixin_43303286/article/details/134342476

参考：

如何快速下载huggingface模型——全方法总结 - padeoe的文章 - 知乎

https://zhuanlan.zhihu.com/p/663712983

和：

https://hf-mirror.com/docs/huggingface_hub/guides/download#download-from-the-cli

最近几月huggingface彻底无法访问，之前下载模型都是开梯子自己下载到本地再上传到服务器，这样实在比较麻烦，因此查资料之后得到解决方案：使用huggingface镜像站

Huggingface CLI
huggingface cli是hf官方的下载工具，使用pip安装：

pip install -U huggingface_hub
1
安装好之后引入环境变量：

export HF_ENDPOINT=https://hf-mirror.com
1
(只在当前终端生效，如果想长期生效改source文件）

然后就可以下载模型，这里下载的是facebook/bart-base，这里记住前面的facebook一定不要漏：

huggingface-cli download --resume-download facebook/bart-base --local-dir /home/mguo/models/bart-base
1
后面的–local-dir就是指定下载路径（默认的在.~/cache/huggingface/hub 中）

为了统一管理，我就下载到统一的路径了，这样加载模型从本地加载：

model_path = '/home/mguo/models/bart-base'
tokenizer = AutoTokenizer.from_pretrained(model_path, cache_dir=cache_dir)
————————————————

                            版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。