【解决】autodl下载huggingface模型的大型ckpt
·
autodl由于网络还有其他很多原因,下载一直发愁,尤其是在huggingface上很大的模型。
于是整理:
1. 设置镜像源和高速下载插件
AutoDL 官方带宽很大,安装 hf_transfer 可以让下载速度再翻几倍(从几 MB/s 提升到几十甚至上百 MB/s):
# 设置镜像
export HF_ENDPOINT=https://hf-mirror.com
# 安装高速下载插件
pip install hf_transfer
# 启用高速下载插件
export HF_HUB_ENABLE_HF_TRANSFER=1
2. 使用 Python 一键下载
我们直接用 Python 运行下载逻辑。请复制并运行这段代码:
python -c "
from huggingface_hub import snapshot_download
import os
repo_id = 'microsoft/TRELLIS-text-xlarge'#这里改成你要下载的模型仓库id
local_dir = '/root/autodl-tmp/TRELLIS-text-xlarge'#本地路径
print(f'正在下载模型 {repo_id} 到 {local_dir}...')
snapshot_download(
repo_id=repo_id,
local_dir=local_dir,
local_dir_use_symlinks=False,
resume_download=True,
max_workers=8 # 并行线程数
)
print('下载完成!')
"
更多推荐


所有评论(0)