transformer的dataset下载失败load_dataset(“glue“,“mrpc“)

轻夏

1824人浏览 · 2023-05-29 12:29:05

轻夏 · 2023-05-29 12:29:05 发布

下载的时候会报错https://huggingface.co/datasets/glue/resolve/main/glue.py这个路径无法下载，但是浏览器是可以打开的
所以，先去官网手动下载文件
在这里插入图片描述
然后让模型去读取，默认是会读取TRANSFORMERS_CACHE中的内容，不过在c盘，换个位置

添加环境变量，（推荐使用RapidEE工具修改环境变量）

名称	值
HUGGINGFACE_HUB_CACHE	D:\data\huggingface\cache\huggingface
TRANSFORMERS_CACHE	D:\data\huggingface\cache\transformers
XDG_CACHE_HOME	D:\data\huggingface\cache

在这里插入图片描述

放到对应的位置（这个资源管理器名字叫OneCommander）
在这里插入图片描述

那么在代码里面这样写就不会报错了

import warnings
warnings.filterwarnings("ignore")
from datasets import load_dataset
import os

raw_datasets = load_dataset(os.environ['TRANSFORMERS_CACHE'] + "\\glue","mrpc")
print(raw_datasets)