點擊查看 Huggingface詳細入門介紹之dataset庫文章來源:http://www.zghlxwxcb.cn/news/detail-506364.html
loadset 導(dǎo)入本地文件
import os
from datasets import load_dataset
data_home = r"D:\數(shù)據(jù)集路徑"
#
data_dict = {
"train": os.path.join(data_home, "train.json"),
"test": os.path.join(data_home, "test.json"),
}
datasets = load_dataset("json", data_files=data_dict)
print(datasets)
print(datasets["train"][0])
load_dataset("json", data_files=data_dict)
json
: 表示導(dǎo)入的本地文件是 json文件文章來源地址http://www.zghlxwxcb.cn/news/detail-506364.html
到了這里,關(guān)于huggingface transformers loadset 導(dǎo)入本地文件的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!