使用带有本地模型的管道

Question

我正在尝试使用简单的 pipeline 离线。我只允许直接从网络上下载文件。

我去了 https://huggingface.co/distilbert-base-uncased-finetuned-sst-2-english/tree/main 并下载了本地文件夹中的所有文件 C:\Users\me\mymodel

但是，当我尝试加载模型时出现奇怪的错误

from transformers import pipeline

classifier = pipeline(task= 'sentiment-analysis', 
                      model= "C:\Users\me\mymodel",
                      tokenizer = "C:\Users\me\mymodel")

ValueError: unable to parse C:\Users\me\mymodel\modelcard.json as a URL or as a local path

这里有什么问题？ 谢谢！

Answer 1

必须是以下两种情况之一：

• 您没有正确下载所有需要的文件
• 文件夹路径错误

仅供参考，我在目录中列出了所需的内容：

• config.json
• pytorch_model.bin/tf_model.h5
• special_tokens_map.json
• tokenizer.json
• tokenizer_config.json
• vocab.txt

Answer 2

解决方案有点间接：

1. 在可以访问互联网的计算机上加载模型
2. 使用 save_pretrained()
保存模型
3. 将上面获取的文件夹传输到离线机器，并在pipeline调用中指向它的路径

该文件夹将包含所有预期的文件。