下载 huggingface 预训练模型

Question

在 Colab Notebook 上下载预训练模型后，它会在我重置笔记本变量后消失。有什么方法可以下载模型以供第二次使用吗？

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

Answer 1

安装您的 google 驱动器：

from google.colab import drive
drive.mount('/content/drive')

做你的事情并保存你的模型：

from transformers import BertTokenizer

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
tokenizer.save_pretrained('/content/drive/My Drive/tokenizer/')

在新会话中重新加载：

tokenizer2 = BertTokenizer.from_pretrained('/content/drive/My Drive/tokenizer/')

下载 huggingface 预训练模型

Downloading huggingface pre-trained models

python

nlp

google-colaboratory

huggingface-transformers