从 Tensorflow 预训练嵌入中获取词汇列表
Get Vocabulary list from Tensorflow pretrained embedding
我现在正在使用这个 https://tfhub.dev/google/Wiki-words-500/2 作为预训练嵌入。对于我的应用程序（文本生成），我有兴趣获取词汇表中的标记列表。我知道它的大小是 1009375。但我似乎无法获得列表。我知道它已加载到内存中，但我似乎找不到它。有人知道怎么做吗？
google/Wiki-words-500/2 模型的默认缓存位置是 /tmp/tfhub_modules/bf115a5fe517f019bebae05b433eaeee6415f5bf (more on caching)。您将在 assets 目录中找到该文件，其中包含辅助文件：
wc -l /tmp/tfhub_modules/bf115a5fe517f019bebae05b433eaeee6415f5bf/assets/tokens.txt
> 1009374
我现在正在使用这个 https://tfhub.dev/google/Wiki-words-500/2 作为预训练嵌入。对于我的应用程序（文本生成），我有兴趣获取词汇表中的标记列表。我知道它的大小是 1009375。但我似乎无法获得列表。我知道它已加载到内存中，但我似乎找不到它。有人知道怎么做吗？
google/Wiki-words-500/2 模型的默认缓存位置是 /tmp/tfhub_modules/bf115a5fe517f019bebae05b433eaeee6415f5bf (more on caching)。您将在 assets 目录中找到该文件，其中包含辅助文件：
wc -l /tmp/tfhub_modules/bf115a5fe517f019bebae05b433eaeee6415f5bf/assets/tokens.txt
> 1009374