如何存储词向量嵌入?
How to store word vectors embeddings?
我是 NLP
和 Deep Learning
领域的新手,想了解在使用 Word2Vec
对整个语料库进行向量化之后,我是否需要存储词向量值本地?
如果是,我想为 android.
制作一个聊天机器人,有人可以指导我吗?
可以保存word2vec嵌入:
- 在你的深层模型的第一层。这是一种罕见的方法,因为在这种情况下你不能将这个 word2vec 用于其他任务。
- 作为磁盘上的独立文件。对于大多数用例,它是更可行的方法。
我建议使用 gensim 框架来训练 word2vec。在这里您可以了解更多如何训练 word2vec 并将它们保存到磁盘:https://radimrehurek.com/gensim/models/word2vec.html
特别是通过以下方式执行保存:
model = Word2Vec(common_texts, size=100, window=5, min_count=1, workers=4)
model.save("word2vec.model")
聊天机器人的训练是一个更难的问题。我可以尝试向您建议一个可能的工作流程,但您应该澄清您想要哪种类型的聊天机器人?例如。它应该回答任何问题(开放域)吗?它应该生成答案还是只有预定义的答案?
我是 NLP
和 Deep Learning
领域的新手,想了解在使用 Word2Vec
对整个语料库进行向量化之后,我是否需要存储词向量值本地?
如果是,我想为 android.
制作一个聊天机器人,有人可以指导我吗?
可以保存word2vec嵌入:
- 在你的深层模型的第一层。这是一种罕见的方法,因为在这种情况下你不能将这个 word2vec 用于其他任务。
- 作为磁盘上的独立文件。对于大多数用例,它是更可行的方法。
我建议使用 gensim 框架来训练 word2vec。在这里您可以了解更多如何训练 word2vec 并将它们保存到磁盘:https://radimrehurek.com/gensim/models/word2vec.html
特别是通过以下方式执行保存:
model = Word2Vec(common_texts, size=100, window=5, min_count=1, workers=4)
model.save("word2vec.model")
聊天机器人的训练是一个更难的问题。我可以尝试向您建议一个可能的工作流程,但您应该澄清您想要哪种类型的聊天机器人?例如。它应该回答任何问题(开放域)吗?它应该生成答案还是只有预定义的答案?