我想知道跳跃语法模型的window_size如何影响单词嵌入中预测相似单词的准确性。在什么情况下精度会下降或上升。
谢谢。
尽管训练过程尝试逐步提高模型对中心目标词的相对激活性,但在输入附近的词后,训练过程中永远不会评估准确的预测准确性,准确性更高的模型也不一定比“更好”精度较低。
如果您想预测中心词,则进行培训只是用有用的相对排列来创建词向量集的有用的东西。
因此,对于word2vec的大多数用法,您所提出的问题并不重要。您不应选择window
值,该值可以使word2vec内部培训任务的准确性最高;您应该选择一个window
,它可以为您考虑的任何下游用途提供最佳的字向量。
(如果出于某些学术/好奇心原因,您需要知道问题的答案,则需要进行实验:尝试许多window
值,然后让模型预测单词并进行比较不过请注意,许多word2vec实现甚至都没有提供用于单个单词预测的API,因为培训和大多数下游使用都不需要此API。)