窗口如何影响跳跃语法的准确性?

我想知道跳跃语法模型的window_size如何影响单词嵌入中预测相似单词的准确性。在什么情况下精度会下降或上升。

谢谢。

amysemic 回答:窗口如何影响跳跃语法的准确性?

尽管训练过程尝试逐步提高模型对中心目标词的相对激活性,但在输入附近的词后,训练过程中永远不会评估准确的预测准确性,准确性更高的模型也不一定比“更好”精度较低。

如果您想预测中心词,则进行培训只是用有用的相对排列来创建词向量集的有用的东西。

因此,对于word2vec的大多数用法,您所提出的问题并不重要。您不应选择window值,该值可以使word2vec内部培训任务的准确性最高;您应该选择一个window,它可以为您考虑的任何下游用途提供最佳的字向量。

(如果出于某些学术/好奇心原因,您需要知道问题的答案,则需要进行实验:尝试许多window值,然后让模型预测单词并进行比较不过请注意,许多word2vec实现甚至都没有提供用于单个单词预测的API,因为培训和大多数下游使用都不需要此API。)

本文链接:https://www.f2er.com/2668327.html

大家都在问