我想为我的 1GB 文本数据创建一个 fastText 无监督模型。我正在使用 fastText 命令行工具来实现模型训练过程。
./fasttext skipgram -input PlainText.txt -output FastText-PlainText- -dim 50 -epoch 50
以上是我用于创建单词表示的几个参数。
Read 207M words
Number of words: 501986
Number of labels: 0
Progress: 97.5% words/sec/thread: 87224 lr: 0.001260 avg.loss: 0.089536 eta: 0h 4m 9s
在这里，在 fastText 命令的输出中，我看到这个 avg.loss 并且学习率已经从默认值 (0.5) 降低到 0.001。我真的不明白，这个 avg.loss 是什么意思，为什么学习率下降了？
- 我是否应该增加 epoch 以使 fastText 更好地学习我的数据？
- 我可以使用任何损失函数来改善损失吗？如果是，什么样的损失函数会更好？
- 我如何评估我的 fastText 模型的学习是好是坏？
- 出于兴趣，我可以在无监督学习中使用 wordngram 使我的模型更好地学习上下文吗？