我正在使用Optuna进行某些模型的参数优化。
在几乎所有示例中，目标函数都返回有关TEST集合的评估指标，并尝试将其最小化/最大化。我觉得这是示例中的一个缺陷，因为Optuna随后针对看不见的数据优化了她的参数。
对火车的简历进行优化将更加强大。想听听其他想法，并检查我是否想念一些东西。
谢谢！
tianlingling_2008 回答：Optuna示例返回测试集的评估指标是否有缺陷？
不，这不是缺陷，而是功能。应该根据算法看不到的测试数据集来评估性能。
如果您想进行交叉验证，可能需要花费数月的时间来完成Optuna的简单研究。这样做不是错误，但可能是浪费时间，因为Optuna的算法是贝叶斯优化器，其交叉验证只能近似进行。
话虽这么说，如果您正在使用机器学习，并且需要每个纪元进行训练/验证循环，那么我recommend会使用n**(0.75)的Jun Shao比例作为训练集大小，是随机选择的在训练开始之前；它不仅速度更快，而且可能更好。
因此，尽管在机器学习中需要进行多次训练和验证操作，但是如果您使用Optuna，则不必交叉验证该模型的性能。请单击上面的链接以在交叉验证的SE网站上查看我的答案，然后您可以从此处单击到Github repo，但请先发表评论和/或看看其他人在说什么。