我是分发培训的新手。我看过很多关于此的教程，其中大多数只是说将变量存储在cpu中，而没有更多的基准。
那么我可以将变量存储在GPU：0中吗？甚至在每个GPU中存储一个副本？最佳做法是什么？
czzzb 回答：在单节点多GPU训练中应将变量存储在哪里的最佳实践是什么？
暂时没有好的解决方案，如果你有好的解决方案，请发邮件至：iooj@foxmail.com
我是分发培训的新手。我看过很多关于此的教程，其中大多数只是说将变量存储在cpu中，而没有更多的基准。
那么我可以将变量存储在GPU：0中吗？甚至在每个GPU中存储一个副本？最佳做法是什么？