代码问题

我有一个使用多个GPU进行计算的tensorflow（tf2.0）/ keras模型。模型中有2个分支，每个分支都在单独的GPU上。

我有一个要用于训练的4 GPU系统，我想对该模型进行镜像，以便GPU 1和2包含一个模型，GPU 3和4包含镜像的模型。

tf.distribute.MirroredStrategy会自动处理此镜像吗？还是假设我的模型将是单个GPU模型？

如果tf.distribute.MirroredStrategy无法解决这个问题，那么有人对如何自定义MirroredStrategy来实现这种培训结构有任何建议吗？

问题答案

这听起来很像您将需要进行自定义训练循环。 镜像策略会在每个GPU上复制模型，但是由于您的模型已经在两个GPU上就绪，因此我认为它无法正常工作。

但是您可以尝试一下，并使用nvidia-smi检查tensorflow在做什么。

如果觉得前端之家所整理的内容很不错的话，欢迎点击下方分享按钮，转发给身边开发程序员好友。