跨多个GPU镜像多GPU模型

我有一个使用多个GPU进行计算的tensorflow(tf2.0)/ keras模型。模型中有2个分支,每个分支都在单独的GPU上。

我有一个要用于训练的4 GPU系统,我想对该模型进行镜像,以便GPU 1和2包含一个模型,GPU 3和4包含镜像的模型。

tf.distribute.MirroredStrategy会自动处理此镜像吗?还是假设我的模型将是单个GPU模型?

如果tf.distribute.MirroredStrategy无法解决这个问题,那么有人对如何自定义MirroredStrategy来实现这种培训结构有任何建议吗?

z442820293 回答:跨多个GPU镜像多GPU模型

这听起来很像您将需要进行自定义训练循环。 镜像策略会在每个GPU上复制模型,但是由于您的模型已经在两个GPU上就绪,因此我认为它无法正常工作。

但是您可以尝试一下,并使用nvidia-smi检查tensorflow在做什么。

本文链接:https://www.f2er.com/3169802.html

大家都在问