我有一个使用多个GPU进行计算的tensorflow(tf2.0)/ keras模型。模型中有2个分支,每个分支都在单独的GPU上。
我有一个要用于训练的4 GPU系统,我想对该模型进行镜像,以便GPU 1和2包含一个模型,GPU 3和4包含镜像的模型。
tf.distribute.MirroredStrategy会自动处理此镜像吗?还是假设我的模型将是单个GPU模型?
如果tf.distribute.MirroredStrategy
无法解决这个问题,那么有人对如何自定义MirroredStrategy
来实现这种培训结构有任何建议吗?