如何在两个不同的GPU上分配培训?

我正在使用此Distributed training with Keras tutorial在具有两个不同GPU的计算机上训练深度学习模型:

  • Nvidia Titan RTX 24Go
  • Nvidia GTX 1060 6Go

这很好用。

但是由于我只能定义一个批处理大小,所以我只能用6Go内存饱和最小的GPU。而另一个具有24Go内存的服务器可以运行更大的批处理大小。

train_dataset = dataset.map(scale).cache().shuffle(BUFFER_SIZE).batch(BATCH_SIZE)
[...]
model.fit(train_dataset,epochs=12)

那么,在理论上/实践上是否可以为每个GPU定义两个批处理大小? (理想情况下是在Keras / Tensorflow中,无需过多的编码工作)

添加此屏幕截图仅供参考:

如何在两个不同的GPU上分配培训?

iCMS 回答:如何在两个不同的GPU上分配培训?

暂时没有好的解决方案,如果你有好的解决方案,请发邮件至:iooj@foxmail.com
本文链接:https://www.f2er.com/2017816.html

大家都在问