我正在使用此Distributed training with Keras tutorial在具有两个不同GPU的计算机上训练深度学习模型:
- Nvidia Titan RTX 24Go
- Nvidia GTX 1060 6Go
这很好用。
但是由于我只能定义一个批处理大小,所以我只能用6Go内存饱和最小的GPU。而另一个具有24Go内存的服务器可以运行更大的批处理大小。
train_dataset = dataset.map(scale).cache().shuffle(BUFFER_SIZE).batch(BATCH_SIZE)
[...]
model.fit(train_dataset,epochs=12)
那么,在理论上/实践上是否可以为每个GPU定义两个批处理大小? (理想情况下是在Keras / Tensorflow中,无需过多的编码工作)
添加此屏幕截图仅供参考: