pytorch多GPU分布式Dataparallel未运行

我正在尝试使用火炬转换运行2 gpu。

from apex.parallel import DistributedDataParallel as DDP

   #multi gpu
    os.environ["CUDA_VISIBLE_DEVICES"] = '0,1'

    torch.distributed.init_process_group(backend='nccl',init_method='env://')
    #model = nn.DataParallel(model,output_device=1)
    model = DDP(model,delay_allreduce=True)

我添加了这个init_process_group和DDP部分
1.该程序无法正常运行
2.而且我不知道后端和init_method是什么意思

kylezh 回答:pytorch多GPU分布式Dataparallel未运行

暂时没有好的解决方案,如果你有好的解决方案,请发邮件至:iooj@foxmail.com
本文链接:https://www.f2er.com/2604492.html

大家都在问