多GPU并行和分布式

《tensorflow实战》

多GPU并行

1. tf中的并行主要分为两种：
   
   • 模型并行： 将模型中不同计算节点放在不同硬件资源上运算
   • 数据并行： 同时使用多个硬件资源来计算不同batch的数据的梯度，几乎适用于所有深度学习模型
2. 数据并行
   
   • 同步数据并行： 等待所有GPU都计算完一个batch数据的梯度后，再统一将多个梯度合在一起，并共享更新后的模型参数，这类似于用了一个较大的batch
   • 异步数据并行： 不等待所有GPU都完成计算，而是哪个GPU完成了运算就立即将梯度更新到共享的模型参数中
3. cifar-10