主流分布式框架比较

分布式深度学习推荐探索高效模型训练与推理方法1、分布式深度学习概述- 定义与背景- 主要挑战与研究方向2、分布式深度学习框架- Megatron-LM- DeepSpeed- FairScale3、数据并行化方法- 参数平均法- 异步随机梯度下降- 中心化同步与分布式同步4、模型并行化方法- 张量并行- 流水线……