分布式深度学习系统

分布式深度学习系统提升计算性能与模型扩展性1、概述- 定义与背景- 发展历程- 重要性2、核心组件- 工作节点- 参数服务器- 通信框架3、数据并行与模型并行- 数据并行概念与实现- 模型并行概念与实现- 两种方法对比4、通信机制- 同步更新与异步更新- Parameter Server架构- Ring All……