一个用于分布式DNN训练加速的通用通信调度器-CSDN博客

网站介绍:文章浏览阅读550次。论文:https://i.cs.hku.hk/~cwu/papers/yhpeng-sosp19.pdf译文:一个用于分布式DNN训练加速的通用通信调度器摘要我们提出ByteScheduler,一个用于分布式DNN训练加速的通用通信调度器。ByteScheduler基于我们最基本的分析:通过张量切分和重组来进行传输,可以得到理论上的最优结果,即使真实环境中有调度代价,性能表现..._dnn 通信