标签:模型并行

分布式深度学习框架的前世今生,从 MapReduce 到 Pathways

分布式深度学习框架的发展历程主要围绕解决超大模型的训练问题,针对具有超大规模密集参数和稀疏参数的模型。从早期的MPI、Hadoop到Spark,再到参数服务器(P...