DeepSeek 开源进度 4/5：DualPipe、EPLB 优化并行策略

IT之家最新消息显示，DeepSeek的“开源周”活动进展顺利，今日已经发布了其优化并行策略项目的四分之四。

具体细节如下：

• DualPipe是一项旨在优化V3 / R1训练中计算与通信重叠的双向管道并行算法。

• EPLB提供了专门为V3 / R1开发的专家并行负载平衡器。

• 对V3 / R1中计算与通信重叠的分析。

以下是IT之家关于这些项目的详细介绍和链接：

• DualPipe：

“双管道（DualPipe）”介绍了一种创新的双向流水线并行算法，旨在实现正向和反向计算与通信阶段的完全重叠，并减少流水线气泡。

• 专家并行负载均衡器（EPLB） ：

在应用专家并行（EP）时，不同的专家被分配到不同的GPU上。为了保持不同GPU之间的负载平衡，特别是考虑到不同专家的负载可能因当前工作负载而异，DeepSeek-V3论文提出了一种冗余专家策略，即复制高负载专家并通过启发式方法将其分配到GPU上。此外，根据DeepSeek-V3中采用的分组受限的专家路由，还会尝试将同一组的专家放置在同一节点上，以减少节点间的数据流量。为了便于部署和重现，开源了在eplb.py中实现的EP负载均衡算法，该算法根据专家负载估计计算平衡的专家复制和放置计划。需要注意的是，精确预测专家负载的方法不在此存储库的范围内，常见的一种方法是使用历史统计数据的移动平均值。

• 分析V3 / R1中的计算-通信重叠：

通过公开分享我们训练和推理框架的分析数据，以帮助社区更好地理解通信-计算重叠策略和底层实现细节。

广告声明：本文可能包含对外跳转链接，旨在传达更多信息，节省筛选时间，结果仅供参考。