国内首个:百度成功点亮昆仑芯三代万卡集群,还将点亮 3 万卡集群

xxn 阅读:70199 2025-02-05 10:00:31 评论:0

根据IT之家2月5日的报道,百度智能云已成功点亮昆仑芯三代万卡集群,这一成就使其成为国内首个正式点亮的自研万卡集群。百度智能云还计划进一步扩展至3万卡集群。

  • 首先,有效破解硬件扩展性的限制,如卡间互联的拓扑挑战,进而确保通信带宽不再成为瓶颈;

  • 同时,围绕芯片及集群的能耗问题,常规方案在万卡规模下的功耗可达十兆瓦或更高,通过创新散热方案,有效应对万卡集群在能效和散热方面的挑战;

  • 进一步优化模型的分布式训练,采用高效的并行任务切分策略,集群MFU的训练效率提升了58%

  • 在增强稳定性方面,建立容错与稳定性机制,有效解决单卡故障率随规模增加而导致的万卡集群有效性下降,确保有效训练率达98%

  • 最后,针对机间通信带宽的需求,构建超大规模的HPN高性能网络,优化网络拓扑,以降低通信瓶颈,确保带宽有效性超过90%

来自昆仑芯科技官方的消息显示,本次点亮的昆仑芯三代万卡集群,采用的是昆仑芯P800,但昆仑芯官网尚未公布该卡的具体参数信息。

广告声明:文中所含的对外跳转链接(包括不限于超链接、二维码、口令等形式)旨在提供更多信息,助您节约选择时间,结果仅供参考。

声明

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

搜索
排行榜
关注我们

扫一扫关注我们,了解最新精彩内容