推理效率与国外同类产品架构解决方案相当,国产飞腾 CPU 实现对 DeepSeek 全系列大模型端到端支持

xxn 阅读:14145 2025-02-10 00:00:26 评论:0

IT之家报道称,飞腾信息技术有限公司近日宣布旗下腾云 S5000C 和腾锐 D3000 已成功实现对 DeepSeek 全系列大模型的端到端支持,覆盖数据中心和终端场景,实现了本地部署推理效率与国外同类产品架构解决方案的可比性

据悉,DeepSeek-V2.5 236B 大模型已在飞腾腾云 S5000C 平台上稳定运行,该平台配备 8 块国产 AI 卡,整体性能相当于国外平台性能的 80%。随后,飞腾技术团队在腾云 S5000C 平台和腾锐 D3000 上验证了 DeepSeek-V3 和 R1 版本的本地部署,形成了整体解决方案。

在数据中心方面,飞腾腾云 S5000C 服务器可与多款 AI 加速卡配合,实现 DeepSeek 蒸馏版和全量版的部署。飞腾 AI 实验室对单机 8 卡服务器平台上的蒸馏版 DeepSeek-R1-Distill-Llama-70B 版本进行了测试,推理速度可达 22tokens / s。同时,完整版 DeepSeek R1 671B 模型采用分布式推理框架,在四机 32 卡 AI 服务器集群上成功部署。

在用户终端方面,基于飞腾腾锐 D3000 的台式机可以进行本地部署 DeepSeek-R1 7B 蒸馏版模型,搭配 1 张国产推理卡,实现 AI PC 能力。

IT之家提供了飞腾腾云 S5000C 和飞腾腾锐 D3000 两款 CPU 的主要信息如下:

腾云 S5000C

飞腾腾云 S5000C 拥有 64 核、32 核、16 核 3 种产品形态,兼容 ARMv8 指令集,支持硬件虚拟化,产品适用于计算服务器、存储服务器、AI 服务器、高端网安、行业级业务主机服务器系统、大型互联网数据中心等场景。

腾锐 D3000

飞腾腾锐 D3000 集成了 8 个飞腾自主研发的新一代高性能处理器核心 FTC862,兼容 64 位 ARMv8 指令集并支持 ARM64 和 ARM32 两种执行模式,支持单精度、双精度浮点运算指令和 ASIMD 处理指令,主频达到 2.5GHz,支持硬件虚拟化,支持商业和工业分级。

广告声明:文内包含对外链接,用于提供更多信息,节省阅读时间,结果仅供参考。

声明

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

搜索
排行榜
关注我们

扫一扫关注我们,了解最新精彩内容