【IT之家评测室】显存也能叠叠乐,双 Intel Arc A770 显卡低成本部署 DeepSeek R1 32B 蒸馏模型体验
在今年春节之后,DeepSeek R1如同一阵风潮席卷了全国,无论是手机应用还是新能源汽车,大多数产品都迅速集成了DeepSeek R1。这款工具的便利性毋庸置疑,对于编辑人员而言,从内容大纲到最终审阅,其效率得到了显著提升。然而,官方版的DeepSeek R1虽然使用体验良好,但频繁“掉线”的问题很让人头疼,通常每小时只能正常使用一次。而第三方的DeepSeek R1稳定性稍好,但用户在上传涉及隐私或机密信息时仍感不安。
因此,许多人开始考虑自行搭建DeepSeek R1。然而,完整版DeepSeek R1的模型体积达到404GB,远超过大多数消费级显卡的显存。即便是32B的蒸馏版模型,其体积也达到了20GB。这对显卡性能提出了更高的要求。以英伟达RTX 5090 D的32GB显存版为例,其官方售价为16999元,但市场上实际购买价格往往还需多花一万多。
一、配置与部署
那么,有没有好的性价比方案呢?聪明的你或许想到了多张显卡的协同运作,但目前AMD的新显卡已不再支持交火,而英伟达的SLI技术也无法实现显存叠加。相较之下,Intel的Arc显卡不仅支持交火,而且显存能叠加,价格也实惠,两张Arc A770 16GB约3600元就能实现32GB的大显存。此次IT之家尝试使用两张蓝戟Intel Arc A770 Photon 16G OC显卡来搭建DeepSeek R1的32B蒸馏模型,具体配置如下图:
Intel Arc A770有8GB和16GB两个版本,我们选用的蓝戟Intel Arc A770 Photon 16G OC显卡带有16GB GDDR6显存,显存带宽可达到512GB/s,配备32个Xe核心,最高频率为2400MHz。
由于采用双卡配置,用户需关注主板与电源的兼容性,主板至少应有两个PCIe显卡插槽,并且每个插槽需支持PCIe 4.0 x8的传输速率。电源方面,单张蓝戟Intel Arc A770 Photon 16G OC的TBP为285W,双显卡的整体功耗接近600W。为了确保系统稳定,我们选择了海韵1300W电源进行测试,该电源不仅满足功率需求,还支持两张显卡所需的四个PCIe 8Pin接口。模型可通过IPEX-LLM在Linux上部署,相较于Windows系统,Linux的效率更高。
搭建完成后,我们通过局域网访问后端操作,尽量避免在测试电脑上进行截屏或录屏,以减少对GPU的干扰。
二、性能与效果
为了测试32B模型的性能,我们直接请求模型生成一个HTML小型游戏。首先,我们询问模型:
请用html编写一个贪吃蛇游戏的代码,并包含以下功能:
使用键盘的上下左右箭头键控制蛇的移动方向。
蛇会自动向前移动,并在吃到红色食物时增加长度和得分。
当蛇触碰到墙壁或自身时,游戏结束并显示得分。
点击“重新开始”按钮可以重置游戏重新开始。
游戏规则:
蛇不能碰到墙壁或自身,否者游戏会结束。
每吃到一个食物,得分增加10分。
食物不会出现于蛇身上。
DeepSeek R1开始解析问题并输出代码,此时两张Arc A770显卡的风扇全力运转,后端数据显示Avg Generation Throughput稳定在26 tokens / s以上。与单张RTX 5090 D的32B模型性能(约46 tokens / s)相比,仅需不到官方价格的五成,便实现了超高性能,表现令人惊喜。
生成的HTML小游戏可以直接运行预览,但我发现当按上下方向键时,会导致网页滚动冲突。
因此,我要求对代码进行调整,希望使用A、S、D、W来代替方向键,DeepSeek R1快速理解了需求并成功修改。
接着,我请求生成复杂一些的俄罗斯方块HTML代码,尽管参数为32B,但DeepSeek R1生成的游戏同样完备,几乎没有Bug。
谈及AI大型模型的逻辑能力时,经典的问答问题是一个重要的测试。我们选择了以下两个问题来测试建立在双A770上的DeepSeek R1:
1、神父去世是离职还是升职?
这种让人困惑的问题,32B的DeepSeek R1能够从现实和信仰两个角度进行分析,显现出其逻辑能力的强劲与优秀的实用性。
2、变形金刚应该买车险还是人险?
面对这个二选一的问题,32B的DeepSeek R1并没有简单选择,而是理解了变形金刚不同形态的特征,并提出了同时购买两种险种的最佳建议。
总结:
通过测试结果来看,由两张Intel Arc A770 16GB显卡(总计3600元)组成的双卡方案部署DeepSeek R1蒸馏模型,确实体现出经济实惠的特点。利用IPEX-LLM工具在Linux系统上的部署,测试表明双A770显卡能够稳定运行32B模型,生成HTML小游戏以及处理复杂问题时表现优异,平均吞吐量达26 tokens / s,性价比明朗。总体而言,A770双卡低成本部署DeepSeek 32B兼具成本、性能及数据隐私优势,非常适合中小企业及个人开发者使用。
广告声明:文中所包含的对外跳转链接(包括但不限于超链接、二维码、口令等形式)仅为了提供更多信息,帮助节省信息筛选时间,结果仅供参考。
1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。