资讯
一台跑不动就上16台!英伟达DGX Spark集群成功跑通Kimi K3:生成速度达38 t/s
📋总体概括
英伟达开发者论坛用户ciprianveg将16台DGX Spark桌面AI工作站组建成集群,通过MikroTik CRS804-4DDQ核心交换机和400G转4×100G分支线缆互联,在Inferact/Kimi-K3-DSpark环境下以分布式方式成功跑通完整Kimi-K3大模型,16000深度下最高生成速度达38 t/s。该测试表明单台DGX Spark已难以承载千亿参数模型,堆节点成为桌面级开发者的现实选择,也侧面反映开源大模型对本地算力需求的膨胀。
⚡关键信息
- ▸16台DGX Spark组成集群成功运行完整Kimi-K3大模型
- ▸系统在16000深度下最高生成速度达38 t/s
- ▸网络采用MikroTik CRS804-4DDQ交换机搭配4根400G转4×100G分支线缆互联全部GB10节点
- ▸运行环境为Inferact/Kimi-K3-DSpark,以分布式方式首次启动模型
- ▸背景是Qwen、DeepSeek等模型普及后单台设备算力和显存已不足以支撑千亿参数模型
🔥犀利点评
38 t/s听起来热闹,但为了这个速度烧16台机器加一套400G网络,成本早已越过租云API几个数量级,这类项目更像极客炫技和英伟达的软广。真正值得注意的信号是:开源模型涨参数的速度把桌面级硬件彻底甩下了车,DGX Spark宣传时的『本地跑大模型』卖点正在快速失效,堆机器不过是给摩尔定律追不上的现实打个补丁。
📰 相关资讯(与本文相关的其他资讯)
本文由本站自动聚合,以下为原始来源:前往 驱动之家 阅读全文 →