资讯

一台跑不动就上16台!英伟达DGX Spark集群成功跑通Kimi K3:生成速度达38 t/s

驱动之家·2026/9/5 03:13:00🔗 原文

📋总体概括

英伟达开发者论坛用户ciprianveg将16台DGX Spark桌面AI工作站组建成集群,通过MikroTik CRS804-4DDQ核心交换机和400G转4×100G分支线缆互联,在Inferact/Kimi-K3-DSpark环境下以分布式方式成功跑通完整Kimi-K3大模型,16000深度下最高生成速度达38 t/s。该测试表明单台DGX Spark已难以承载千亿参数模型,堆节点成为桌面级开发者的现实选择,也侧面反映开源大模型对本地算力需求的膨胀。

关键信息

  • 16台DGX Spark组成集群成功运行完整Kimi-K3大模型
  • 系统在16000深度下最高生成速度达38 t/s
  • 网络采用MikroTik CRS804-4DDQ交换机搭配4根400G转4×100G分支线缆互联全部GB10节点
  • 运行环境为Inferact/Kimi-K3-DSpark,以分布式方式首次启动模型
  • 背景是Qwen、DeepSeek等模型普及后单台设备算力和显存已不足以支撑千亿参数模型

🔥犀利点评

38 t/s听起来热闹,但为了这个速度烧16台机器加一套400G网络,成本早已越过租云API几个数量级,这类项目更像极客炫技和英伟达的软广。真正值得注意的信号是:开源模型涨参数的速度把桌面级硬件彻底甩下了车,DGX Spark宣传时的『本地跑大模型』卖点正在快速失效,堆机器不过是给摩尔定律追不上的现实打个补丁。

本文由本站自动聚合,以下为原始来源:前往 驱动之家 阅读全文