RTX 4060 跑 35B 模型，每秒 39 Token？伯克利、MIT 联手开源 FreeToken

📋总体概括

伯克利与MIT团队联合开源推理加速框架FreeToken，主打在消费级显卡上运行大模型。演示中RTX 4060（8GB显存）可跑35B参数模型，生成速度达每秒39 Token。其思路是通过稀疏计算与显存优化，把原本需要高端卡的开源模型推理下沉到入门级硬件，降低本地部署门槛，对端侧AI和低成本推理场景有实际意义，也为消费级GPU跑大模型提供了新的工程参照。