把 Gemini 和 GPT 放到《我的世界》当教练，谁能看懂机器人的微操？

📋总体概括

研究者把Gemini和GPT等大模型放进《我的世界》，充当游戏机器人的教练，通过分析机器人操作录像来判断其微操水平并给出指导。这种评测方式绕开了纯文本基准测试的局限，直接考察大模型对视觉化、时序性行为数据的理解能力。结果显示不同模型在解读游戏画面细节、理解动作意图上存在明显差距。这项工作揭示了多模态模型在具身智能场景中的真实短板，也为游戏引擎成为AI能力试炼场提供了新范例。