资讯

Shopify 推出 Gisting 新技术:将大模型系统提示词压缩为主旨词元

InfoQ中文·2026/9/9 16:30:00🔗 原文

📋总体概括

Shopify 推出名为 Gisting 的技术,可将大模型应用中的系统提示词压缩为少量「主旨词元」(gist tokens),在调用时用这些词元替代冗长的原始提示词,从而降低输入 token 消耗、减少推理成本和延迟。该技术由 Shopify 团队以论文形式发布并开源相关实现,被视为提示词工程向「压缩工程」演进的代表性探索,对大规模部署 LLM 的电商与开发者生态具有直接的成本优化价值。

关键信息

  • Shopify 发布 Gisting 技术,将系统提示词压缩为少量主旨词元以替代原始长提示词
  • 压缩后调用模型时可显著降低输入 token 数量,从而削减推理成本并加快响应速度
  • 该技术已以论文形式公开,表明 Shopify 在 LLM 工程化投入上持续加码
  • 对电商场景中高频、模板化的提示词调用(如商品描述、客服)成本优化效果尤为明显

🔥犀利点评

Shopify 没有自研大模型,却在推理成本这条命脉上动刀子,这才是务实的 AI 落地姿势。系统提示词动辄几千 token,平台级调用每天烧掉的都是真金白银,Gisting 把提示词当成可压缩资产来运营,本质是用一次性训练成本换规模化推理收益。这类「工程降本」创新不会上头条,但比又一个套壳应用有价值得多——省下来的每分钱都是护城河。

本文由本站自动聚合,以下为原始来源:前往 InfoQ中文 阅读全文