EssTech

企业 AI 平台 Token 用量治理

既要把活干成,又要把钱管住。

一套四层机制,一份逻辑给技术同学,一份结论给决策层。


问题不在模型贵

开销失控从来不是因为某个模型太贵,而是组织里没有把"花钱"变成可观测、可约束、可问责的闭环。

今天回答不了三个问题:谁花的钱、花在哪个业务上、花得值不值。

更糟的是:一次 Agent 死循环几天就能烧穿全年预算,而且没有人在第一时间发现。


四层不是清单,是闭环

顺序不能倒:没有账,额度无从核定;没有额度,拦截只剩限速而没有预算语义。


第一层 · 可观测性

所有调用走统一网关,逐次记录 input / output token、模型、调用方身份、业务场景。

关键是归因维度:不能只有一个总账,至少要按团队、应用、场景三个维度拆开。

没有这一层,后面的限额、告警、优化都是瞎子摸象。


第二层 · 预算模型

公司总预算 → 部门/团队配额 → 单个应用或 Agent 配额,三层继承,上级额度是下级的天花板。

财务部给公司一个总盘子,各团队在自己盘子里有自主权,爆炸半径被限制在团队级。

一刀切的全局上限只会带来一件事:某个团队跑批,全公司一起被拒。


第三层 · 实时拦截

网关策略引擎三个串联问题,任一不过即拦:

判定内容不过则
有额度吗配额树任一级见底拒绝
超限了吗RPM / TPM、单请求、单会话累计降级或拒绝
是异常吗消耗斜率突增、重试风暴、Agent 循环熔断 + 告警

拒绝必须带语义:原因码加恢复建议。否则调用方只会重试,越拦越贵。


第四层 · 架构优化

管控是止血,优化才是长期方案。同一任务的成本由工程手段决定:模型分级路由、上下文裁剪、缓存复用、批处理异步化。

这一层的产出必须回流到第一层,成为下一轮预算核定的基线。

少了这条回流边,四层就退化成一份只会越收越紧的静态清单,业务发展和成本控制变成对立面。


六个月,三步走

第一步看清:统一入口、全量记账,交付一张 AI 支出台账。

第二步管住:分级额度、实时拦截,交付不超支的确定性。先只告警两周,校准误杀率后再强拦。

第三步变省:路由分级、缓存复用,交付单位成本下降曲线。

跳过第一步直接上限额,结果一定是误杀业务、被投诉后全线放松。


需要拍板的三件事

总盘子 —— 本年度 AI 支出预算上限,按什么财务口径核算。

优先级 —— 额度见底时先保哪条业务线,降级顺序是什么。

责任人 —— 各团队额度由谁签字负责,追加走什么流程。

这三项是治理机制的组织前提,不是技术细节。定了它们,工程排期没有风险。