企业 AI 平台 Token 用量治理
既要把活干成,又要把钱管住。
一套四层机制,一份逻辑给技术同学,一份结论给决策层。
问题不在模型贵
开销失控从来不是因为某个模型太贵,而是组织里没有把"花钱"变成可观测、可约束、可问责的闭环。
今天回答不了三个问题:谁花的钱、花在哪个业务上、花得值不值。
更糟的是:一次 Agent 死循环几天就能烧穿全年预算,而且没有人在第一时间发现。
四层不是清单,是闭环
顺序不能倒:没有账,额度无从核定;没有额度,拦截只剩限速而没有预算语义。
第一层 · 可观测性
所有调用走统一网关,逐次记录 input / output token、模型、调用方身份、业务场景。
关键是归因维度:不能只有一个总账,至少要按团队、应用、场景三个维度拆开。
没有这一层,后面的限额、告警、优化都是瞎子摸象。
第二层 · 预算模型
公司总预算 → 部门/团队配额 → 单个应用或 Agent 配额,三层继承,上级额度是下级的天花板。
财务部给公司一个总盘子,各团队在自己盘子里有自主权,爆炸半径被限制在团队级。
一刀切的全局上限只会带来一件事:某个团队跑批,全公司一起被拒。
第三层 · 实时拦截
网关策略引擎三个串联问题,任一不过即拦:
| 判定 | 内容 | 不过则 |
|---|---|---|
| 有额度吗 | 配额树任一级见底 | 拒绝 |
| 超限了吗 | RPM / TPM、单请求、单会话累计 | 降级或拒绝 |
| 是异常吗 | 消耗斜率突增、重试风暴、Agent 循环 | 熔断 + 告警 |
拒绝必须带语义:原因码加恢复建议。否则调用方只会重试,越拦越贵。
第四层 · 架构优化
管控是止血,优化才是长期方案。同一任务的成本由工程手段决定:模型分级路由、上下文裁剪、缓存复用、批处理异步化。
这一层的产出必须回流到第一层,成为下一轮预算核定的基线。
少了这条回流边,四层就退化成一份只会越收越紧的静态清单,业务发展和成本控制变成对立面。
六个月,三步走
第一步看清:统一入口、全量记账,交付一张 AI 支出台账。
第二步管住:分级额度、实时拦截,交付不超支的确定性。先只告警两周,校准误杀率后再强拦。
第三步变省:路由分级、缓存复用,交付单位成本下降曲线。
跳过第一步直接上限额,结果一定是误杀业务、被投诉后全线放松。
需要拍板的三件事
总盘子 —— 本年度 AI 支出预算上限,按什么财务口径核算。
优先级 —— 额度见底时先保哪条业务线,降级顺序是什么。
责任人 —— 各团队额度由谁签字负责,追加走什么流程。
这三项是治理机制的组织前提,不是技术细节。定了它们,工程排期没有风险。