Skip to content

Token 级速率限制

对于按 Token 计费的 AI 业务,传统的按请求次数(RPS)限流已无法有效防止算力资源被恶意耗尽。2WL Edge Scdn提供了创新的双维度(请求次数 + Token 用量)速率限制体系。

全局流控限制

您可以直接设定全局的 API 预算阈值,防止大规模滥用:

  • RPM (Requests Per Minute):每分钟最大请求次数限制(如 120 次/分钟)。
  • RPH (Requests Per Hour):每小时最大请求次数限制。
  • TPM (Tokens Per Minute):每分钟最大 Token 消耗限制(如 60000 Token/分钟)。

自定义规则

除了全局限制,您还可以添加精细化的自定义规则。支持设置独立的统计窗口限制突发 (Burst) 流量以及统计维度,并自定义触发限流后的动作

⚠️ 前置依赖提醒

在配置本功能之前,请确保您已经在 AI 防护基础配置 中正确添加了需要受保护的大模型 API 路径,否则本策略将不会生效。

专注边缘加速,更懂业务安全