Appearance
Token 级速率限制
对于按 Token 计费的 AI 业务,传统的按请求次数(RPS)限流已无法有效防止算力资源被恶意耗尽。2WL Edge Scdn提供了创新的双维度(请求次数 + Token 用量)速率限制体系。
全局流控限制
您可以直接设定全局的 API 预算阈值,防止大规模滥用:
- RPM (Requests Per Minute):每分钟最大请求次数限制(如 120 次/分钟)。
- RPH (Requests Per Hour):每小时最大请求次数限制。
- TPM (Tokens Per Minute):每分钟最大 Token 消耗限制(如 60000 Token/分钟)。
自定义规则
除了全局限制,您还可以添加精细化的自定义规则。支持设置独立的统计窗口、限制、突发 (Burst) 流量以及统计维度,并自定义触发限流后的动作。
⚠️ 前置依赖提醒
在配置本功能之前,请确保您已经在 AI 防护基础配置 中正确添加了需要受保护的大模型 API 路径,否则本策略将不会生效。
