feeeei
d5a802f84a
feat(gemini): 支持显式上下文缓存(AI Studio / Vertex / 自建网关上游)
新增 /v1beta/cachedContents 的创建、列表、查询、更新有效期与删除接口。
参与账号:官方地址的 AI Studio API Key 账号、Vertex service account 账号,
以及开启"上游支持显式缓存"的自定义地址 API Key 账号。
- 网关自发缓存 ID,绑定上游资源名、持有账号与创建它的 API Key
(迁移 243 gemini_cached_contents);list/get 只读本地记录
- 引用缓存的 generateContent / streamGenerateContent / countTokens
改写为上游资源名,只发往持有缓存的账号,不参与会话粘性、不换号;
拒绝重复键与 snake_case 写法;在持有账号上重试耗尽后,
上游 429 / 5xx 原样透传,401 / 403 映射为 502
- 计费:创建时一次性收取缓存 token 输入费与整个有效期的存储费;
延长按库中实际推进的时长收费,纯存储费不算一次请求;缩短与删除不退费
- 存储单价随计费模型取价,来自定价覆盖文件字段
cache_storage_cost_per_token_per_hour,未配置的模型拒绝创建;
存储费同时计入账号统计成本,渠道按 token 重算成本时叠加且不重复计入
- 扣费前校验:创建在上游建成后按确定金额校验余额 / 订阅额度 /
API Key 额度并登记不封顶的在途预留,不足时删除上游缓存、只收输入费;
延长在调用上游前按增量时长校验
- 有效期上限 gateway.gemini_cached_content_max_ttl_seconds,默认 86400,
有效期向上取整到秒;创建请求保留数字原文、兼容 snake_case 元数据字段
- 上游调用与落库同客户端连接脱钩;2xx 不可用响应不换号并删除已建缓存
- 缓存不存在:AI Studio 的 403、Vertex 生成请求的 400 与缓存资源接口的
404 统一识别;原生转发(含流式)不重试、不换号、不改账号状态,
向客户端返回标准 403,不暴露上游缓存资源 ID,上游原始错误登记到 ops;
PATCH 遇上游 404 移除本地记录并返回 403,DELETE 视为成功
- 自建网关上游:账号开关 explicit_cache_upstream,缓存接口发往账号自身
base_url;可选 explicit_cache_upstream_max_ttl_seconds 对齐上游 TTL 上限,
显式 TTL 超限时创建跳过该账号(全部超限返回 400),未显式时按上限创建,
PATCH 取本站与账号上限的较小值;绑定缓存的请求在网关账号上收到
429 / 5xx 时不重试、不限流该账号;前端创建 / 编辑账号弹窗新增开关与上限输入框
- 用量与 ops 端点统计:带缓存 ID 的路径归一化为 /v1beta/cachedContents,
缓存操作的上游端点记为 /v1beta/cachedContents
2026-10-10 23:37:47 +08:00
..
2026-10-09 10:11:06 +08:00
2026-10-02 00:25:41 +08:00
2026-08-09 22:42:51 +08:00
2026-08-09 22:42:51 +08:00
2026-08-06 20:34:37 +08:00
2026-09-05 16:05:17 +08:00
2026-08-04 20:57:15 +08:00
2026-09-23 01:24:59 +08:00
2026-08-04 20:57:15 +08:00
2026-08-04 15:09:29 +08:00
2026-08-04 20:57:15 +08:00
2026-08-04 20:57:15 +08:00
2026-08-04 20:57:15 +08:00
2026-09-28 12:26:28 -04:00
2026-08-07 03:09:57 +08:00
2026-08-24 12:02:53 +08:00
2026-07-28 17:21:32 +08:00
2026-08-04 20:57:15 +08:00
2026-09-20 16:41:49 +08:00
2026-09-20 16:41:49 +08:00
2026-09-05 16:05:17 +08:00
2026-08-18 04:14:15 +00:00
2026-08-30 09:28:40 +08:00
2026-08-30 09:28:40 +08:00
2026-09-08 18:50:06 +08:00
2026-09-02 20:16:57 +08:00
2026-09-26 17:13:10 +08:00
2026-09-03 12:48:02 +08:00
2026-07-23 09:20:52 +08:00
2026-10-10 23:37:47 +08:00
2026-10-10 23:37:47 +08:00
2026-08-01 22:39:33 +08:00
2026-08-20 18:16:38 -07:00
2026-08-20 18:16:38 -07:00
2026-09-26 17:13:10 +08:00
2026-10-02 13:08:40 +08:00
2026-09-24 16:20:28 +08:00
2026-09-26 17:13:10 +08:00
2026-07-27 15:20:03 +00:00
2026-10-02 13:08:40 +08:00
2026-07-27 15:20:03 +00:00
2026-10-10 23:37:47 +08:00
2026-09-08 19:12:37 +08:00
2026-09-08 19:12:37 +08:00
2026-09-28 16:14:43 -04:00
2026-09-28 16:14:43 -04:00
2026-07-23 09:20:52 +08:00
2026-09-15 16:50:46 +08:00
2026-09-20 20:20:16 +08:00
2026-10-03 09:11:53 +08:00
2026-10-02 13:08:40 +08:00
2026-10-02 13:51:58 +08:00
2026-09-28 16:14:43 -04:00
2026-10-10 23:37:47 +08:00
2026-10-10 23:37:47 +08:00
2026-10-10 23:37:47 +08:00
2026-09-26 17:13:10 +08:00
2026-09-15 16:50:46 +08:00
2026-09-15 16:50:46 +08:00
2026-10-10 23:37:47 +08:00
2026-08-13 08:38:10 +08:00
2026-09-28 16:14:43 -04:00
2026-09-17 04:14:14 +09:00
2026-08-07 16:29:57 +08:00
2026-09-28 16:14:43 -04:00
2026-08-24 09:03:37 +08:00
2026-07-20 15:20:51 +08:00
2026-09-23 11:28:41 +08:00
2026-09-23 11:28:41 +08:00
2026-09-01 15:18:30 +08:00
2026-09-01 15:18:30 +08:00
2026-09-28 16:14:43 -04:00
2026-09-09 12:48:57 +08:00
2026-09-28 16:14:43 -04:00
2026-08-31 21:04:29 +08:00
2026-10-01 03:30:56 -07:00
2026-09-05 19:58:47 +08:00
2026-09-29 01:50:21 +08:00
2026-09-29 01:50:21 +08:00
2026-09-03 11:39:23 +08:00
2026-09-28 16:14:43 -04:00
2026-09-11 15:39:13 +08:00
2026-08-14 18:18:53 +08:00
2026-08-14 18:18:53 +08:00
2026-08-20 22:01:20 -07:00
2026-07-23 00:06:04 +08:00
2026-09-06 20:38:17 +08:00
2026-09-05 15:32:29 +08:00
2026-10-01 11:27:35 +08:00
2026-10-09 10:10:33 +08:00
2026-07-26 13:33:56 +08:00
2026-07-26 13:33:56 +08:00
2026-09-23 15:29:11 +08:00
2026-08-19 18:51:21 +08:00
2026-10-01 11:27:35 +08:00
2026-09-05 16:05:17 +08:00
2026-09-21 10:23:10 +08:00
2026-09-11 15:57:09 +08:00
2026-09-28 16:14:43 -04:00
2026-08-19 04:40:32 +00:00
2026-08-19 04:40:32 +00:00
2026-09-07 18:33:39 +08:00
2026-09-10 15:57:17 +08:00
2026-08-14 16:23:52 +08:00
2026-08-01 22:39:33 +08:00
2026-09-07 17:58:20 +08:00
2026-08-20 22:01:20 -07:00
2026-09-04 10:14:29 +08:00
2026-08-28 13:17:43 +08:00
2026-08-17 19:45:07 +08:00
2026-09-29 01:50:21 +08:00
2026-08-13 08:37:57 +08:00
2026-08-13 08:37:57 +08:00
2026-08-20 22:01:20 -07:00
2026-09-26 17:13:10 +08:00
2026-09-26 17:13:10 +08:00
2026-08-19 23:13:40 -07:00
2026-07-23 09:19:25 +08:00
2026-08-04 15:09:29 +08:00
2026-08-04 20:57:15 +08:00
2026-10-02 00:25:41 +08:00
2026-09-16 13:19:15 +08:00
2026-09-16 13:19:15 +08:00
2026-08-19 09:03:37 -07:00
2026-08-19 09:03:37 -07:00
2026-08-11 11:56:46 +08:00
2026-08-11 11:56:46 +08:00
2026-10-10 23:37:47 +08:00
2026-09-17 04:14:14 +09:00
2026-09-17 04:14:14 +09:00
2026-08-06 20:34:37 +08:00
2026-09-11 00:50:17 +08:00
2026-09-14 11:45:53 +08:00
2026-09-14 11:45:53 +08:00
2026-08-28 23:32:11 +08:00
2026-08-28 23:32:11 +08:00
2026-08-07 17:58:23 +08:00
2026-08-01 11:29:58 +08:00
2026-09-28 12:26:28 -04:00
2026-08-19 23:13:40 -07:00
2026-10-10 23:37:47 +08:00