seewe/sub2api
1
0
Fork 0
mirror of https://github.com/Wei-Shaw/sub2api.git synced 2026-10-16 07:33:06 +08:00
Code Issues Packages Projects Releases Wiki Activity
7,379 Commits 46 Branches 62 Tags
d6adebd22de00478cd021119ba755f37bcb94fb5
Commit Graph
49 Commits
Author SHA1 Message Date
lyy0709 9688571a83 feat(models): support GPT-6.1 Sol 2026-09-29 11:49:26 -07:00
lyy0709 c4c2e66070 feat(models): support GPT-6 Sol, Luna and Claude Opus 5.5 2026-09-23 11:27:49 +08:00
smyyyyy 4e5632c3e3 fix: validate Codex User-Agent before identity parsing 2026-09-10 03:18:31 +08:00
hansnow 7ccc8a6f50 fix(openai): 支持 Image 2.5 并修复 OAuth 生图主控模型 2026-09-09 11:04:59 +08:00
Robert Guo b939fa9d4a fix(openai): select GPT-6 Astra instructions correctly 2026-09-07 14:12:21 +08:00
lyy0709 dee35a841d merge: reconcile Astra fixes with upstream capability sync 2026-09-05 16:19:57 +08:00
Long LiandCursor 983a3db3af fix(openai): persist GPT-6 Astra Codex capabilities from upstream sync 
Official OpenAI hosts and models.dev entries without an api field left
Astra falling back to reasoning effort none and empty Fast tiers. Persist
complete per-model metadata, advertise Astra reasoning/Fast locally, and
surface partial sync warnings when image models remain incomplete.

Co-authored-by: Cursor <cursoragent@cursor.com>
 2026-09-05 14:45:06 +09:00
lyy0709 3c8be00131 feat(openai): add GPT-6 Astra support 2026-09-04 10:04:44 +08:00
o2e 16e4f7ecc3 修复 Codex 额度探针模型兼容性 2026-08-18 13:08:28 +08:00
shaw dbb42881c0 fix(openai): default OAuth identity to codex-tui 2026-08-07 09:56:03 +08:00
shaw c899c8cf37 fix(codex): 管理员配置的 UA 只贡献指纹，版本段一律用生效版本重建 
面板「OpenAI Codex UA」此前只在客户端 UA 是浏览器型时才生效，本分支把它提升为
所有 OAuth 出站的规范身份来源，作用域扩大了一个数量级。而它的旧 placeholder 原文
就是 codex_cli_rs/0.144.1 (...)：照抄填写过的存量部署会被永久钉在 0.144.1 上——
该值不低于上游门槛 0.144.0，version 头也随之变成 0.144.1，绕过版本自动同步，
稳定落在上游优先降载的那一侧，且面板、日志、审计都不提示。账号级自定义 UA
（credentials.user_agent）有完全相同的陷阱。

改为：管理员配置的 UA 只贡献客户端名与 OS / 架构 / 终端指纹（这是该输入框唯一
不可替代的价值），版本段一律用当前生效版本重建。存量的陈旧配置无需迁移即自愈，
UA 与 version 头从此由构造保证同源，原先「覆写 UA 陈旧时二者不一致」的次优解消失。

- 新增 openai.SetCodexUserAgentVersion：重建首段版本声明，OS / 架构 / 终端指纹
  原样保留；尾部官方客户端标识组 (name; version) 与首段同源，一并更新，避免拼出
  首段声明新版本、尾部仍是旧版本的自相矛盾身份；非官方括号组（如 OS 组）不动。
- resolveCodexOutboundIdentity 收敛为单一funnel：生效版本只从规范身份取，
  候选 UA 的版本段不再参与判定。
- GetOpenAICodexCanonicalUserAgent 重建面板 UA 的版本段；原「面板值等于兜底常量
  视同未填」的特例随之成为恒等变换，删除。
- 补齐 4 处静默丢弃账号级自定义 UA 的出站路径（WS 握手、账号测试 x2、用量探针）：
  它们先写 customUA 再调不带 override 的收口，赋值随即被覆盖，既是行为不一致
  也是死代码；账号测试尤其要紧——注释写着「与真实转发一致」而实际不一致。
- 补测试：SetCodexUserAgentVersion / CodexUserAgentVersion 包内用例、陈旧面板 UA
  与账号 UA 的版本重建回归、WS 握手尊重账号级 UA。
 2026-08-03 21:50:49 +08:00
zhiyu 2eb24814fe fix(codex): 强制统一出站身份并让客户端版本号跟随官方发布 
上游 /backend-api/codex 在容量紧张时按客户端身份分优先级降载，被降载的请求
HTTP 200 后立刻推流内 server_is_overloaded。此前网关对配不出官方身份的客户端
整体回退到硬编码的 codex_cli_rs/0.144.1（落后官方 4 个发布），这些请求稳定
落在被优先丢弃的一侧。

- 强制统一出口：所有 OAuth 出站的 User-Agent / originator / version 一律改写
  为网关规范身份，客户端自报身份不参与构造；HTTP / 透传 / WS / alpha-search /
  探针全覆盖。compat 桥接故意删除 originator 的路径保持 no-op。
- 版本号收敛为单一来源，运行时优先级为面板覆写 → 自动同步值 → 内置常量；
  UA 与 version 头同源派生，不再各自硬编码。
- 新增 3 小时自动同步官方客户端最新稳定版，面板可关闭，无需为跟版本而发版。
- 流内 server_is_overloaded / slow_down 改为先在同账号有界重试再切号，并标记为
  请求级瞬时故障，不再据此临时封禁账号。
- 移除被取代的降载身份黑名单、浏览器 UA 兜底及其辅助函数。
 2026-08-03 20:14:58 +08:00
shaw e1b76e2245 fix(codex): normalize load-shed originators to avoid upstream capacity shedding 
上游 /backend-api/codex 按 Originator 头分桶调度容量：落在降载桶的请求即使返回
HTTP 200，也会立刻推 SSE `event: error`（code=server_is_overloaded）并以
response.failed 收尾。2026-07-29 起 codex-tui 落入降载桶，codex_cli_rs 正常——
判定因子是 originator 而非 User-Agent（codex_cli_rs 配 curl UA 亦可正常返回）。

网关会把该错误判定为瞬时上游故障并冷却账号，对外表现为 Codex 账号频繁过载不可用：
server_is_overloaded → isOpenAITransientProcessingError →
shouldCooldownOpenAITransientUpstreamError → 账号冷却 → 客户端 503。

本项目有三处降载身份来源：浏览器 UA 兜底的默认 UA、客户端透传的真实 TUI 身份、
以及指纹缓存注入探针的 UA。

修复收口在 enforceCodexIdentityHeaders——HTTP / 透传 / WS 握手 / compat 桥接 /
探针 / PAT / 模型列表 / alpha-search 八条出站路径共用的唯一纯函数收口点：

- 新增 NormalizeCodexClientIdentityToCLI，把降载桶身份改写为 codex_cli_rs，
  只替换身份段并裁掉尾部 (name; version) 客户端标识组，保留版本 / OS / 架构 /
  终端指纹；改写后 originator 与 UA 首段仍然配套，不破坏 #3901 的配对不变式，
  且改写幂等。
- DefaultOpenAICodexUserAgent 从 TUI 身份改为 CLI 身份（浏览器兜底路径上最大的
  降载身份来源）。
- 管理端 Codex UA 的 placeholder / hint 原本在把管理员往降载桶引导，一并修正。

新增 gateway.disable_codex_originator_normalization（默认 false，即归一化开启），
供上游调整分桶后回滚。该开关经 NewOpenAIGatewayService 发布为进程级快照，故必须
保持反义命名：正向命名的 Go 零值 false 会让未经 viper 加载而手工构造的 Config
静默关掉全局保护，viper.SetDefault 救不了这条路径。已加用例钉住该属性。

降载桶集合是上游容量策略快照而非协议常量，上游调整分桶后需同步修订。
 2026-08-02 23:00:12 +08:00
superman2003 dd5956be5e fix(openai): prefer concrete GPT-5.6 test model 2026-07-23 13:44:15 +08:00
shaw 8a51119e39 fix(openai): pair originator with final User-Agent for codex upstream 
上游 /backend-api/codex 的 404 gating 是配套校验：originator 必须与
User-Agent 首段（首个 '/' 前的 client 名）配套且为官方 codex 身份，
错配（如 originator=codex_cli_rs + UA=codex-tui/...）一律 404；version
头若携带须 >= 0.144.0。

修复：
- pkg/openai 新增 PairCodexClientIdentity：由最终出站 UA 推导配套
  originator（含 CODEX_INTERNAL_ORIGINATOR_OVERRIDE 尾部括号组身份恢复、
  精确集合大小写归一、长度/字符集校验）
- service 新增 enforceCodexIdentityHeaders 终态收口：originator 按最终
  UA 重配，推导不出官方身份整体回退默认 Codex CLI 身份；version 低于
  0.144.0 提升为内置版本；originator 缺失时 no-op（保护 messages bridge）
- 接入非透传/透传/WS 三条转发路径（透传与 WS 删除会把 codex-tui 等官方
  UA 强改为 codex_cli_rs 造成错配的旧兜底）、用量探针（指纹缓存 UA 与硬
  编码 originator 错配）、账号 responses/图像测试（opencode 错配）
- messages 兼容桥构建前显式打 bridge 标记，防止映射到非 gpt-5/codex
  模型时收口误改其刻意最小化的请求形态

Fixes #3901
 2026-07-10 19:11:26 +08:00
superman2003 de28eba3c8 fix(openai): harden GPT-5.6 billing and usage 2026-07-10 15:13:11 +08:00
shaw 6cea1c35bb feat: 适配 OpenAI 新模型 gpt-5.6-sol/terra/luna 2026-07-06 17:34:22 +08:00
shaw 8c2d9b9a12 chore(openai): remove gpt-5.3-codex from OpenAI default model list 
移除 OpenAI OAuth 账号默认模型列表中的 gpt-5.3-codex（后端 DefaultModels、前端 openai 白名单及 UseKeyModal 目录），保留 gpt-5.3-codex-spark 与计费/别名/messages-dispatch 相关逻辑不变。
 2026-07-01 15:54:34 +08:00
dftian478 709cf61853 修复 OpenAI GPT-5.5 的 Codex 指令选择 2026-06-29 10:25:43 +08:00
DaydreamCodingandClaude Opus 4.8 819fda34d9 feat(codex-detect): codex_cli_only 检测加固 + 引擎指纹统一信号列表 + 账号级 app-server 
将 codex_cli_only 客户端识别从「单一 strict 开关 + 固定 OR 头集合」重构为
可逐项管理的引擎指纹信号列表，加固整条判定链，并补齐账号级 app-server 控制、
对齐前端设置文案。

判定链（每步可短路）：
- 账号未开 codex_cli_only → 不限制；gateway.force_codex_cli → 旁路放行
- 全局黑名单命中（OR 宽 deny）→ 立即拒
- 身份候选：官方 UA（strict，仅前缀）/ 官方 originator（OR）/ 全局白名单（双因子 AND）
  / 全局 app-server 开关 OR 账号 app-server 开关；均不命中 → 拒
- 版本门（仅官方候选）：UA 须可解析引擎版本，再校验 [min,max] 区间
- 引擎指纹 AND 硬门：按信号列表逐条勾选 AND、每条行内变体 OR；无 Required 信号 → 放行

引擎指纹信号列表（唯一真源）
- 新增 openai.EngineFingerprintSignal 类型 + EvaluateEngineFingerprint 求值器
  （勾选 AND / 行内变体 OR / 无勾选 → 放行）
- CodexRestrictionPolicy 增 EngineFingerprintSignals；信号列表单一决定是否启用指纹门，
  不再保留独立「要求引擎指纹」总开关（与「信号全不选」语义重复）
- 新设置键 codex_cli_only_engine_fingerprint_signals（默认只勾 x-codex- 前缀）；
  旧 body 指纹开关幂等迁移并入信号列表；wire 接线
- 黑/白名单自由条目、命名预设、版本区间 全局设置管线
- gateway 缺 settingService（仅测试/误配可达）时指纹门回退默认种子信号、失败关闭，
  不再因零值 policy（nil 信号）失败开放

账号级 Codex app-server（替换已失效的 ClaudeCode 放行机制）
- account.IsCodexCLIOnlyAppServerAllowed() 读 extra.codex_cli_only_allow_app_server，
  仅在 codex_cli_only 开启时生效；候选身份门「全局 OR 账号」，与旧系统双层控制对齐
- 移除已无入口的 claude_code 预设机制（allowedClientRegistry / MatchAllowedClients /
  账号 GetCodexCLIOnlyAllowedClients / reason）；白名单 AllowedClientEntry / IsAllowedClientMatch 保留

门加固（反伪 + 写入校验）
- 官方 UA 访问门改 strict：IsCodexOfficialClientRequestStrict 仅前缀匹配，收窄「浏览器前缀 +
  中段 codex token」伪造面（strict 仍保留 Codex 家族前缀与 UA 尾部兜底，故对「任意前缀 +
  官方尾部 (name;ver)」仍放行——与 UA 可伪造、真正反伪靠引擎指纹门的设计一致）
- 官方客户端识别扩展：新增 codex-tui/、codex_vscode_copilot/ 前缀 + UA 尾部 (name;ver) 兜底
  （恢复 CODEX_INTERNAL_ORIGINATOR_OVERRIDE 的真实 client，如 cccc→codex-tui），originator 改
  精确集。该识别经 IsCodexOfficialClientByHeaders 被 passthrough 复用，故透传的官方判定一并
  修正（codex-tui 等不再被误改写 UA）——非「行为不变」，属有意修正
- 白名单写入校验 ValidateCodexWhitelistEntriesJSON + AllowedClientEntry.IsWhitelistable：
  双因子 AND 条目须可命中（非空 originator + 非空 ua_contains），拒绝写入会静默失效的死规则；
  黑名单（OR 宽 deny，允许 originator-only）不受约束

管理端 / 前端
- handler / DTO / settings_view / 契约测试；gateway 接入判定链
- 信号列表编辑器（替换 body 开关）、api 类型、SettingsView；无勾选给常驻警告
- Create/Edit/Bulk 三弹窗「Codex Only」下新增 app-server 开关（OR 合并全局）
- 文案：UA/Originator → User-Agent/Originator；黑/白名单重命名为 User-Agent/Originator 黑/白名单；
  「允许 App Server 第三方客户端」→「Codex app-server」+ 简介示例；i18n zh/en 同步
- 移除死代码 HasCodex*Fingerprint helper

测试：引擎指纹求值器 / 账号 app-server（OR 语义）/ detector（含 N1 strict、失败关闭）/
白名单写入校验 / BulkEdit spec 等；后端 build + service/openai/admin 单测全绿，前端 vue-tsc + vitest 全绿。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-26 16:19:41 +08:00
shaw 00d68ff6df feat(openai): add GPT-5.5 codex instructions and use as latest fallback 2026-06-25 11:44:42 +08:00
Wesley Liddick c06ad7520d Merge pull request #2951 from EricLi404/00_lyy/add-codex-auto-review-model 
Add codex-auto-review to OpenAI default models
 2026-06-06 14:17:31 +08:00
eyre 5e6effd79c feat: 模型感知 Codex prompt / client_metadata / anthropic SSE 补全 
- 模型感知 instructions：刷新 instructions.txt 至最新 GPT-5-Codex prompt，新增
  GPT-5.1 / GPT-5.2 真实 Codex 编码 agent prompt；新增 openai.CodexBaseInstructionsForModel
  按模型选用（codex 系→GPT-5-Codex，gpt-5.2→GPT-5.2，gpt-5.1/gpt-5→GPT-5.1），
  defaultCodexSynthInstructions 改为按 model 选择
- client_metadata：OAuth /responses 请求用账号真实 openai_device_id 注入
  client_metadata["x-codex-installation-id"]；加法式、幂等、不覆盖既有项，
  无 device_id（非 OAuth 账号）则不写入、不伪造
- anthropic 转换补全 SSE 事件 reasoning_text.delta 与 custom_tool_call_input.delta
  （含 custom_tool_call item 注册为 tool_use），与 chat completions 路径对齐
- 新增单元测试覆盖以上行为（apicompat / openai / service）

承接上一提交，仍为加法式改进，不改动既有可工作的请求头。
 2026-06-06 00:59:27 +08:00
EricLi404 bd0b1ff557 Add codex-auto-review default model 
Include codex-auto-review in the OpenAI fallback models list so /v1/models exposes it when no account mapping is configured. Keep the entry aligned with the existing default model catalog.
 2026-06-01 18:46:15 +08:00
DaydreamCodingandClaude Opus 4.7 56908d3c4c feat(openai): codex_cli_only 新增放行 Claude Code Codex 插件的机制 
适用场景：在 Claude Code 中使用 https://github.com/openai/codex-plugin-cc
插件时，插件经官方 codex app-server 以 clientInfo.name="Claude Code" 完成
initialize 握手，请求头被设为 originator=Claude Code、User-Agent 含
"Claude Code/"，不在官方客户端白名单内，原本会被 codex_cli_only 拦截 403。

在官方客户端白名单未命中时评估两层独立放行（OR 语义）：

- 按账号：account.Extra.codex_cli_only_allowed_clients 引用命名预设
  （目前仅 claude_code），detector reason=allowed_client_matched
- 全局开关：/admin/settings 网关服务 OpenAI 区块新增
  openai_allow_claude_code_codex_plugin（默认 false），开启后对所有
  codex_cli_only 账号统一放行，detector reason=global_allowed_client_matched

签名仍要求 originator=Claude Code 精确等值 + UA 含 "Claude Code/"。
上游转发保持透传不变。

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-27 23:55:34 +08:00
shaw 878ad3b569 feat(openai-gateway): Codex OAuth 账号浏览器 UA 自动改写规避 Cloudflare 
质询
 2026-05-20 14:33:51 +08:00
shaw a4e329c18b fix: openai默认模型新增gpt5.5 2026-04-24 09:08:31 +08:00
shaw 4d0483f5b8 feat: 补充gpt生图模型测试功能 2026-04-22 18:12:03 +08:00
lucas morgan c548021921 feat(openai): 同步生图 API 支持并接入图片计费调度 
- 同步 OpenAI 图片生成与编辑接口
- 接入图片请求解析、账号调度、转发与用量记录
- 接入图片计费与图片用量落库
- 限制 OAuth 生图仅支持无显式模型和尺寸的基础请求
 2026-04-22 12:30:08 +08:00
erio bbc4aed3d9 fix(openai): 移除已下线 Codex 模型并修复归一化兜底副作用 
- backend: 删除 gpt-5 / 5.1 / 5.1-codex / 5.1-codex-max / 5.1-codex-mini / 5.2-codex / 5.4-nano 的内置映射与 DefaultModels 条目
- backend: normalizeCodexModel 默认兜底由 gpt-5.1 改为 gpt-5.4，gpt-5.3-codex-spark 独立保留映射
- backend: 修复 isOpenAIGPT54Model 与 shouldAutoInjectPromptCacheKeyForCompat 对 claude / gpt-4o 的误判（之前依赖 gpt-5.1 作为非 GPT 族的隐式 sentinel，改后需要显式前缀守卫）
- backend: 清理 billing_service 中已不可达的 fallback 价格与 switch 分支
- frontend: 从白名单、OpenCode 配置、预设映射中移除已下线模型
- 同步更新所有相关单测

Refs: #1758, parallels upstream #1759 but adds downstream guard fixes
 2026-04-20 22:01:41 +08:00
erio 62e80c602d revert: completely remove all Sora functionality 2026-04-05 17:11:01 +08:00
QTomandClaude Opus 4.6 91b1d812ce feat(openai): Mobile RT 补全 plan_type、精确匹配账号、刷新时自动设置隐私 
1. accounts/check 补全 plan_type：当 id_token 缺少 plan_type（如 Mobile RT），
   自动调用 accounts/check 端点获取订阅类型
2. orgID 精确匹配账号：从 JWT 提取 poid 匹配正确账号，避免 Go map
   遍历顺序随机导致 plan_type 不稳定
3. RT 刷新时设置隐私：调用 disableOpenAITraining 关闭训练数据共享，
   结果存入 extra.privacy_mode，后续跳过重复设置

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
 2026-03-24 14:50:03 +08:00
Remx 42d73118fd feat(openai): 增加 gpt-5.4-mini/nano 模型支持与定价配置 
- 接入 gpt-5.4-mini/nano 模型识别与规范化，补充默认模型列表
- 增加 gpt-5.4-mini/nano 输入/缓存命中/输出价格与计费兜底逻辑
- 同步前端模型白名单与 OpenCode 配置
- 补充 service tier(priority/flex) 计费回归测试
 2026-03-19 19:03:13 +08:00
QTom 7a4e65ad4b feat: 导入账号时 best-effort 从 id_token 提取用户信息 
提取 DecodeIDToken（跳过过期校验）供导入场景使用，
ParseIDToken 复用它并保留原有过期检查行为。
导入 OpenAI/Sora OAuth 账号时自动补充缺失的 email、
plan_type、chatgpt_account_id 等字段，不覆盖已有值。
 2026-03-09 21:53:46 +08:00
QTom a582aa89a9 feat: 从 OpenAI JWT 提取 chatgpt_plan_type 并在前端展示 
OAuth 授权和 token 刷新时从 id_token 的 OpenAI auth claim 中
提取 chatgpt_plan_type（plus/team/pro/free），存入 credentials，
账号管理页面 PlatformTypeBadge 显示订阅类型。
 2026-03-09 21:53:46 +08:00
admin da89583ccc fix(openai): detect official codex client by headers 2026-03-07 14:12:38 +08:00
yangjianbo 1a0d4ed668 feat(openai): 增加 gpt-5.4 模型支持与定价配置 
- 接入 gpt-5.4 模型识别与规范化，补充默认模型列表
- 增加 gpt-5.4 输入/缓存命中/输出价格与计费兜底逻辑
- 同步前端模型白名单与 OpenCode 上下文窗口（1050000/128000）

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
(cherry picked from commit 924476dcac6181cd0f3ee731ec7b73672ff03793)
 2026-03-06 10:16:23 +08:00
yangjianbo bb664d9bbf feat(sync): full code sync from release 2026-02-28 15:01:20 +08:00
yangjianboandClaude Opus 4.6 f323174d07 fix(openai): 修复 codex_cli_only 误拦截并补充 codex 家族识别 
- 为 codex_cli_only 增加 originator 判定通道，避免仅依赖 User-Agent 误拦截
- 扩展官方客户端家族标识，补充 codex_chatgpt_desktop 等常见前缀
- 新增并更新单元测试与网关透传回归测试，覆盖 UA 与 originator 组合场景

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-02-21 12:06:24 +08:00
yangjianboandClaude Opus 4.6 900cce20a1 feat(sora): 对齐 Sora OAuth 流程并隔离网关请求路径 
- 新增并接通 Sora 专用 OAuth 接口与 ST/RT 换取能力
- 完成前端 Sora 授权、RT/ST 手动导入与账号创建流程
- 强化 Sora token 恢复、转发日志与网关路由隔离行为
- 补充后端服务层与路由层相关测试覆盖

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-02-19 08:02:56 +08:00
yangjianbo 3734abed4c feat(openai): 支持 gpt-5.3-codex-spark 并统一 gpt-5.3 到 codex 计费 2026-02-13 09:28:07 +08:00
yangjianboandClaude Opus 4.6 a9518cc5be feat(openai): 增加 OAuth 账号 Codex 官方客户端限制开关 
新增 codex_cli_only 开关并默认关闭，关闭时完全绕过限制逻辑。
在 OpenAI 网关引入统一检测入口，集中判定账号类型、开关与客户端族。
开启后仅放行 codex_cli_rs、codex_vscode、codex_app 客户端家族。
补充后端判定与网关分支测试，并在前端创建/编辑页增加开关配置与回显。

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-02-12 22:32:59 +08:00
yangjianbo 2f190d812a fix(openai): 透传OAuth强制store/stream并修复Codex识别 2026-02-12 21:02:52 +08:00
yangjianboandClaude Opus 4.6 f6ca701917 fix(oauth): SessionStore.Stop() 添加 sync.Once 防重入保护 (P1-05) 
oauth 和 openai 包的 SessionStore.Stop() 直接调用 close(stopCh)，
重复调用会导致 panic。使用 sync.Once 包裹确保幂等安全。

新增单元测试覆盖连续调用和 50 goroutine 并发调用场景。

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-02-07 17:39:18 +08:00
yangjianbo 9e1535e203 feat(模型): 添加 gpt-5.3 Codex 映射与价格配置 2026-02-06 07:14:46 +08:00
IanShaw027 a4953785d9 fix(lint): 修复所有 Go 命名规范问题 
- 全局替换 ApiKey → APIKey（类型、字段、方法、变量）
- 修复所有 initialism 命名（API, SMTP, HTML, URL 等）
- 添加所有缺失的包注释
- 修复导出符号的注释格式

主要修改：
- ApiKey → APIKey（所有出现的地方）
- ApiKeyID → APIKeyID
- ApiKeyIDs → APIKeyIDs
- TestSmtpConnection → TestSMTPConnection
- HtmlURL → HTMLURL
- 添加 20+ 个包注释
- 修复 10+ 个导出符号注释格式

验证结果：
- ✓ golangci-lint: 0 issues
- ✓ 单元测试: 通过
- ✓ 集成测试: 通过
 2026-01-04 19:28:20 +08:00
ianshaw 112a2d0866 chore: 更新依赖、配置和代码生成 
主要更新：
- 更新 go.mod/go.sum 依赖
- 重新生成 Ent ORM 代码
- 更新 Wire 依赖注入配置
- 添加 docker-compose.override.yml 到 .gitignore
- 更新 README 文档（Simple Mode 说明和已知问题）
- 清理调试日志
- 其他代码优化和格式修复
 2026-01-03 06:37:08 -08:00
IanShaw 45bd9ac705 运维监控系统安全加固和功能优化 (#21) 
* fix(ops): 修复运维监控系统的关键安全和稳定性问题

## 修复内容

### P0 严重问题
1. **DNS Rebinding防护** (ops_alert_service.go)
   - 实现IP钉住机制防止验证后的DNS rebinding攻击
   - 自定义Transport.DialContext强制只允许拨号到验证过的公网IP
   - 扩展IP黑名单，包括云metadata地址(169.254.169.254)
   - 添加完整的单元测试覆盖

2. **OpsAlertService生命周期管理** (wire.go)
   - 在ProvideOpsMetricsCollector中添加opsAlertService.Start()调用
   - 确保stopCtx正确初始化，避免nil指针问题
   - 实现防御式启动，保证服务启动顺序

3. **数据库查询排序** (ops_repo.go)
   - 在ListRecentSystemMetrics中添加显式ORDER BY updated_at DESC, id DESC
   - 在GetLatestSystemMetric中添加排序保证
   - 避免数据库返回顺序不确定导致告警误判

### P1 重要问题
4. **并发安全** (ops_metrics_collector.go)
   - 为lastGCPauseTotal字段添加sync.Mutex保护
   - 防止数据竞争

5. **Goroutine泄漏** (ops_error_logger.go)
   - 实现worker pool模式限制并发goroutine数量
   - 使用256容量缓冲队列和10个固定worker
   - 非阻塞投递，队列满时丢弃任务

6. **生命周期控制** (ops_alert_service.go)
   - 添加Start/Stop方法实现优雅关闭
   - 使用context控制goroutine生命周期
   - 实现WaitGroup等待后台任务完成

7. **Webhook URL验证** (ops_alert_service.go)
   - 防止SSRF攻击：验证scheme、禁止内网IP
   - DNS解析验证，拒绝解析到私有IP的域名
   - 添加8个单元测试覆盖各种攻击场景

8. **资源泄漏** (ops_repo.go)
   - 修复多处defer rows.Close()问题
   - 简化冗余的defer func()包装

9. **HTTP超时控制** (ops_alert_service.go)
   - 创建带10秒超时的http.Client
   - 添加buildWebhookHTTPClient辅助函数
   - 防止HTTP请求无限期挂起

10. **数据库查询优化** (ops_repo.go)
    - 将GetWindowStats的4次独立查询合并为1次CTE查询
    - 减少网络往返和表扫描次数
    - 显著提升性能

11. **重试机制** (ops_alert_service.go)
    - 实现邮件发送重试：最多3次，指数退避(1s/2s/4s)
    - 添加webhook备用通道
    - 实现完整的错误处理和日志记录

12. **魔法数字** (ops_repo.go, ops_metrics_collector.go)
    - 提取硬编码数字为有意义的常量
    - 提高代码可读性和可维护性

## 测试验证
- ✅ go test ./internal/service -tags opsalert_unit 通过
- ✅ 所有webhook验证测试通过
- ✅ 重试机制测试通过

## 影响范围
- 运维监控系统安全性显著提升
- 系统稳定性和性能优化
- 无破坏性变更，向后兼容

* feat(ops): 运维监控系统V2 - 完整实现

## 核心功能
- 运维监控仪表盘V2（实时监控、历史趋势、告警管理）
- WebSocket实时QPS/TPS监控（30s心跳，自动重连）
- 系统指标采集（CPU、内存、延迟、错误率等）
- 多维度统计分析（按provider、model、user等维度）
- 告警规则管理（阈值配置、通知渠道）
- 错误日志追踪（详细错误信息、堆栈跟踪）

## 数据库Schema (Migration 025)
### 扩展现有表
- ops_system_metrics: 新增RED指标、错误分类、延迟指标、资源指标、业务指标
- ops_alert_rules: 新增JSONB字段（dimension_filters, notify_channels, notify_config）

### 新增表
- ops_dimension_stats: 多维度统计数据
- ops_data_retention_config: 数据保留策略配置

### 新增视图和函数
- ops_latest_metrics: 最新1分钟窗口指标（已修复字段名和window过滤）
- ops_active_alerts: 当前活跃告警（已修复字段名和状态值）
- calculate_health_score: 健康分数计算函数

## 一致性修复（98/100分）
### P0级别（阻塞Migration）
- ✅ 修复ops_latest_metrics视图字段名（latency_p99→p99_latency_ms, cpu_usage→cpu_usage_percent）
- ✅ 修复ops_active_alerts视图字段名（metric→metric_type, triggered_at→fired_at, trigger_value→metric_value, threshold→threshold_value）
- ✅ 统一告警历史表名（删除ops_alert_history，使用ops_alert_events）
- ✅ 统一API参数限制（ListMetricsHistory和ListErrorLogs的limit改为5000）

### P1级别（功能完整性）
- ✅ 修复ops_latest_metrics视图未过滤window_minutes（添加WHERE m.window_minutes = 1）
- ✅ 修复数据回填UPDATE逻辑（QPS计算改为request_count/(window_minutes*60.0)）
- ✅ 添加ops_alert_rules JSONB字段后端支持（Go结构体+序列化）

### P2级别（优化）
- ✅ 前端WebSocket自动重连（指数退避1s→2s→4s→8s→16s，最大5次）
- ✅ 后端WebSocket心跳检测（30s ping，60s pong超时）

## 技术实现
### 后端 (Go)
- Handler层: ops_handler.go（REST API）, ops_ws_handler.go（WebSocket）
- Service层: ops_service.go（核心逻辑）, ops_cache.go（缓存）, ops_alerts.go（告警）
- Repository层: ops_repo.go（数据访问）, ops.go（模型定义）
- 路由: admin.go（新增ops相关路由）
- 依赖注入: wire_gen.go（自动生成）

### 前端 (Vue3 + TypeScript)
- 组件: OpsDashboardV2.vue（仪表盘主组件）
- API: ops.ts（REST API + WebSocket封装）
- 路由: index.ts（新增/admin/ops路由）
- 国际化: en.ts, zh.ts（中英文支持）

## 测试验证
- ✅ 所有Go测试通过
- ✅ Migration可正常执行
- ✅ WebSocket连接稳定
- ✅ 前后端数据结构对齐

* refactor: 代码清理和测试优化

## 测试文件优化
- 简化integration test fixtures和断言
- 优化test helper函数
- 统一测试数据格式

## 代码清理
- 移除未使用的代码和注释
- 简化concurrency_cache实现
- 优化middleware错误处理

## 小修复
- 修复gateway_handler和openai_gateway_handler的小问题
- 统一代码风格和格式

变更统计: 27个文件，292行新增，322行删除（净减少30行）

* fix(ops): 运维监控系统安全加固和功能优化

## 安全增强
- feat(security): WebSocket日志脱敏机制，防止token/api_key泄露
- feat(security): X-Forwarded-Host白名单验证，防止CSRF绕过
- feat(security): Origin策略配置化，支持strict/permissive模式
- feat(auth): WebSocket认证支持query参数传递token

## 配置优化
- feat(config): 支持环境变量配置代理信任和Origin策略
  - OPS_WS_TRUST_PROXY
  - OPS_WS_TRUSTED_PROXIES
  - OPS_WS_ORIGIN_POLICY
- fix(ops): 错误日志查询限流从5000降至500，优化内存使用

## 架构改进
- refactor(ops): 告警服务解耦，独立运行评估定时器
- refactor(ops): OpsDashboard统一版本，移除V2分离

## 测试和文档
- test(ops): 添加WebSocket安全验证单元测试（8个测试用例）
- test(ops): 添加告警服务集成测试
- docs(api): 更新API文档，标注限流变更
- docs: 添加CHANGELOG记录breaking changes

## 修复文件
Backend:
- backend/internal/server/middleware/logger.go
- backend/internal/handler/admin/ops_handler.go
- backend/internal/handler/admin/ops_ws_handler.go
- backend/internal/server/middleware/admin_auth.go
- backend/internal/service/ops_alert_service.go
- backend/internal/service/ops_metrics_collector.go
- backend/internal/service/wire.go

Frontend:
- frontend/src/views/admin/ops/OpsDashboard.vue
- frontend/src/router/index.ts
- frontend/src/api/admin/ops.ts

Tests:
- backend/internal/handler/admin/ops_ws_handler_test.go (新增)
- backend/internal/service/ops_alert_service_integration_test.go (新增)

Docs:
- CHANGELOG.md (新增)
- docs/API-运维监控中心2.0.md (更新)

* fix(migrations): 修复calculate_health_score函数类型匹配问题

在ops_latest_metrics视图中添加显式类型转换，确保参数类型与函数签名匹配

* fix(lint): 修复golangci-lint检查发现的所有问题

- 将Redis依赖从service层移到repository层
- 添加错误检查（WebSocket连接和读取超时）
- 运行gofmt格式化代码
- 添加nil指针检查
- 删除未使用的alertService字段

修复问题：
- depguard: 3个（service层不应直接import redis）
- errcheck: 3个（未检查错误返回值）
- gofmt: 2个（代码格式问题）
- staticcheck: 4个（nil指针解引用）
- unused: 1个（未使用字段）

代码统计：
- 修改文件：11个
- 删除代码：490行
- 新增代码：105行
- 净减少：385行
 2026-01-02 20:01:12 +08:00
shaw 6c469b42ed feat: 新增支持codex转发 2025-12-22 22:58:31 +08:00