seewe/sub2api
1
0
Fork 0
mirror of https://github.com/Wei-Shaw/sub2api.git synced 2026-10-14 03:52:26 +08:00
Code Issues Packages Projects Releases Wiki Activity
6,152 Commits 43 Branches 62 Tags
73aabc861cacbfc9240bb306ef0aa04511d0164f
Commit Graph
47 Commits
Author SHA1 Message Date
feeeei 73aabc861c build: 取消 gosec G703/G704 全局排除，生产代码逐点 nolint、测试文件按路径豁免；DEV_GUIDE 同步 golangci-lint v2.13 2026-08-24 12:21:06 +08:00
shaw b689e5b401 fix(billing): harden response-model billing and repair its test fixtures 
按上游响应模型计费的准入过宽、且自带用例必然失败，本次一并修复。

严格化准入
- 新增 PricingService.GetIdentifiedModelPricing / BillingService.HasIdentifiedTokenPricing：
  只接受价格表中能被确定性识别的条目（精确名、已知拼写变体、去掉日期版本后缀），
  不再接受 getFallbackPricing / matchByModelFamily 按子串猜出的系列兜底价。
  此前上游只要自报一个含 "haiku" 的编造名字就能被判定"已定价"，把账单压到最便宜的
  系列价（实测 claude-opus-4.8 基线 $0.0019250 → $0.0000963，20 倍少收）。
  GetModelPricing 的对外行为不变，仅把前三步查找抽成共用函数。
- 图片 / 视频 / 网页搜索请求不再走响应模型覆盖：这些路径按张、按秒、按次定价，
  与准入检查所验的 token 价不是同一套价格表。
- 准入判断抽成 responseModelBillingDeclaration，两条计费主干共用同一套规则。

正确性与可观测性
- 去掉 recordUsageCore 中 billingModel 的无效赋值（ineffassign 已启用，会让
  golangci-lint 直接失败），改由日志表达实际生效的计费基准。
- 补 cost != nil 守卫，与 OpenAI 侧及本文件既有写法对齐。
- 每次实际生效的基准切换记一条 billing.response_model_applied，少收可审计。
- 修正 upstreamResponseModelObserver 上"冲突仅用于诊断、永不影响计费"的过期注释。

测试
- gpt-5.1 与 gpt-5.5 实际共用同一条 gpt-5.4 价格，夹具"价格必须不同"的前置断言
  必然失败，OpenAI 侧 3 个用例（含 4 个子用例）从未跑通；改用 gpt-5.4-nano /
  gpt-5.5。Anthropic 侧 claude-opus-4 不是价格表精确条目，改用 claude-opus-4.8。
- 夹具增加"必须可被确定性识别"的前置断言，避免用例被更靠前的门挡掉而失去判别力。
- 新增：准入规则表驱动用例、可识别性判定用例、编造家族名在两条主干上均被拒的用例。

前端
- 选择该模式时提示"计费基准以上游自报模型为准，只降不升，仅对可信上游启用"。
 2026-08-10 18:45:15 +08:00
Zven b2d895fb8d fix(pricing): update GPT-5.6 Luna and Terra rates 2026-07-31 09:42:46 +08:00
haruka 6c7625800a fix(billing): price Antigravity Gemini 3.6 Flash 2026-07-26 01:56:10 +08:00
Wesley Liddick 95cc6ee2c0 Merge pull request #4793 from 404QAQ/codex/fix-pricing-empty-remote-url 
fix(pricing): skip remote scheduler without URL
 2026-07-25 13:41:40 +08:00
shaw 6c9b84cc7a feat: 适配 Anthropic 新模型 claude-opus-5 
模型登记：/v1/models 清单、Bedrock 默认映射（us.anthropic.claude-opus-5-v1）、
定价条目（$5/$25 per MTok、1M 上下文、128K 输出）、前端模型清单与
Anthropic/Bedrock 预设映射、限流 scope 简称。

同时修复两个会静默出错的问题：

- 定价家族兜底 3 倍超收：定价数据缺 claude-opus-5 时，matchByModelFamily
  的 Phase 2 关键字兜底会落到 opus-4 系列、getFallbackPricing 会落到
  claude-3-opus，两条路都按 $15/$75 计费（官方 $5/$25），输入输出双双
  3 倍超收且无任何报错。两处补 opus-5 家族并回退到同价的 4.8；判断用
  opus-5/opus5 子串而非裸 "5"，避免误伤 claude-opus-4-5。顺带补齐兜底表
  缺失的 claude-opus-4.8（此前同样会掉到 claude-3-opus）。

- Bedrock 版本闸门降级：claudeVersionRe 强制要求 major-minor 两段版本号，
  只有主版本号的 claude-opus-5 / claude-sonnet-5 完全不匹配，被当成旧模型：
  isBedrockOpus47OrNewer 假导致 thinking.enabled 不转 adaptive（Opus 5 上游
  已移除 budget_tokens，透传直接 400）、isBedrockClaude45OrNewer 假导致
  cache_control.ttl 被剥离、bedrockModelSupportsToolSearch 假导致 tool search
  被过滤。改为 minor 可选（缺省 minor=0），claude-sonnet-5 的同一问题一并修复。

Vertex 无需改动：normalizeVertexAnthropicModelID 只处理 -YYYYMMDD→@YYYYMMDD，
无日期后缀的裸 ID 原样透传即正确。context-1m-2025-08-07 白名单不动：Opus 系
上游不接受该 beta，且 Opus 5 的 1M 上下文是默认能力。

Antigravity 暂不接入：无上游支持证据，mapAntigravityModel 对未映射模型返回
空字符串即"该账号不支持"，fails closed 安全。

回归测试 internal/service/claude_opus5_test.go 覆盖定价两层兜底、Bedrock
三个闸门、thinking 转换与模型清单；逐个回退上述修复已确认测试会红。
 2026-07-25 11:22:42 +08:00
404QAQ 38cc916f7d fix(pricing): skip remote scheduler without URL 2026-07-23 22:43:36 +08:00
harukaandClaude Opus 4.8 10cb2ca42c feat(billing): 全局定价解析 input_cost_per_image_token 
LiteLLM 定价数据中 gpt-image-2 等模型已含 input_cost_per_image_token
（图片输入 token 单价），但此前未被解析，导致图片编辑/图生图请求的
图像输入 token 被按文本输入价计费。

- LiteLLMModelPricing / LiteLLMRawEntry 新增 InputCostPerImageToken 字段并解析
- GetModelPricing 将其映射到 ModelPricing.ImageInputPricePerToken

计费拆分算术（computeTokenBreakdown）已支持图/文输入分价，本提交补齐
全局定价路径的数据来源。相关 #4386。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_015wcJTKDddxXSQrepSs3wrU
 2026-07-15 09:23:35 -07:00
superman2003 de28eba3c8 fix(openai): harden GPT-5.6 billing and usage 2026-07-10 15:13:11 +08:00
benjamin 383f61d0e9 fix(openai): align GPT-5.6 billing with official pricing 2026-07-10 09:42:31 +08:00
benjamin 4a2b10c94e feat(openai): support GPT-5.6 cache write billing 2026-07-10 09:08:58 +08:00
shaw 80a229bce5 fix(batch-image): 修复审计发现的计费死锁、状态机与队列原子性缺陷 
修复 PR #3768 批量图像 MVP 合并后审计报告中的全部问题：

结算与计费（高危）：
- 所有 SETTLEMENT_* 失败（超冻结/计数非法/manifest 冲突/定价缺失/扣费失败）
  统一计入 retry_count 并在耗尽时释放冻结转 failed，消灭 settling 无限
  requeue 导致的冻结余额永久锁死
- 耗尽出口的释放指纹统一为 RequestHash，与 processor/Cancel/recovery 一致；
  release 遇同 request id 指纹冲突视为幂等成功，治愈历史毒消息
- 管理端校验 hold_multiplier >= discount_multiplier，定价快照对存量脏数据钳制
- 释放前校验 per-job hold claim（dedup+归档表），杜绝幻影释放

索引对账（高危）：
- provider 输出与提交 custom_id 集对账：未知条目丢弃并记事件，
  漏项补 PROVIDER_RESULT_MISSING 失败行，保证 success+fail == item_count

提交与恢复（高危）：
- 提交前转 uploading 并在 provider.Submit 期间心跳刷新 updated_at；
  恢复扫描改为原子复核（FailStaleUnsubmittedBatchImageJob），
  消灭慢提交被误杀退款而上游任务照常计费的孤儿场景
- 上游任务创建成功但本地状态推进失败时，尽力取消上游并清理输入
- recovery 释放失败时入队交由 worker releaseTerminalHold 兜底重试

队列与并发（中危）：
- Enqueue（SetNX+LPush）与 Reserve（BRPop+ZAdd）均改为 Lua 原子脚本，
  消灭崩溃窗口导致 job 脱离队列、被 7 天 inflight 键锁死
- 锁冲突按 LockConflictDelay 重新入队（原直接丢弃需等 10 分钟 stale 恢复）
- 处理期间心跳：active zset 续期（ZAddXX 防幽灵成员）+ 锁 TTL 续期
- ReplaceBatchImageItemsForJob 增加 indexing 状态守卫，防掉队 worker 重写账目

存量回归（中危）：
- image-only 定价条目（仅图片价无 token 价）恢复 token 计费 fail-closed，
  不再按 $0 计费；图片计费路径不受影响
- 鉴权余额门槛恢复 balance <= 0 语义，MinimumBalanceReserve 不再作硬 403

加固：
- ZIP max_items 钳制到管理员上限；Submit 补齐 Platform==Gemini 校验；
  gemini downloadUri 跟随前做 host 白名单校验
- 批量客户端改用共享 httpclient（拨号/TLS/响应头超时有界）
- 审计点名的忽略错误（MarkDownloaded/SettlementFailed/AppendEvent 等）改为记日志
 2026-07-07 18:53:56 +08:00
Turtle_Li 1b07fe821a merge: sync batch image branch with origin main 2026-07-07 03:27:11 +08:00
shaw 6cea1c35bb feat: 适配 OpenAI 新模型 gpt-5.6-sol/terra/luna 2026-07-06 17:34:22 +08:00
Turtle_Li 8fab636998 feat: complete batch image workflow 2026-07-06 12:22:04 +08:00
wucm667 92ad68a314 feat(channels): 模型定价支持一键同步最新模型 
从 LiteLLM 定价目录中读取指定平台的最新模型列表，
将尚未录入的模型以新定价条目（价格留空）的形式追加，
管理员只需点击同步最新模型按钮即可完成操作。

- backend/service: PricingService 新增 ListModelNamesByProvider
- backend/handler: ChannelHandler 新增 SyncPricingModels (GET /api/v1/admin/channels/pricing/sync-models)
- backend/routes: 注册新路由（在 /:id 通配符之前）
- backend/wire_gen: 手动更新 NewChannelHandler 调用
- frontend/api: channels.ts 新增 syncPricingModels
- frontend/i18n: zh.ts / en.ts 新增 5 个 key
- frontend/view: ChannelsView 定价区域标题行新增「同步最新模型」按钮
- tests: pricing_service_test + channel_handler_test 新增单元测试
 2026-05-19 20:32:32 +08:00
2ue 6faa344916 feat: add OpenAI image generation controls 2026-05-05 03:26:54 +08:00
shaw 3fe4fd4c35 chore: add model gpt-5.5 2026-04-23 17:28:01 +08:00
meteor041 00778dca31 fix openai image request handling 2026-04-23 09:53:57 +08:00
shaw a789c8c4c7 feat: 支持opus-4.7 2026-04-17 09:37:25 +08:00
erio d72ac92694 feat: image output token billing, channel-mapped billing source, credits balance precheck 
- Parse candidatesTokensDetails from Gemini API to separate image/text output tokens
- Add image_output_tokens and image_output_cost to usage_log (migration 089)
- Support per-image-token pricing via output_cost_per_image_token from model pricing data
- Channel pricing ImageOutputPrice override works in token billing mode
- Auto-fill image_output_price in channel pricing form from model defaults
- Add "channel_mapped" billing model source as new default (migration 088)
- Bills by model name after channel mapping, before account mapping
- Fix channel cache error TTL sign error (115s → 5s)
- Fix Update channel only invalidating new groups, not removed groups
- Fix frontend model_mapping clearing sending undefined instead of {}
- Credits balance precheck via shared AccountUsageService cache before injection
- Skip credits injection for accounts with insufficient balance
- Don't mark credits exhausted for "exhausted your capacity on this model" 429s
 2026-04-04 11:15:59 +08:00
shaw 50288e6b01 fix: 修复模型定价文件更新url 2026-03-30 15:36:53 +08:00
Remx 42d73118fd feat(openai): 增加 gpt-5.4-mini/nano 模型支持与定价配置 
- 接入 gpt-5.4-mini/nano 模型识别与规范化，补充默认模型列表
- 增加 gpt-5.4-mini/nano 输入/缓存命中/输出价格与计费兜底逻辑
- 同步前端模型白名单与 OpenCode 配置
- 补充 service tier(priority/flex) 计费回归测试
 2026-03-19 19:03:13 +08:00
yangjianboandClaude Opus 4.6 87f4ed591e fix(billing): 修复 OpenAI fast 档位计费并补齐展示 
- 打通 service_tier 在 OpenAI HTTP、WS、passthrough 与 usage 记录中的传递
- 修正 priority/flex 计费逻辑，并将 fast 归一化为 priority
- 在用户端和管理端补齐服务档位与计费明细展示
- 补齐前后端测试，并修复 WS 限流信号重复持久化导致的全量回归失败

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-09 09:51:26 +08:00
yangjianbo f366026435 fix(openai): 修复 gpt-5.4 长上下文计费与快照白名单 
补齐 gpt-5.4 fallback 的长上下文计费元信息，\n确保超过 272000 输入 token 时对整次会话应用\n2x 输入与 1.5x 输出计费规则。\n\n同时将官方快照 gpt-5.4-2026-03-05 加入前端\n白名单候选与回归测试，避免 whitelist 模式误拦截。\n\nCo-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>

(cherry picked from commit d95497af87f608c6dadcbe7d6e851de9413ae147)
 2026-03-06 10:16:23 +08:00
yangjianbo 1a0d4ed668 feat(openai): 增加 gpt-5.4 模型支持与定价配置 
- 接入 gpt-5.4 模型识别与规范化，补充默认模型列表
- 增加 gpt-5.4 输入/缓存命中/输出价格与计费兜底逻辑
- 同步前端模型白名单与 OpenCode 上下文窗口（1050000/128000）

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
(cherry picked from commit 924476dcac6181cd0f3ee731ec7b73672ff03793)
 2026-03-06 10:16:23 +08:00
yangjianbo 41d0383fb7 merge(test): 合并 main 并解决前端筛选器冲突 2026-02-15 22:04:06 +08:00
shaw a817cafe3d feat: 区分 Anthropic 5m/1h 缓存创建 token 的差异化计费 
Anthropic API 的 cache_creation 对象区分了 ephemeral_5m 和 ephemeral_1h
两种缓存创建 token，1h 单价远高于 5m（如 claude-3-5-haiku: 5m=$1/MTok,
1h=$6/MTok）。此前系统统一按 5m 单价计费，导致计费偏低。

后端：
- pricing_service: 加载 LiteLLM 的 cache_creation_input_token_cost_above_1hr
- billing_service: GetModelPricing 启用分类计费（安全守卫 1h>5m），
  CalculateCost 按 5m/1h 分别计费，无明细时回退到 5m 单价
- gateway_service: parseSSEUsage/handleNonStreamingResponse 用 gjson
  提取嵌套 cache_creation 对象的 ephemeral_5m/1h_input_tokens
- antigravity_gateway_service: extractSSEUsage/extractClaudeUsage 同步提取
- usage_log: 修复 GORM column tag 确保写入正确的数据库列
- 新增迁移 054: 删除 GORM 自动生成的重复列

前端：
- 使用记录 tooltip 展示 5m/1h 缓存创建明细（带彩色 badge 区分）
- 表格单元格缓存写入数值旁显示 1h 标识
 2026-02-14 18:15:35 +08:00
yangjianbo f96acf6e27 fix(ops): 修复日志级别过滤并增强OpenAI错误诊断日志 
- 移除 warn 级别下 access info 的强制入库补写，确保运行时日志级别真实生效

- 将 OpenAI fallback matched 与 passthrough 断流提示按需求降级为 info

- 为 codex_cli_only 与 instructions required 场景补充请求诊断字段（含 User-Agent）

- 出于安全考虑移除请求体预览，仅保留 request_body_size 与白名单头信息

- 新增/更新回归测试，覆盖 Forward 入口到日志落库链路
 2026-02-13 19:27:07 +08:00
yangjianbo 3734abed4c feat(openai): 支持 gpt-5.3-codex-spark 并统一 gpt-5.3 到 codex 计费 2026-02-13 09:28:07 +08:00
yangjianbo 584cfc3db2 chore(logging): 完成后端日志审计与结构化迁移 
- 将高密度服务与处理器日志迁移到新日志系统（LegacyPrintf/结构化日志）
- 增加 stdlog bridge 与兼容测试，保留旧日志捕获能力
- 将 OpenAI 断流告警改为结构化 Warn 并改造对应测试为 sink 捕获
- 补齐后端相关文件 logger 引用并通过全量 go test
 2026-02-12 19:01:09 +08:00
shaw 01b08e1e43 chore: 前端增加opus4.6模型映射 2026-02-06 08:50:45 +08:00
yangjianbo a38bd413ab fix(计费): gpt-5.3-codex 定价回退到 gpt-5.2-codex 2026-02-06 07:40:38 +08:00
IanShaw027 28e46e0e7c fix(gemini): 更新 Gemini 模型列表配置 
- 移除已弃用的 1.5 系列模型
- 调整模型优先级顺序（2.0 Flash > 2.5 Flash > 2.5 Pro > 3.0 Preview）
- 同步前后端模型配置
- 更新相关测试用例和默认模型选择逻辑
 2026-01-16 23:47:42 +08:00
song 195e227c04 merge: 合并 upstream/main 并保留本地图片计费功能 2026-01-06 10:49:26 +08:00
song d4c2b723a5 feat: 图片生成计费功能 
- 新增 Group 图片价格配置（image_price_1k/2k/4k）
- BillingService 新增 CalculateImageCost 方法
- AntigravityGatewayService 支持识别图片生成模型并按次计费
- UsageLog 新增 image_count 和 image_size 字段
- 前端分组管理支持配置图片价格（antigravity 和 gemini 平台）
- 图片计费复用通用计费能力（余额检查、扣费、倍率、订阅限额）
 2026-01-05 17:07:29 +08:00
yangjianbo 048ed061c2 fix(安全): 关闭白名单时保留最小校验与默认白名单 
实现 allow_insecure_http 并在关闭校验时执行最小格式验证
- 关闭 allowlist 时要求 URL 可解析且 scheme 合规
- 响应头过滤关闭时使用默认白名单策略
- 更新相关文档、示例与测试覆盖
 2026-01-05 14:41:08 +08:00
yangjianbo 794a9f969b feat(安全): 添加安全开关并完善测试流程 
实现安全开关默认关闭与响应头透传逻辑
- URL 校验与响应头过滤支持开关并覆盖流式路径
- 非流式 Content-Type 透传/默认值按配置生效
- 接入 go test、golangci-lint 与前端 lint/typecheck
- 补充相关测试与配置/文档说明
 2026-01-05 13:54:43 +08:00
yangjianbo bd4bf00856 feat(安全): 强化安全策略与配置校验 
- 增加 CORS/CSP/安全响应头与代理信任配置

- 引入 URL 白名单与私网开关，校验上游与价格源

- 改善 API Key 处理与网关错误返回

- 管理端设置隐藏敏感字段并优化前端提示

- 增加计费熔断与相关配置示例

测试: go test ./...
 2026-01-02 17:40:57 +08:00
yangjianbo 7efa8b54c4 perf(后端): 完成性能优化与连接池配置 
新增 DB/Redis 连接池配置与校验，并补充单测

网关请求体大小限制与 413 处理

HTTP/req 客户端池化并调整上游连接池默认值

并发槽位改为 ZSET+Lua 与指数退避

用量统计改 SQL 聚合并新增索引迁移

计费缓存写入改工作池并补测试/基准

测试: 在 backend/ 下运行 go test ./...
 2025-12-31 08:50:12 +08:00
ianshaw efa470efc7 fix(backend): 修复 golangci-lint 报告的问题 
- gofmt: 修复代码格式问题
- errcheck: 处理 WriteString 和 Close 返回值
- staticcheck: 错误信息改为小写开头
- staticcheck: 移除无效的 nil 检查
- staticcheck: 使用 append 替换循环
- staticcheck: 使用无条件的 TrimPrefix
- ineffassign: 移除无效赋值
- unused: 移除未使用的 geminiOAuthService 字段
- 重新生成 wire_gen.go
 2025-12-26 00:11:03 -08:00
ianshaw 55258bf099 feat(service): 扩展 CRS 同步和定价服务支持 Gemini 
- CRS 同步服务新增 Gemini 账号同步逻辑（+273行）
- 定价服务扩展 Gemini 模型定价计算（+99行）
- 更新 Token 刷新服务集成 Gemini
- 更新相关单元测试
 2025-12-26 00:09:04 -08:00
Forest 836c4dda2b refactor: 重命名 go module 2025-12-24 21:07:21 +08:00
shaw 12ddae0184 fix: 优化OpenAI模型定价查找的回退逻辑 
当模型ID在model_pricing.json中找不到时，增加智能回退策略：
- gpt-5.2-codex → 回退到 gpt-5.2
- gpt-5.2-20251222 → 去掉日期后缀回退到 gpt-5.2
- 最终回退到 DefaultTestModel (gpt-5.1-codex)
 2025-12-23 13:58:56 +08:00
Forest 1e1f3c0c74 ci(backend): 添加 gofmt 配置 2025-12-20 16:19:40 +08:00
Forest cceada7dae refactor(backend): service http ports 2025-12-20 11:57:02 +08:00
shaw 642842c29e First commit 2025-12-18 13:50:39 +08:00