AI 分析
痛点:重度使用编码代理(Codex/Astra)的团队 API token 成本极高(每人每天烧 $700),缺少在不破坏 KV 缓存和 agent 轨迹的前提下压缩工具调用输出的方案。
目标用户:重度使用 Codex/Astra 等编码代理的开发者与团队,以及希望低成本提供顶级模型的 AI 编程工具厂商。
证据:After maxing out sub and burning $700/day per person on api, we fine tuned a compression model to trim codex's tool call output to reduce input token + cache. It cut down tokens by 29.6%... If you want to integrate it into your product to offer the best models at low cost, I can set you up with an sdk and api keys
变现:SDK/API 按 token 或订阅制收费,面向 AI 编程工具厂商做 B2B 集成;或提供企业版私有部署与节省成本报告。
MVP:做一个编码代理代理层(proxy),针对工具调用输出做压缩/去重/摘要并保留缓存,先支持 Codex CLI,一键安装并展示实时 token 节省看板;用现成小模型(如 Qwen)做规则+微调混合压缩,先量化 20-30% 节省。
竞品:LLMLingua-2、LiteLLM、Portkey、Helicone
摘要:团队因自用编码代理 API 花费达每人每天 $700,自研 token 压缩工具将 Codex 工具调用输出压缩,节省约 29.6% token、最高 30% 成本,并已开源免费 CLI。他们同步提供 SDK/API key 供他人集成到产品中,说明存在 B2B 变现路径。但 HN 热度低(7 分 1 评论),且复刻压缩模型需要较强的 ML 能力。