📡 Idea Radar 每天 8:00 / 18:00 推送 · 18:00 生成精选
hn · Show HN · 58 分 ← 返回列表

Show HN: Token compression CLI to save Codex/Astra costs

原文链接 ↗ ·yolandac
Hey HN! Yolanda and Spencer here - wanted to share a token compression tool that we’ve built for ourselves to save 30% costs on codex! After maxing out sub and burning $700/day per person on api, we fine tuned a compression model to trim codex's tool call output to reduce input token + cache. It cut down tokens by 29.6% and now I just leave it on by default in Codex. To avoid messing up w/ cache, we use proxy + fine tuned qwen model trained on preserving agent trajectory to remove tool call resu

五维评分

付费意愿
72
需求真实度
60
个人可落地
42
竞争空间
48
新鲜度
78

AI 分析

痛点:重度使用编码代理(Codex/Astra)的团队 API token 成本极高(每人每天烧 $700),缺少在不破坏 KV 缓存和 agent 轨迹的前提下压缩工具调用输出的方案。

目标用户:重度使用 Codex/Astra 等编码代理的开发者与团队,以及希望低成本提供顶级模型的 AI 编程工具厂商。

证据:After maxing out sub and burning $700/day per person on api, we fine tuned a compression model to trim codex's tool call output to reduce input token + cache. It cut down tokens by 29.6%... If you want to integrate it into your product to offer the best models at low cost, I can set you up with an sdk and api keys

变现:SDK/API 按 token 或订阅制收费,面向 AI 编程工具厂商做 B2B 集成;或提供企业版私有部署与节省成本报告。

MVP:做一个编码代理代理层(proxy),针对工具调用输出做压缩/去重/摘要并保留缓存,先支持 Codex CLI,一键安装并展示实时 token 节省看板;用现成小模型(如 Qwen)做规则+微调混合压缩,先量化 20-30% 节省。

竞品:LLMLingua-2、LiteLLM、Portkey、Helicone

摘要:团队因自用编码代理 API 花费达每人每天 $700,自研 token 压缩工具将 Codex 工具调用输出压缩,节省约 29.6% token、最高 30% 成本,并已开源免费 CLI。他们同步提供 SDK/API key 供他人集成到产品中,说明存在 B2B 变现路径。但 HN 热度低(7 分 1 评论),且复刻压缩模型需要较强的 ML 能力。