nerfWatch() tests AI models daily through their APIs, against each model's first week of tracking. See scores beside community votes, get alerts for declines and recoveries, and inspect the open-source engine. API tests, not chat-app tests.
痛点：AI 模型提供商会静默降低模型质量（"nerf"），开发者依赖 API 却无从感知质量下滑，导致线上效果突然变差却找不到原因。
目标用户：重度依赖 LLM API 的独立开发者、AI 产品团队、需要模型选型与质量监控的技术负责人
证据：nerfWatch() tests AI models daily through their APIs, against each model's first week of tracking. See scores beside community votes, get alerts for declines and recoveries... API tests, not chat-app tests.
变现：免费基础监控 + 付费告警/历史趋势/私有模型看板订阅（月付）；面向团队的企业版 API 与 SLA 报告；开放引擎、对数据与分析能力收费。
MVP：两周内做一个定时任务：每天用固定一组 prompt 调用主流模型的 API，记录响应并计算质量分（一致性/指令遵循/延迟/成本），存时序数据库，做一张趋势图 + 邮件/Telegram 质量下滑告警页。
竞品：Artificial Analysis、LMArena (Chatbot Arena)、HELM (Stanford)、OpenRouter rankings、Hugging Face Open LLM Leaderboard
摘要：nerfWatch() 是一个 Product Hunt 上线的开源工具，每天通过各模型 API 跑基准测试，对比其首周表现，展示分数与社区投票，并支持质量下滑/恢复告警。它切中了模型静默降质这一真实痛点，但该帖 0 票、无付费或收入证据，需求尚未被验证；同类监控/榜单工具（Artificial Analysis、LMArena、HELM）已相当密集。