QAgent — Automated QA for AI agents. Stop shipping on vibes.

五维评分

AI 分析

痛点：AI agent 上线前缺乏自动化质量测试，容易出现幻觉、违反策略或错误回答，团队只能靠感觉发布。

目标用户：构建和运营 AI agent/RAG 应用的开发团队、AI 产品经理、QA 工程师。

证据：Stop shipping on vibes. Automate AI agent quality testing. Score correctness, detect hallucinations against ground truth, verify policy adherence, and benchmark RAG before bad responses reach real customers.

变现：SaaS 订阅制，按评测次数/Agent 数量/团队席位收费，或提供 CI/CD 集成和企业私有化部署。

MVP：做一个 CLI/SDK，接入常见 Agent 框架和日志，用 LLM-as-judge 对回答做正确性、幻觉、策略合规打分，输出可对比的 benchmark 报告，并支持 GitHub Actions 门禁。

竞品：LangSmith、Braintrust、Arize Phoenix、Galileo、Humanloop、Patronus AI、DeepEval、Ragas

摘要：QAgent 在 Product Hunt 发布，定位 AI agent 自动化 QA，强调正确性评分、幻觉检测、策略合规和 RAG 基准测试。但帖子 0 票、无评论，缺乏付费意愿和需求验证，且赛道已有多个评测/可观测性竞品。独立开发者可做轻量级 eval CI 工具，但需找到垂直切口。