AI 分析
痛点：LLM eval 结果不稳定且缺乏可复现证据：同一模型用 LLM judge 评分时，边界用例多次运行会翻转结论，团队无法信任 CI 门禁或评测结论。
目标用户：AI 工程师、LLM 评测/CI 负责人、Agent 可靠性团队、需要审计评测结果的企业。
证据：A finding from the current repo: Using an LLM judge, 5 of 20 borderline cases flipped verdicts across repeated runs. Using numeric answer matching on 40 GSM8K cases, 0 cases flipped. Same model family, different grading method. The instability came from the judge, not the target model.
变现：开源自托管 + 云托管/团队版收费：CI 集成、评测收据签名与审计、历史趋势、协作看板、企业合规。
MVP：2 周内做 GitHub Action/CLI：接收 eval 结果或运行 eval，多次重复跑边界用例，计算 flip rate，生成签名收据并评论到 PR；先支持 promptfoo/OpenAI evals 等。
竞品：promptfoo、DeepEval、Braintrust、LangSmith、Weights & Biases、Humanloop、OpenAI Evals
摘要：EvalSeal 是一个 v0.3.0 开源工具，用重复运行、flip rate、provenance 和防篡改账本来让 LLM eval 结果更可信。作者发现 20 个边界用例中 5 个在 LLM judge 下翻转，而 GSM8K 数值匹配 0 翻转。它击中评测可靠性痛点，但尚无付费或外部需求验证，适合做开核+托管 CI/审计服务。