AI 分析
痛点:团队缺少低成本、可重复的方式验证 AI 生成的补丁是否真正修复了安全漏洞,而不只是把攻击关键字过滤掉;因此需要一个能自动重跑真实攻击变体的“安全演练场”。
目标用户:安全工程师、应用安全(AppSec)负责人、使用 AI 编程代理的研发团队;初期更适合做渗透测试与代码审计的小型安全团队,以及需要做安全培训演练的企业。
证据:“The referee tests several variants of each attack, so blocking the word UNION still loses to UnIoN, and deleting a feature to 'fix' a bug counts as BROKEN.” / “Happy to answer questions or hear what would make this useful for real teams.”
变现:开源核心 + 托管版订阅:按仓库或团队席位收费的 CI 集成服务(每次 PR 自动跑红蓝对抗回归),再加上企业私有化部署与合规演练报告(可作为 SOC2/ISO 审计材料)按年收费。
MVP:把当前的 demo 收窄成一个 GitHub App:用户连接仓库后,系统对每个 PR 自动生成 3-5 个针对已修复漏洞的变体攻击测试(例如绕过大小写、编码变体、等价逻辑变体),逐项判断是否真的被修复;测试结果以 PR 评论和阻断合并的形式输出。技术栈沿用现有的 Switch 和多代理编排,两周内只做一个语言(Python/JS)和一个漏洞类别(SQLi 和 XSS)。
竞品:XBOW、CodeQL / GitHub Advanced Security、Snyk DeepCode AI、Semgrep Assistant、Google Big Sleep、Dreadnode Crucible
摘要:作者用 2 天时间在 SandboxAQ 的 Switch 上搭建了红队、蓝队和裁判三代理同室对抗的安全演练:红队必须用真实 flag 证明攻击成功,蓝队提出补丁,裁判则用变体攻击(例如用 UnIoN 绕过对 UNION 关键字的过滤)重新测试;最终红队得 5 分、蓝队得 10 分,并自动生成事件报告,代码已开源。该项目是典型的黑客松 demo,没有付费用户或收入数据,作者本人在帖尾询问“怎样才对真实团队有用”,说明需求尚未验证。机会点在于把“AI 补丁是否真的修好漏洞”做成能接入 CI 的自动化回归验证,卖给 AppSec 团队。