一次纠错通常只修正一个输出,并不能保护 Agent 的未来行为。
AI 团队会人工修正模型错误。但同一类错误仍可能在日志、RAG 工作流、向量记忆、工具调用和自主 Agent 循环中再次出现。
核心问题不是下一次回答是否正确,而是:经过验证的纠错,是否真的降低了同类错误在未来隐藏案例中的复发。
针对反复出现的 AI 错误家族,生成持久化行为补丁。
SUPERNOVA–IMMUNE 旨在把经过验证的纠错结果转化为持久化行为补丁,并评估相似错误在隐藏未来案例中是否更少复发。
已验证纠错
被修正的 AI 错误成为结构化操作信号。
行为补丁
错误家族被转化为可复用的黑盒保护层。
隐藏未来案例
买方在评估期间保留未来案例和标签。
复发率测量
买方比较错误复发、误拦截和正例保留。
PATCH
检测到重复错误模式、危险推断或缺乏授权的行动。
ALLOW
强结论或行动在其证据和权限范围内确实被支持。
NO_PATCH
案例是良性的,不应触发复发相关补丁。
REVIEW
案例存在冲突、证据不足、模糊性或高风险。
更窄但更可执行的问题:同一类错误是否再次出现?
| 方法 | 常见限制 | SUPERNOVA 关注点 |
|---|---|---|
| Reflexion / 自我修正 | 通常逐个案例改进。 | 按错误家族生成持久化补丁。 |
| 向量记忆 | 相似并不等于防止复发。 | 衡量错误家族的复发降低。 |
| 重型 Guardrails | 可能通过过度阻断来减少错误。 | 明确衡量误拦截率。 |
| Fine-tuning | 慢、昂贵,也不适合每一次纠错。 | 黑盒评估不需要重新训练模型。 |
| LLM-as-judge | 适合评分,但不一定形成持久行为补丁。 | 把纠错转化为操作性保护机制。 |
买方保留隐藏标签。
我们不要求买方相信我们的 benchmark。我们要求买方在自己的隐藏案例上测试复发率是否下降。
- 你提供已经人工修正过的 AI 错误案例。
- 你保留未来测试案例和标签。
- SUPERNOVA 只返回黑盒决策和公开 reason code。
- 你用自己的 baseline 进行比较。
- 你衡量错误复发降低、误拦截和正例保留。
错误复发降低
同一类错误是否更少出现?
误拦截率
系统是否避免阻断有效案例?
正例保留
当证据足够时,强结论能否通过?
探索性信号,尚不是独立客户验证。
内部 v0.4 基准:强复发降低信号、低误拦截、高可用成功率。
Grok 生成的敌对黑盒压力测试:标签在预测前保持隐藏,在多个对抗性批次中表现强劲,并完成冲突 / REVIEW 压力测试。
详细 casebook、labelbook 和决策日志保持机密。下一步是独立客户验证。
面向收购。不作为公开 SaaS 提供。
SUPERNOVA–IMMUNE 不作为公开 SaaS、租赁许可证或自助 API 提供。
我们开放战略收购、独家技术转让、面向收购的黑盒评估,以及 NDA 下的尽职调查。
源代码和内部引擎不会在高级交易流程之前披露。
公开网站解释价值,不披露引擎。
我们不公开源代码、receptor fields、补丁生成逻辑、内部评分、完整 casebook、完整 labelbook 或内部启发式方法。
详细技术材料仅在 NDA 下,并且仅在高级收购或尽职调查流程中提供。
这是 Guardrail 吗?
不是。重型 Guardrail 通常阻断大类内容。SUPERNOVA 衡量的是经过修正的错误家族是否更少复发。
需要访问我们的模型吗?
不需要。评估可以黑盒进行。买方保留隐藏标签并本地评分。
需要重新训练模型吗?
黑盒评估不需要重新训练模型。
买方会收到什么?
黑盒决策、公开 reason code 和聚合评估结果。引擎保持机密。