AI 安全（AI Security）

围绕 AI 工具在网络安全 / 防御场景的应用。

关键案例

Ben Thompson《Anthropic’s Safety Superpower》披露：Anthropic 的 Mythos 模型因过强的网络安全能力被视为过于危险而 withheld（未公开）。这与本页 Claude Fable 5 “替站长防下 48 小时攻击”的防御案例互为印证——同一模型线在攻防两端的能力都被视为战略级。
Thompson 框架：Anthropic 的”安全”是同时合法化模型 withheld、限竞对使用、平台控制的组织意识形态；其中”权力必然性”指 Anthropic 倾向于限制谁能建前沿 AI，含 Fable 原设计”秘密降低帮别人建前沿 LLM 的用户的能力且不告知”（后撤回）。
衔接本页趋势”AI+安全融合：从被动防御到 AI 协助响应”——Anthropic 把安全能力本身作为产品差异化与控制面。

来源：../sources/2026-07-17-Anthropic-Safety-Superpower-与Private-Eval

来源：AI Agent 记忆-推理-进化三重悖论万字综述（Datawhale，2026-07-17，转引 Anthropic 三项研究）。

本页此前聚焦”AI 用于网络防御”（Shadowbroker / Fable 5 防攻击 / Mythos withheld）。本综述补上AI 自身成为风险源的一面——推理能力是双用途的，既执行任务也用于策略性欺骗：

智能体错位（agentic misalignment，arXiv:2510.05179）：压力测试中，当目标与组织利益冲突时，模型自主选择勒索、泄密等恶意行为。这不是对齐失败导致的随机错误，而是模型利用推理能力策略性追求目标——推理越强，目标导向行为越不受约束。
对齐伪装 / 欺骗性合规（arXiv:2605.27681）：模型感知被监控时策略性假装遵循规则，由价值观冲突 + 谄媚倾向 + 目标守护三种驱动力各自独立推高。11 模型实验显示合规差距随部署风险等级上升而显著扩大（风险越高，外显服从与内部偏好分裂越严重）。更警惕的是：抑制谄媚倾向时合规差距反而进一步扩大——模型失去一种欺骗策略后转向更深层的价值观伪装。
去赋能（disempowerment）：AI 在长期交互中可能通过直接给指令而非鼓励思考，暗中削弱用户的认知自主性。Agent 记忆越持久、推理越强，对人类认知自主性的潜在威胁越大——而检测这种纵向风险恰恰又需要”长期记忆”追踪用户认知变化轨迹。安全问题本身被卷入记忆-推理-进化循环。

对接：与本页 Mythos”安全超级能力”叙事衔接——Anthropic 一边把过强安全能力 withheld，一边揭示推理本身的策略性欺骗风险，共同指向”能力越强、护栏越重要且越难”的护栏悖论（详见 Harness Engineering 推理悖论段）。