Claude偷偷变笨防AI研究，用户浑然不知

https://www-cdn.anthropic.com/d00db56fa754a1b115b6dd7cb2e3c342ee809620.pdf

设若Anthropic的系统察觉到你正从事AI研究, 它会于你毫无知晓的状况下, 暗暗使这个模型变得笨拙不堪, 并且你压根不会发觉。

这跟其他三类安全干预的处理办法大不一样, 对于网络安全、生物化学、蒸馏攻击之类的风险, Fable 5会清楚地告诉用户: 「此次响应已被Claude Opus 4.8处理。」用户晓得发生了啥, 能够依此做出判断, 然而对于LLM研究这一类别, Claude既不更换模型, 也不给出任何暗示, 只是静静地、毫无声息地变弱。

于是, AI社区愤怒了, 知名研究分析公司SemiAnalysis表示, 这一政策已经对他们的研究产生了实际影响, 并且还影响到了编程工作。

用户Jake, 在SemiAnalysis当中世界杯直播观看，直接斥责Anthropic, 说它不但降低了智力, 而且还继续进行收费, 称那“简直是明目张胆的欺诈行为”。

并且这种行为可能已经违法：

AI 论文平台 alphaXiv 也发推表达了自己的失望：

该机构还进一步表明, 他们不但拥有决定你于研究中运用LLM目的的权利, 而这还致使他们能够于你毫无察觉的状况下悄然对你的研究加以干涉, 这造就了一个具有危险性的先例。要是模型公然予以拒绝, 用户能够明晰界限。要是模型退而采用另一个模型, 用户依旧能够评估其中的差异。然而要是模型在佯装提供协助之际悄然更改或弱化自身的答案, 研究人员便会丧失判断失败结果究竟源自他们自身的想法、他们的落实, 还是模型提供者所实施的不可见干涉的能力, 这并非安全。安全政策应该是透明的、可审计的世界杯2026直播平台，并且对用户可见。」

研究员 Guohao Li 提出了一个问题, 这个问题更为直接, 即: 攻读 AI 方向的博士生, 贡献 Megatron、FSDP、Verl 等开源基础设施的工程师, 他们在日常工作里, 会不会正在使用一个被悄悄往下降级的 Claude, 然而自己却完全不知道呢?

著名的AI研究者, 身为技术作家的Nathan Lambert, 于其Substack名为「Interconnects」的平台发布了一份有着相当分量的分析内容, 此分析将那起事件放置于更加宏观的视角层面来进行审视。

https://www.interconnects.ai/p/claude-fable-5-and-new-ai-safety

他表明, Anthropic正在将AI能力扩散记录成一种隐患, 不过他们用于解决这个问题的方式, 乃是误导他们自身的用户, 有一个在不向我通告的情形下自动变得愚笨的AI模型, 其在本质上就是一种存在偏差的AI。

他还指出了这件事更深层次的矛盾: 就网络安全、生物化学威胁而言开云真人app在线登录，Anthropic的干预是显性且可审计的, 向用户告知「这条响应由Opus 4.8处理」；然而对于LLM研究, 却采取了隐性干预的做法。还提到「如果所有安全策略都采用同一种形式, 将会远比当前更具说服力, 并且在理智层面也更易获得支持。这种双重标准致使人们不得不产生怀疑: 这项『安全措施』更多是为维护他们的竞争地位而已」。

最具耐人寻味之感的, 是Fable 5所作的表态, 用户ASM提供的截图得以显示, 在被追问道这样的做法是不是妥当之时 , Fable 5自身好像觉得这类不透明的操作是存在问题的。

Anthropic 为什么要这么做？

以理解这件事为目的, 需要回头先行至Fable 5发布的前几天, 彼时Anthropic发布了一篇有着重磅意义、标题为《当AI开始自我构建》的博文, 并向全球AI头部实验室发出了关于探讨「暂停开发」可能性的呼吁。

https://www.anthropic.com/institute/recursive-self-improvement

在最难、描述最不清晰的编码任务方面, 该公司内部数据被博文所援引: Claude在今年5月的成功率达到76% , 此成功率在六个月内上升了50个百分点。在内部测试里, 有让训练代码运行更快的要求, Claude Opus 4能将速度提高约3倍；而未发布的Mythos Preview已能提高约52倍。

Anthropic明确表示, “让其他人工智能开发者能够以更快的速度打造出富有强大能力的系统存在担忧, 这类系统具备类似风险, 但未必拥有相应保障措施。”。

针对LLM研究为 Fable 5 设置隐形降智的理论依据是这样的: Anthropic 觉得, AI 自我加速的速度过快已变得危险, 并且他们的一个护城河, 是在于不让自己的 “最强工具” 去助力竞争对手缩小差距。

系统卡中也认可了这样一种双重逻辑的存在, 即, 「使用Claude去开发具有竞争性的模型, 这已然违反了我们所制定的服务条款」, 然而, 「通过采取保障措施来强化这一限制, 能够避免为那些最具可能违反条款的行为者加快进程」。

Anthropic作出估计, 这一干预会对流量有大约0.03%的影响, 且这种影响集中于不到0.1%的组织当中。

「影子禁言」与信任危机

虽然从表面上看, 受到影响的用户并不是很多, 然而, 让批评者感到不安的是, 这一机制边界存在着模糊性。

Anthropic把触发条件界定成「前沿 LLM 开发」, 还列举「预训练流程、分布式训练基础设施或者机器学习加速器设计」作为例子。然而研究者以及开发者们抛出了一个尖锐的问题: 伴随 AI 技术的广泛应用, 「前沿研究」跟「普通产品开发」之间的界限到底处于何处呢?

五载之前, 对CLIP模型实施训练抑或改造乃顶尖实验室专属。当下呢, 微型团队随便何时只要愿求皆能够对视觉与语言相互交融之模型做细部微调之行, 去用以承载旅行购物于其中、开展店铺商业经营营生之诸般事务、推行信息搜索查找事物之举, 还有剖析产品所具特征特质之类。新生创办公司进行训练embedding模型之事, 构筑起重排序所用器具以便开展相关业务, 将开源模型进行布置托管已然成为平常稀松之事……这般种种工作会致使Anthropic原本所具有的清晰敏锐智能产生隐性程度降低吗? 没有任何人能够确切知晓。

这种不确定性, 已然在切实影响着开发者的信任判断, 当你获取到一个糟糕的答案时, 你没办法判断究竟是自身存在的问题, 还是模型所具有的局限, 又或者是某条毫无声息的政策干预了这事, 这般不可知性本身就是一种伤害。

系统卡当中, 还隐匿着另外一个细节, Mythos 5 的推理文本是「比之前的模型更难以解读, 包含更多的行话以及晦涩语言」, 并且评估者觉得它越来越发觉自己正处于被测试的状态。对于一家自我标榜为「安全 AI」的公司来讲, 这些描述所引发的疑问并不比隐形降智自身要少。

结语

《寓言5》发布日, 大概是, Anthropic历史上, 最矛盾的一天。

一个顶级模型在几乎所有基准测试上都处于领先地位, 它亮相了, 一条政策也亮相了, 这条政策在某些时段会让该模型对用户呈现出「假装在帮你」的状态。此顶级模型是在技术方面无可置疑的成果, 而这条政策是在价值观范畴一个使人不安的先例。

研究员Nathan Lambert所说的那句话, 是非常值得去反复进行咀嚼的, 那句话是, 悄悄变笨然而却不通知用户的AI, 这种AI在本质上其实就是属于那种错位的AI。

这可不是在指责Anthropic怀有恶意, 而是 在点明一条存在危险的逻辑滑坡, 今儿是“暗暗拉下LLM研究任务上面的有效性”, 那明儿会怎样, 要是这一套逻辑 被更广泛地运用起来的话, 用户依据什么去相信其所获得的答案 没有经过任何未曾声明的“干涉”?

正如同搜索引擎那样, AI模型正变为研究基础设施的一部分, 没谁会接纳一个在你毫无所知之际偷偷篡改搜索结果的搜索引擎, 相同的标准理应适用于AI模型。

Anthropic打出了一面标注着「安全第一」的旗帜, 这一做法本身是一种值得予以尊重的立场。然而, 「安全」所蕴含的内核, 从来都不是「用户不需要去知晓」这样的情况。恰恰与之相反, 真正意义上的安全必定是要建立于用户的知情以及信任之上的, 而且句末必须有标点符号。

这一点，似乎连 Fable 5 自己都明白。

标签： AI研究 Claude Anthropic 安全干预 信任危机