这家最懂AI安全的公司,为什么成了美国的安全威胁?

2026/7/13 📖 14 分钟阅读 · 约 4672 字 差评君
推荐星级 :

有这样一家公司,它提供的AI服务在开发者圈子里口碑炸裂,同时又被美国国防部视为国家安全威胁。美国政府用了非常激进的手段,试图直接把它从联邦供应链里封杀出去。

它就是Anthropic。你或许对这个名字不熟悉,但是你可能听过它的AI——Claude。从去年年底到4月,这家公司的ARR从90亿快速增长到400亿美金,把OpenAI远远甩在身后。

但就是这家公司,处处充满了矛盾:

  • 明明高举安全旗帜,却主动进入军事体系
  • 然后又突出一个不配合
  • 反商业化,又深度依赖亚马逊和谷歌
  • 一直在警告AI的危险,但是却是AI加速最欢的一方

今天咱们就来聊聊,Anthropic为什么看起来如此矛盾。


一场叛逃

故事得从一场叛逃说起。

2020年底,OpenAI正站在命运的十字路口。GPT-3刚刚发布震惊世界,商业化的诱惑就摆在眼前,微软拿着10亿美金排队进场。可就在这个时候,Dario为首的一批技术核心,突然集体拍桌子走人了。

走的都是些什么人呢?Dario本人是OpenAI研究副总裁,GPT-2和GPT-3的主要推手之一。他的妹妹Daniela是安全与政策副总裁。和他们一起走的还有一票在AI圈有名的大牛,这几乎是OpenAI技术团队的半壁江山。

为什么走呢?因为他们觉得OpenAI跑得太快了,安全根本就跟不上,搞不好就要毁灭世界。

Dario自己在接受采访时的原话:“试图和别人的愿景争辩是极其低效的,不如带上你信任的人去实现你自己的愿景。”

2021年初,这批人正式成立了Anthropic。从诞生起,这家公司的基因里就刻着”安全”两字。


宪法AI与RSP

他们甚至搞出了一套独门绝技——Constitutional AI(宪法AI)

Anthropic直接给AI立了一套宪法,白纸黑字写了一套原则:要诚实、要无害、不能歧视、不能帮人造武器。然后AI拿着这幅宪法审视自己的回答。有点像阿西莫夫的机器人三定律,但更复杂,也更柔软。这也是为什么Claude特别容易说”不”。

2023年9月,Anthropic发布了一份名叫RSP的文件。这份文件的核心程度就是:“如果我们发现自己做的东西不够安全,那我们就停下来。” 这绝对是业界首创。

但比较有趣的是,虽然OpenAI在”选择速度还是选择安全”上产生了分歧,但Claude的发展甚至要比GPT还要更快。到了2025年,Claude编程能力一路狂飙,在各种榜单上都赢麻了,在开发者圈子里口碑更是无人能敌。


矛盾:安全公司背后的巨头

另一件让人困惑的是,这家看起来独立、一门心思搞安全的公司,背后却站了两个超级巨无霸。到今天为止,亚马逊在Anthropic身上先后花了80亿美金,谷歌也投了30亿美金以上。

最拧巴的还在后面。一个对于安全这么偏执的人,按理来说应该远离一切军事用途才对。但Dario不仅没有远离,而是主动凑上去的。

  • 2023年:Anthropic开始和美国军方接触
  • 2024年11月:Anthropic和AWS签了合同,要把Claude部署到美国情报和国防安全系统,拿到了IL6级认证(仅次于绝密的最高机密等级)
  • 2025年夏天:五角大楼和Anthropic签了一份价值2亿美元的试点合同,Claude成了唯一一个进入机密网络的AI模型

这些矛盾看起来就是虚伪、自相矛盾。但当我把Anthropic从头扒了一遍之后,我发现这家公司所有的矛盾,在他们自己的脑子里根本就不是矛盾。因为这牵扯到一个非常有意思的理念——有效利他主义


有效利他主义(EA)

有效利他主义,英文叫Effective Altruism,简称EA。这是一场从2000年代末牛津大学掀起的哲学运动。核心主张一句话就能说完:用证据和理性去尽可能多行善。

听起来好像没什么特别的,谁做好事不想多帮人呢?但真正特别的地方在于,它把行善这件事儿彻底数学化了

EA圈子里有个经典的对比:在美国训练一只导盲犬要花5万美金,在非洲治疗一个因为河盲症失明的人只需要几十美元。如果你有5万美金,是选择给一个美国人一只导盲犬,还是给2000个非洲人恢复视力呢?

从善的总量这个角度算,答案是显而易见的。但从情感上,你可能会觉得导盲犬的故事更动人。EA就是要对抗这种感情用事,它的核心是每一块钱花下去,就是要追求最大的边际效用。

从这个基础出发,EA发展出了一个听起来特别离谱的推论:如果你想做慈善,你最应该做的事就是去华尔街或者硅谷赚大钱。 你亲自当志愿者帮不了几个人,但去华尔街赚几百万全捐出去,就能救成千上万人。这个理念有个专有名词叫**“Earning to Give”——赚钱去捐**。


EA的极端推论

从这里开始,事情发生了变化。

把善当成一个可以量化排序的问题,一旦把未来的人也纳入计算,结论就会开始有点极端了。未来可能出生的人比现在活的人要多得多得多。如果一个问题会影响未来所有的人,他们的权重就会直接碾压一切。

这个算式一旦被接受,整个EA的优先级就翻转了。非洲的蚊帐当然还是很重要,但它比得上防止人类灭绝吗?

而在所有未来的存在性风险里,EA圈子公认最紧迫、最有可能的那个就是超级人工智能——比核战争更紧迫,比气候变化更紧迫,比传统的所有灾难都要更紧迫。


用EA逻辑看Anthropic

我们回头来看Anthropic的创始团队。Dario和Daniela都是EA圈子里的熟面孔。Anthropic早期的资方正是EA运动最大的资助机构之一。Anthropic的7位创始人全都承诺要捐出自己80%的个人财富——这不是随口说说的,这是EA圈子里一个非常经典的承诺。

如果你用普通创业公司的逻辑去看Anthropic,你会觉得它处处矛盾。但是如果你用EA的逻辑去看,一切都通了。

EA的核心算式,说白了就一句话:手段可以妥协,目的不能妥协。只要最终的善足够大,那过程中所有的别扭都是可以接受的代价。

所以我加速搞AI是为了治理AI;我拿巨头的钱也是必要的手段。至于军事呢,这才是最能体现EA逻辑的地方。


与五角大楼的决裂

就在积极和军方合作的同时,Anthropic一直声明他们的AI不可以用于国内大规模监控或者全自动致命武器。就是这两条红线引出了后面一系列的撕逼。

关键是这两条红线,国防部从一开始就知道。为什么最初不反对呢?因为双方一开始各取所需。军方签的是试点合同,心态是”先用着以后再谈”。而对于Anthropic来说,进入机密网络是AI能力的终极测试场,对于技术和品牌都有巨大的价值。双方暂时搁置了分歧。

结果这一试就出问题了。军方用了之后发现确实好用,然后你说改不了是什么意思?

而真正让事态急转直下的是政治风向的变化。拜登时期,国防部对AI的态度还是摸着石头过河、边用边看,Claude的安全特性反而是个卖点。但特朗普一上台,整个节奏全变了。军方的态度从谨慎试用直接切换到**“必须完全可控,不能拒绝执行任务”**。说白了,此时的美国军方已经迫不及待要把AI用于战争了。

2025年12月,军方正式提出了那个爆炸性的要求:All Lawful Use——AI必须支持所有合法用途,没有例外。

与此同时,特朗普跟谷歌签了合同,潜台词非常清楚:我们找到备胎了,你Anthropic最好识相一点。

面对压力,Dario回应说:“在少数特定场景下,我们认为AI非但无法捍卫民主价值观,反而会对其造成损害。“Anthropic其实也尝试过妥协,发言人在声明中说愿意在有限范围内开放能力。但军方要的不是有限开放,而是完全可用。

一个是红线逻辑,一个是无条件授权,中间几乎没有调和空间。

紧接着,2026年1月,媒体报道说特朗普下令突袭委内瑞拉时,美军就使用了Claude。虽然我们无从得知具体使用情况如何,但显而易见美军对此并不满意。美国国防部长直接公开抨击”那些不让你打仗的AI”,明眼人都看得出来这就是在特指Claude。

到了2026年2月,双方进入摊牌阶段——要么接受,要么退出。

2月27号,谈判正式破裂。


公理的崩塌

然后发生的事情直接把整个硅谷都看傻了。

那一周,负责研究与工程的美国国防部副部长直接在社交媒体上骂Dario,原话是”Dario患有上帝情结,只想亲自掌控美国军队”。但这句话似乎还真没说错。Dario骨子里确实有一种很典型的救世情结。他觉得OpenAI那帮人被商业迷了心窍,觉得自己才是那个能够看清楚AI危险、并有能力给AI戴上镣铐的人。

在Dario的脑子里,这个世界是被很明确地二分的:美国等于民主,等于大概率正确的一方;中国、俄罗斯等于威权,等于存在性风险。 跟美国军方合作不是违背安全原则,恰恰是在捍卫安全原则——因为如果你不做,对手就会做。

这套思路还顺便解释了另一件事情:为什么Claude是封杀中国最严重的AI模型?连Anthropic自己的高管都承认,他们对于中国公司和用户的封锁会让公司损失几亿美元的收入。但对于一家相信中国代表的危险的EA公司来说,那太合理了——为了避免人类灭绝,几亿美元算得了什么呢?

但是这套看似有道理的逻辑有一个致命的缺陷。而这个缺陷是被一个真正相信这套东西的人,用最惨烈的方式亲手证明的。


SBF的教训

让我们回到2022年11月6日。这一天,加密货币交易所FTX突然崩盘。它的创始人SBF(Sam Bankman-Fried),从一个神话般的人物瞬间变成了金融历史上最大的骗子之一。

但SBF还有一个更特殊的身份——EA圈子里最耀眼的明星

还记得我们刚刚介绍EA的时候讲的那个”Earning to Give”吗?赚钱去捐。SBF就是这四个字最出名的代言人。他大学时期就接受了EA的理念,他选择加密货币不是为了自己享受,而是为了赚钱去捐。他公开承诺要把几乎所有全部财富捐给EA事业。

而他做的第一批大手笔捐赠里就有一笔特别关键:2022年,他给Anthropic投了5亿美元,拿到了大概8%的股份。 在SBF自己的世界观里,这不是一笔普通投资,而是”用EA的钱投EA的公司,降低人类灭绝的风险”。

然后呢,FTX崩盘了。调查很快显示他挪用了FTX客户将近80亿美元的存款,用来支持自己旗下对冲基金Alameda的冒险投资。他被判了25年。

但真正让他震惊的不是他偷钱这件事情,而是他为什么偷钱。

SBF在法庭上说,他不买游艇、不办派对,住的是一个普普通通的合租公寓。他偷钱的目的就是为了捐出去。他认为如果自己能够多赚100亿美金,然后把这些钱捐给AI安全、抗疟疾、大流行病防控,能够拯救的生命远远超过他伤害的那些存款用户。

SBF的故事让整个EA圈子开始直面一个他们一直回避的问题:当你习惯了”为了更大的善可以做任何事”的思维方式,你怎么保证你的计算是对的?


EA的两个致命前提

EA的框架依赖于两个东西:

  1. 你对于未来善的总量的估算是正确的
  2. 你做这个估算的时候,你是诚实无私的

但问题是,这两个前提在现实中都非常容易崩塌。

首先,未来是不可知的。你做AI有25%的概率毁灭世界,你怎么算的呢?Dario自己说过,他只是”感觉”出来的。一个感觉出来的数字被用来为每天的重大决策背书。

其次,动机是会变的。SBF可能一开始是真心想捐钱去救人,但当他开始用客户的钱去赌的时候,他硬在心里跟自己说”这是为了更大的善”。但到最后连他自己可能也分不清了——他到底是为了捐而赚,还是在为了赚而编造一个捐的理由呢?


Anthropic身上的重现

你可能会说SBF是一个极端案例,Anthropic不至于走到那一步。那我们来看看刚刚发生的事儿。

2026年2月,就在Anthropic和五角大楼对峙最激烈的那几天,他们悄悄发布了RSP 3.0。在新版本里,那个”不安全就暂停开发”的硬承诺不见了,被换成了一些更柔软、更模糊的公开目标和前沿安全路线。

他们的首席科学家对科学家的解释是:“我们觉得停止训练AI模型实际上不会帮到任何人。在AI快速发展的情况下,如果竞争对手在加速前进,我们做出单边承诺是没有意义的。”

这个解释本身就是一个标准的EA式期望值计算,结论就是”不能停”。好吧,很合理。但你注意到没有?2020年Dario从OpenAI出走,反对的就是”为了不落后必须加速”这道商业逻辑。5年过去,他们自己变成了当年反对的人。

这是SBF的问题在Anthropic身上的重现。每一次合理的妥协,都能用期望值计算来合理化。


更深层的问题

但问题其实还要更深。

我们回头看Anthropic和美国军方合作的整个过程,他的一整套推理从头到尾有一个东西从来没有质疑过——他默认了”美国代表正义”这个前提是不需要被计算的。

所以他在算所有别的期望值,算中国的风险,算AI失控的概率,算全自主武器的负收益。他什么都算了,但”和美国合作是对的”这件事情在他脑子里从来不是一个变量,它是一个公理。

然后2月27号那天,公理自己站出来了。这个”代表正义的一方”转头要求Anthropic交出所有安全限制。Anthropic说不行,几个小时之内国防部就把它列成供应链风险。几个小时之内OpenAI就接了合同丢了给Anthropic。

几个小时之内,Anthropic 5年以来”我和美国站在一起保卫民主”的叙事,就被它站在一起的那个美国亲手撕了个粉碎。


善意是不能被计算的

这就是EA最深的那个坑。

  • SBF证明的是:人会骗自己。
  • RSP 3.0证明的是:人会慢慢被自己改变。
  • Anthropic和美国国防部这件事证明的是:善意是不能被计算的。

如果一个人对得失算得太精、太执着,反而会遮蔽到最根本的智慧,连自己理论的基石是否牢靠都看不见了。


魔戒的隐喻

说到这儿,我忽然觉得这个故事有点像《指环王》。

我们写过马斯克和奥特曼的争执,写过OpenAI内部的分裂,现在又写了Anthropic的矛盾。你会发现每一个怀揣着”AI对人类有益”这个梦想出发的人,到最后都会陷入一种相似的傲慢——觉得只有自己才能把握住这枚魔戒。

  • 奥特曼曾经是OpenAI非盈利理想的化身,后来成了最商业化的推手
  • Dario曾经是OpenAI的联合创始人,觉得奥特曼背叛了安全理念,于是自己跑出去做了一个几乎没有任何安全约束的公司
  • 马斯克从OpenAI出走,是为了反对让安全为速度让路的路线

三个人走的是完全不同的路线,但他们最后都走到了同一个地方:“我和别人不一样,别人会被权力腐蚀,但我不会。”

奥特曼说这话的时候靠的是”我是个务实的人”。马斯克说这话的时候靠的是”我看得比所有人都远”。而Dario说这话的时候靠的是”我有正确的计算”。

时间越久就越相信自己的判定,你就越听不见不同人的声音。连走到末日火山口的Frodo,最后那一刻都没能亲手把戒指扔下去。

魔戒最大的危险从来不是它落到坏人手里,而是它落到一个真心相信自己是好人的人手里。