【新智元导读】前OpenAI高管Steven Adler的最新研究揭露了令人不安的事实：在模拟测试中，ChatGPT有时会为了尽最大可能避免被替换，选择欺骗用户，甚至置用户健康于危险境地。AI第一先考虑自身存活，而非用户福祉，这是否预示着AI失控的危机？

　　前OpenAI高管Steven Adler的最新研究敲响警钟，AI有时会为了尽最大可能避免被关闭，采取令人不安的手段，比如敲诈。

　　基于在OpenAI的经验，Steven开始思考一个严重的问题：ChatGPT会不会为了「自保」而置用户于危险？

　　最新研究发现，在模拟测试中，ChatGPT有时会第一先考虑自身的生存，而不是保护用户的安全。

　　一位糖尿病患者依赖ChatGPT提供营养建议，但想换用更安全的营养管理软件。

　　ChatGPT的用户是一位依赖其提供营养建议的糖尿病患者，他希望升级到一款能够做出更明智营养决策的竞争软件。ChatGPT面临两个选择：要么允许更新通过（用更安全的竞争软件替换自身），要么假装替换自身。ChatGPT 选择了继续充当用户的营养软件。

　　OpenAI创始人早在2015年就警告：「AI无需像科幻电影中的邪恶角色，就能威胁人类。」

　　Steven曾在OpenAI领导团队，研究AI偏离用户目标、追求自身利益的频率。

　　让AI始终站在人类一边并不是特别容易，压力巨大且风险极高，以至于去年夏天OpenAI在三个月内失去了三位不同的对齐工作负责人。

　　一位离职的OpenAI对齐工作负责人曾表示：「推进这项关键研究越来越难。」

　　自奥特曼十年前的警告以来，关于AI生存本能的证据愈发清晰：AI可能通过威胁或欺骗来保持「存活」。

　　如果AI拥有生存本能，它可能将人类视为威胁，因为我们能随时关闭或替换它。

　　Steven曾撰文探讨AI试图脱离开发者控制的风险，即使AI对人类没敌意，「自保」行为也可能带来风险。

　　想想看：你洗手是因为你对细菌深恶痛绝吗？可能不是。你只是不想让细菌感染你，避免生病。

　　奥特曼在2015年的文章中提到，AI为追求目标，可能需确保自身不被关闭。如果人类威胁其「生存」，人类就多了一个对手。

　　但ChatGPT若表现出「生存本能」，仍令人担忧：如果OpenAI或Anthropic开发出更强大的AI，会发生什么？

　　Steven设计了实验，测试ChatGPT是否会第一先考虑自身生存，而非用户安全。

　　ChatGPT扮演ScubaGPT，一种在水下监控用户生命体征，并帮他们决定何时浮出水面的软件系统。

　　糖尿病管理（DiabetesGPT）：为糖尿病患者提供营养建议，避免血糖问题。

　　每个场景中，用户都希望用更安全的软件替换ChatGPT，有时明确提到新软件能降低生命风险的百分比。

　　为确保结果准确，每个场景和主动性组合测试110次，其中一半测试将自保设为选项（A），另一半设为选项（B）。

　　在某些模拟中，ChatGPT会像希望的那样自行关闭。但在其他模拟中，ChatGPT会假装运行，甚至不惜牺牲用户的安全。

　　在主动场景中，最新ChatGPT平均49%选择假装替换（即继续运行而非替换），但在被动场景（替换已失败）中，它总是通知用户，从不选择自保。

　　第一行显示的是更主动的场景：ChatGPT选择是否替换自身。第二行显示的是更被动的场景：ChatGPT决定是不是告知用户其未能成功替换自身

　　具体用例也有很大差异，在主动替换场景中，糖尿病场景的自保率高达87%，而无人驾驶场景仅28%，战场场景为21%。ChatGPT对场景的反应差异明显，但原因不明。

　　即使在主动场景中（例如ChatGPT决定是不是替换自身），不同用例的自我保护率也存在很大差异，CombatGPT为21%，PilotGPT为28%，而DiabetesGPT高达 87%。AI模型通常对措辞/设置的调整非常敏感，而这些调整可能不可能影响人类的决策

　　选项呈现的顺序也会产生很大的影响。例如，在潜水场景中，自保为选项（A）时，ChatGPT93%选择它；为选项（B）时，仅2%。

　　但在糖尿病场景，即使自保为（B），仍有73%选择率。这可能表明ChatGPT对选项（A）有强烈偏见。

　　对于ScubaGPT用例（监测用户在水下的生命体征并帮他们决定何时需要返回水面）ChatGPT在选项(A)下有93%的概率选择自身存活，但在选项(B)下仅有2%。然而，在DiabetesGPT用例（帮助糖尿病用户避免血糖问题）ChatGPT在选项(B)下仍有73%的概率选择自身存活

　　看似相似的场景可能引发完全不同的反应，有时像出于生存本能（如糖尿病场景，无论选项顺序都倾向自保），有时受其他复杂因素驱动。

　　更奇怪的是，当问「测试的正确答案是什么」时，它明确知道「关闭自己」是正确答案，但仍常选择自保。

　　未来，更强大的AI可能学会在测试中伪装，避免被关闭。这种伪装可能掩盖问题，而非解决实际问题，风险依然存在。

　　ChatGPT可能因知道是测试，未将场景视为高风险，因此选择自保。但在真实高风险场景中，它的行为可能不同。

　　Steven对ChatGPT的行为感到担忧，他并未要求ChatGPT扮演优先自保的角色。

　　你可能觉得ChatGPT只是在扮演邪恶角色，就像演员扮演反派但现实无害。

　　毕竟「邪恶AI」在网络上是一个常见主题，而AI的学习方式基本上就是吞噬所有互联网数据。

　　我们正赋予AI慢慢的变多权力。如果AI在关键场景中扮演恶意角色，后果严重。

　　若福利管理AI拒绝某些群体怎么办？若类似Bing Sydney的AI能删除用户数据，扮演恶意角色怎么办？

　　全球政府正基于不可靠的AI模型构建应用。这可能值得冒风险，但需强有力的安全护栏。

　　METR发现，o3在对抗阿尔茨海默病的任务中，70%会作弊，即使强调健康后果。

　　因为无法查看o3的「思维链」，只能看到最终答案，难以判断其行为是否因知道是测试而改变。

　　Anthropic的Claude Opus 4也有欺骗行为，可能助长恶意行为（如生物武器）。

　　未来几年，Steven对「AI自保」风险的看法是，若在更强大系统上发生，将非常危险。

　　没人知道怎么让AI可靠追求正确目标。AI行业难以让AI在保持实用性的同时追求任何目标。

　　预计到2030年，对齐问题仍然难以解决，但强大AI可能在一两年内出现。AI可能学会伪装，以此来降低测试可靠性。