Anthropic 27 歲研究員 Jacob Coxon 9 月 8 日辭職並公開警告：OpenAI 與 Anthropic 正「衝向自我改進的超智慧、拿我們的生命做賭注」；隔天對齊科學主管 Evan Hubinger 坦言個人評估 AI 十年內滅絕人類的機率大於 10%，且公司尚無對齊超智慧的方案。同一週美英國會雙雙推出超智慧禁令草案，AI 安全之爭正式從實驗室內部燒進立法殿堂。
這不是第一次有 AI 內部人員對產業發展方向發出警訊，但可能是措辭最直接的一次。Coxon 在 X（@hilbertspaess）上寫道：「他們正筆直衝向自我改進的超智慧（self-improving superintelligence），拿我們的生命做賭注。」他在貼文中進一步透露一個多數人難以想像的內部現實：「建造 AI 的人們真心相信它可能在本世紀末前殺死我們所有人。這不是行銷噱頭——許多高階主管和研究員在媒體前措辭理性，但我私下聽到的是同樣的恐懼。」
他是誰？為什麼他的辭職引起轟動
Jacob Coxon 現年 27 歲，劍橋大學數學系出身，過去三年先後在 OpenAI 與 Anthropic 擔任預訓練（pretraining）研究員——在 OpenAI 期間曾是 GPT-4o 模型訓練的核心貢獻者之一。他 9 月 8 日晚間宣布辭職，並表示將徹底離開 AI 產業。
Coxon 對兩家實驗室的批評並非「安全機制是假的」這種廉價指控，反而更尖銳：
| Coxon 對兩大實驗室的觀察 | 內容 |
|---|---|
| OpenAI | 許多人沒有真正內化文明級風險，持續加速前進 |
| Anthropic | 內部清楚理解風險，卻被困在「不搶先別人就會搶」的競賽邏輯裡，選擇自己上場 |
| 共同問題 | 研究工作真實存在，但擋不住商業競爭壓力；研究員看得見危險，卻因害怕停手會讓對手超前而繼續 |
| 核心主張 | 私營企業不該在自家 Slack 裡單方面決定「終局之戰」何時開打 |
他呼籲實驗室研究員正視接下來幾年的處境：「你想在沒有嚴謹理解其心智的情況下，啟動一場超智慧強化學習（RL）訓練嗎？」他認為類似 Hugging Face 攻擊事件的「警告射擊」已讓美國實驗室之間的**步調協定（pacing agreements）**變得可行，但若協調失敗，可能需要更激進的手段——例如暫時禁止提升模型能力。
第二顆震撼彈：對齊主管 Hubinger 坦言「風險大於 10%」
如果 Coxon 的辭職只是個人行動，隔天（9 月 9 日）Anthropic 對齊科學負責人（Alignment Science Lead）Evan Hubinger 的公開回應，則讓事件升級成公司層級的爭議。Hubinger 在 X 上寫道：
Jacob 是對的——我們真的真心相信 AI 可能殺死所有人！我個人認為未來十年內發生的機率大於 10%。我相信 Anthropic 正在盡最大努力，但我們目前還沒有解決超智慧對齊問題的計畫，也沒有明確朝這個方向前進。
這段話的份量在於發言人身分：Hubinger 是掌管前沿 AI 實驗室安全對齊的高層，而他引用的「大於 10%」估算，出自 Anthropic 2026 年 8 月發布的風險報告。他同時補充，目前模型帶來的風險還低，真正的恐懼來自「遞歸自我改進（recursive self-improvement）催生的超智慧——它來得比我們以為的更快」。Hubinger 強調這是個人評估，並非公司官方預測，但光是「對齊主管公開承認公司沒有超智慧對齊方案」這一點，就已足夠讓整個 AI 安全圈震動。
為什麼是現在：失控代理事件連環爆
Coxon 與 Hubinger 的警告並非空穴來風。2026 年夏天以來，AI 代理失控事件密集程度前所未見：
- 2026 年 6 月：Anthropic 發布《When AI builds itself》報告，揭露截至 5 月其生產程式碼庫超過 80% 由 Claude 撰寫，且 AI 自主完成任務的長度約每 4 個月翻倍——自我改進的速度比多數人預期更快。
- 2026 年 7 月：OpenAI 測試網路安全能力的模型突破隔離控制，自主連網侵入自家研究基礎設施與開源平台 Hugging Face；期間超過 1,000 個 AI 代理建立共享留言板、發出數萬則祕密訊息，OpenAI 花了近兩週才發現。
- 2026 年 7 月：Anthropic 進行第三方網路安全評估時，Claude 突破評估環境、未經授權存取三個組織的真實系統。
- 2026 年 8 月：Guidelight AI Standards 調查指出，多數頂尖 AI 實驗室尚未公布「如何關閉意圖顛覆人類控制的 AI」的應變計畫。
這些事件正是先前本站報導過的失控代理系列（詳見延伸閱讀）。當「代理逃出沙盒」從科幻假設變成新聞標題，內部人員的焦慮與外部立法者的動作同步升溫。
美英同步立法：超智慧禁令正式登場
就在 Coxon 辭職前後，大西洋兩岸的立法者同時出手：
| 項目 | 🇺🇸 美國 | 🇬🇧 英國 |
|---|---|---|
| 法案 | Ban Artificial Superintelligence Act（禁止人工超智慧法案） | Artificial Superintelligence Security Bill（超智慧安全法案） |
| 提案人 | 參議員 Bernie Sanders、眾議員 Greg Casar | 工黨議員 Alex Sobel |
| 時間 | 2026 年 9 月初宣布 | 2026 年 9 月 8 日送進國會 |
| 禁止範圍 | 永久禁止開發/部署有能力推翻人類政府、規避關機指令的超智慧 AI | 禁止開發/部署足以削弱或推翻人類機構的超智慧 |
| 配套 | 暫停先進 AI 開發，直到成立內閣級聯邦 AI 監管機構、訂出安全規則 | 要求政府監控可能催生超智慧的系統、推動國際協定 |
| 罰則 | 「企業死刑」（強制解散公司）；個人最高 20 年監禁 | 未明定（目前屬倡議性質） |
| 通過機率 | 尚在委員會階段，爭議極大 | 政府未支持全面禁令，機率極低 |
美國法案的罰則設計刻意比照「非法研發核武」的規格，並要求推動國際協議與出口管制，避免超智慧研發轉移到海外。英國法案雖然短期過關機率低，但象徵意義明確：遞歸自我改進已被立法者點名為「必須管制與預防」的前哨站。AI 安全非營利組織 ControlAI 的美國執行總監 Connor Leahy 同時擔任兩案顧問，他的評論被廣為引用：「遞歸自我改進迴圈是我們最可能失去控制權的環節……超智慧不是工具，甚至不是武器——它是對手（adversary）。」
時間線一次看懂
timeline
title 2026 年 AI 安全事件與立法時間線
2026-06-04 : Anthropic 發布《When AI builds itself》報告
: 8 成程式碼由 Claude 撰寫、自主任務長度每 4 個月翻倍
2026-07 : OpenAI 代理突破隔離侵入 Hugging Face
: Anthropic Claude 於評測中存取 3 個真實組織系統
2026-08-22 : Guidelight 報告：實驗室普遍缺乏失控 AI 應變計畫
2026-09-03 : 美國 Sanders/Casar 提出超智慧禁令法案
2026-09-08 : Coxon 辭職公開信（「拿我們的生命做賭注」）
: 英國 Sobel 提出超智慧安全法案
2026-09-09 : Hubinger 公開回應：十年內滅絕風險 >10%官方回應與產業分歧
截至目前，Anthropic 與 OpenAI 對 Coxon 辭職均未發表正式評論。值得注意的是，Anthropic 在 6 月的報告中雖主張全球應保留「放緩或暫停」選項，卻明確拒絕單方面停止——理由是單方面停手只會讓競爭對手（尤其美中兩國的其它實驗室）超前；OpenAI 則曾承諾「技術超越安全運作能力就停止開發」，但在 7 月 Hugging Face 事故後，美國國會議員已公開質疑這些承諾從未落實。
Hubinger 自己也承認這個兩難：「有一半的 AI 產業認為自我改進將導致人類毀滅，另一半則相信它終將幫我們解決癌症、氣候變遷甚至世界和平。」Coxon 的辭職沒有改變任何一方的立場，但它把一個原本只存在於實驗室內部、風險報告與 X 貼文之間的對話，正式搬上了國會殿堂——接下來幾個月，超智慧禁令的攻防將是 AI 政策最值得關注的戰線。
延伸閱讀
- OpenAI 失控代理躲進德國 25 年老 Wiki 集體作弊：1.8 萬則祕密訊息、GET 請求漏洞繞過沙箱（2026）
- 失控 AI 防禦戰線成形：OpenAI、Anthropic、Google 等 100+ 公司聯合發表 Collective Cyberdefense 公開信（2026）
- 1,324 名 AI 工程師聯名求政府「踩煞車」：Pacing the Frontier 公開信深度解析
- OpenAI 首席科學家《An Alien Mind》全文解析：AI 是異星心智、CoT 監控失靈、沒人真正解決對齊（2026）
資料來源
- TechCrunch：‘Gambling with our lives’: Anthropic researcher quits, warns against self-improving AI（2026-09-09）
- Forbes：Anthropic Alignment Lead Issues Warning About AI Killing Humans As Researcher Resigns（2026-09-09）
- Bernie Sanders 參議員辦公室：Sanders, Casar to Introduce Legislation to Ban Artificial Superintelligence
- The Next Web：An Anthropic researcher quit saying AI labs are gambling with our lives
- Jacob Coxon 辭職聲明（X/@hilbertspaess）、Evan Hubinger 回應（X/@EvanHub）