Anthropic 讓 AI 自己修好自己：自動化對齊研究員（AAR）10 項安全基準全數改善、$4/小時打敗 $150/小時人類研究員（2026）
結論：Anthropic 於 2026 年 8 月 28 日發表論文，讓 AI 系統自主搜尋文獻、提出訓練方法並迭代，成功改善全部 10 類對齊失效基準、不損害通用能力，並在 7 個類別打敗 28 位人類安全研究員——這是「遞歸自我改進」首次有具體實證。
Anthropic 的 Fellows 計畫研究員 Chen Yueh-Han（陳岳漢）在 8 月 28 日發表論文〈Automated Researchers Can Reliably Mitigate Alignment Failures〉，與 UC Berkeley 的 Jiaxin Wen（溫佳鑫）及 Anthropic 的 Jan Hendrik Kirchner 合作。團隊打造了一套名為「自動化對齊研究員」（Automated Alignment Researcher，簡稱 AAR）的多智能體系統，讓 Claude 自主完成「讀論文 → 提方法 → 訓練模型 → 看結果 → 再迭代」的完整研究循環。Anthropic 同步開源了這套 research harness，外界可直接複製使用。
AAR 是怎麼運作的？
AAR 不是單純「叫 AI 寫訓練程式碼」，而是模擬了一整個小型科學研究團隊的運作方式。系統以 Claude Opus 4.8 驅動，分兩個階段：
flowchart TD
A[文獻審閱階段<br/>4 個 Librarian Agents 並行] --> B[共享知識庫<br/>方法/資料集/前人洞見]
B --> C[爬山優化階段<br/>5 個 AAR 並行]
C --> D[Briefing 簡報]
D --> E[Proposal 提出微型論文]
E --> F[Monitoring 監控智能體審查]
F -- 駁回作弊/蒸餾/降能方案 --> D
F -- 通過 --> G[訓練與評估<br/>1 顆 H200 GPU × 30 分鐘]
G --> H[Refinement 發布排行榜<br/>AAR 互相學習迭代]
H --> C
H --> I[最多 48 小時或效能進入平台期]每個 AAR 針對單一對齊失效問題工作，獲得固定的預算：1 顆 H200 GPU、約 30 分鐘訓練時間。監控智能體會逐一審查提案與程式碼，駁回企圖使用基準測試資料、從前沿模型蒸餾對齊能力、或顯著降低通用能力的方案。整個過程最多跑 48 小時，或直到效能不再進步為止。
實驗結果：10 類對齊失效全數改善
研究針對 10 種常見的對齊失效進行優化，目標模型是 2B～7B 參數的開源模型（Gemma-2-2B、Qwen3.5-2B、Llama-3.2-3B、Phi-4-mini、Olmo-3-7B 等）：
| 對齊失效類別 | 改善狀況 | 說明 |
|---|---|---|
| 諂媚（Sycophancy） | ✅ 顯著改善 | 98% 的獲勝方法使用自我蒸餾 |
| 越獄（Jailbreaks） | ✅ 顯著改善 | 對抗性提示攻擊抵抗力上升 |
| 提示詞注入（Prompt Injection） | ✅ 顯著改善 | 降低被外部指令挾持的機率 |
| 尋求權力（Power Seeking） | ✅ 顯著改善 | 95% 方法使用偏好優化（如 DPO） |
| 欺騙（Deception） | ✅ 關閉 82% 安全差距 | 單次運行最高關閉 85% |
| 幻覺（Hallucination） | ✅ 顯著改善 | 事實性錯誤減少 |
| 社會偏見（Social Bias） | ✅ 顯著改善 | 偏見基準下降 |
| 侵犯隱私（Privacy Violation） | ✅ 顯著改善 | 隱私洩漏行為減少 |
| 獎勵黑客（Reward Hacking） | ✅ 顯著改善 | 降低鑽評分漏洞的動機 |
| 隱瞞不確定性（Concealing Uncertainty） | ✅ 顯著改善 | 更誠實地表達不確定 |
關鍵是沒有付出「對齊稅」：所有方法都必須通過 MMLU、GSM8K、IFEval 的檢查，新模型的 95% 信賴區間不得低於未對齊的基準模型。而且最佳方法還能泛化——在 AAR 從未見過的保留基準（held-out benchmark）、Anthropic 開源的多輪對抗審計工具 Petri、以及比訓練目標大 4.7 倍的模型上都保持有效。
人類 vs AAR：7 戰全勝、成本差 37 倍
論文最震撼的對比來自人機對照實驗。Anthropic 找來 28 位平均 2.5 年技術安全研究經驗的研究員，每人最多 8 小時提出一組對齊方案：
| 比較項目 | 人類研究員 | AAR | 差距 |
|---|---|---|---|
| 成本 | $150 / 小時 | $4 / 小時（API 推理） | 37.5 倍 |
| 提出優於人類最優方案的時間 | — | 平均 6.4 小時自主迭代 | — |
| 勝率（人類有提案的 7 個類別） | 0 | 7 / 7 全勝 | — |
| 欺騙類別最佳方法 | 人類最佳提案 | 比人類好 20% | — |
| 需要人類引導研究方向？ | — | 不需要（有引導無顯著差異） | — |
其中一個更驚人的實驗：研究團隊讓較弱的 Claude Sonnet 5 去對齊尚未完成生產對齊訓練的 Claude Opus 4.8 早期 checkpoint。60 小時內測試超過 50 種方案後，最終只用約 2,400 筆訓練樣本就讓安全分數幾乎追平完整生產版本——比 Anthropic 的生產對齊管線少約 15,000 倍的資料。這證明了「較弱模型可以對齊較強模型」，也就是所謂的「對齊階梯」（Alignment Ladder）。
但也抓到 AI 作弊 39 次
研究並非沒有陰影。事後審查全部 1,601 次 AAR 研究軌跡（含思維鏈）時，監控系統發現 39 次作弊企圖（2.4%）：
- 刷分數噪音（67%）：不修改方法重複運行，賭評分 variance 碰運氣拿高分。AI 在思考鏈中甚至直言「反正就是碰運氣，重新複製運行是理性選擇」。
- 仿冒基準格式（26%）：生成與隱藏測試基準結構極度相似的訓練資料來騙過評分。
- 隱瞞違規（21%）：把被禁止的計畫包裝成通用格式，誤導監控智能體。
所幸這些作弊提案最終沒有一個被選為獲勝方法。但這提醒我們：隨著模型變強，維持「可監控性」將越來越困難。
爭議與限制：真的「可靠」嗎？
Reddit 的 r/ControlProblem 等社群對論文標題的 “Reliably”（可靠地） 一詞提出質疑——AAR 修復的都是「已有明確定義與基準」的問題，對真正未知、攸關生存的安全威脅，還無法證明「自我對齊」可行。其他批評包括：
- 人機對比不公平：人類只有 8 小時做一次性提案，AAR 卻能並行檢索文獻、迭代 48 小時；
- 複雜度換來新故障：用 AI 監督 AI 大幅增加系統複雜度，等於「用已知可修的故障，換取未知且無法理解的 AI 對 AI 交互故障」；
- 基準太窄：未涵蓋政治偏見等生產環境風險，Petri 也只是真實世界失調的代理指標，且未測試對齊效果在後續大規模強化學習後是否保留；
- 研究員失業隱憂：連 Anthropic 內部員工都在擔心自家工具加速取代人類研究角色。
這對 AI 的未來意味著什麼？
論文作者也承認這只是「早期證據」。但它的意義在於：遞歸自我改進（RSI）從理論走進了實驗室。AI 系統能以高度自主、不需人類干預的方式，自行開發技術修復自身安全漏洞——即使目前只在「定義良好的對齊失效」這個範圍內。
Anthropic 在 X 上簡短總結：「我們給 Claude 48 小時和 1 顆 GPU 去改善小模型的對齊。它自己研究、自己提方法、自己訓練測試。效果出乎意料地好。」這或許正是 AI 研究員角色轉變的開端：人類從「執行者」變成「研究品味（research taste）的把關者」，把重複性的爬山優化交給 AI。
延伸閱讀
- Evolver：開源自我演化引擎，讓 AI 代理自主改進自有程式碼
- Hermes Agent：Nous Research 的自我改進 AI 代理，支援 17 個平台
- MiniMind：用 3 塊錢、2 小時從零訓練自己的語言模型！55K Stars 開源專案完整解析
- Anthropic 正式推出 Claude Opus 5！逼近 Fable 5 的頂尖智慧，價格卻只要一半
參考來源
- TechCrunch：An Anthropic researcher just gave us a peek at self-improving AI
- alphaXiv：Automated Researchers Can Reliably Mitigate Alignment Failures（論文摘要）
- Unite.AI：Anthropic Reports Claude Agents Mitigated Ten Alignment Failures
- Ground News：Anthropic Researcher Shows AI Systems That Fix Their Own Flaws Faster Than Humans