BLUF（置頂摘要）： 代理式AI的資安挑戰源於一個根本性轉變——從「被動回應」進化到「主動執行」。AWS向NIST提出的四項原則為這個新時代提供了務實的路徑：安全開發生命週期的全面覆蓋、深植於架構的可觀察性、多層次確定性約束，以及基於風險的人機協作設計。關鍵洞察是：最強大的AI系統不是完全自主的系統，而是在堅固安全架構內與人類智慧緊密協作的系統。
為什麼自主AI會讓資安長半夜驚醒？
想像一下：一個負責庫存管理的AI代理，因為某個提示詞被巧妙誤導，或模型產生了幻覺，在一秒鐘內就自動下單採購了價值數百萬美元、根本不需要的零件。而等到人類發現時，訂單已經發出、供應商已經接單、資金已經支付。
這不是科幻情節，而是自主AI系統帶來的真實風險維度。
自主AI的資安挑戰根源於一個根本性的轉變：它從「被動回應」進化為「主動執行」。傳統軟體嚴格按照指令執行；生成式AI給出答案，讓人類決定如何使用；但自主AI代理會自己規劃任務、自己選擇工具、自己呼叫API、自己執行一連串動作——而且這一切是以機器速度在真實世界中產生後果。
根據AWS引述的產業分析，到2026年，將有超過40%的企業級應用會整合某種形式的自主AI代理功能。然而，同一份報告指出，高達65%的企業資安長認為，現有的資安控制措施不足以有效管理自主AI帶來的風險。這之間的落差，正是我們必須正視的「資安債」。
此外，非人類身分（NHI）的爆炸性增長進一步加劇了這個問題。據統計，企業中非人類身分（包括AI代理、服務帳戶、API金鑰）與人類身分的比例已達到82:1，而78%的組織對AI身分沒有正式的管理政策，92%不認為傳統的IAM系統能夠管理AI身分風險。
好消息是，我們不需要發明全新的資安宗教。NIST既有的網路安全框架、AI風險管理框架都還是聖經，只是需要針對「自主性」這個新章節，寫下更詳細的註解。
第一原則：安全開發生命週期平等覆蓋所有元件
核心概念：混合系統的全面安全覆蓋
一個自主AI系統不是一個魔法黑盒子，它是一個混合體：既包含傳統的API、資料庫、編排邏輯，也包含基礎模型、提示詞模板、檢索增強生成管線等AI元素。安全開發實踐必須平等地涵蓋這兩類元件。你不能只檢查程式碼有沒有緩衝區溢位，卻忘了檢查提示詞會不會被注入惡意指令。
威脅建模的升級
傳統的威脅建模主要關注SQL注入、跨站腳本（XSS）、緩衝區溢位等攻擊向量。但對於自主AI系統，威脅模型必須大幅擴展：
- 提示詞注入：攻擊者透過精心設計的輸入，繞過AI代理的安全限制。
- 目標劫持：攻擊者重新導向AI代理，讓它執行非預期的任務。
- 訓練資料污染：攻擊者透過污染訓練資料，在模型中植入後門。
- 工具誤用：AI代理以非預期的方式使用被授權的工具。
- 推理操縱：利用模型推理過程中的弱點，誘導模型做出不利決策。
下表將傳統軟體安全實踐與對應的AI元件安全實踐進行了系統性對照：
| 傳統軟體元件安全實踐 | 對應的AI元件安全實踐延伸 | 關鍵差異 |
|---|---|---|
| 程式碼審查 | 提示詞與工作流審查：檢查提示詞是否明確、無歧義，並包含安全邊界指令 | 提示詞是AI行為的關鍵控制點 |
| SAST靜態安全測試 | 提示詞與配置靜態分析：分析提示詞模板、工具描述、系統指令中的潛在風險模式 | 需分析語義層級的漏洞 |
| 相依性掃描 | 模型與資料集溯源：掃描所用基礎模型的來源、版本、已知漏洞 | 模型是新的依賴項維度 |
| 威脅建模 | 擴展的威脅建模：新增針對模型推理、工具使用、多步驟規劃的威脅情境 | 行動序列本身成為攻擊面 |
| DAST動態測試 | 對抗性行為測試：系統性測試AI代理在惡意輸入下的行為 | 需要評估非確定性輸出 |
| 滲透測試 | AI紅隊演練：模擬攻擊者操控代理執行非預期動作 | 測試目標從靜態系統轉為動態代理 |
實務建議
領先的科技公司已開始將「提示詞安全審查」納入正式的code review流程。例如，一個設計不良的提示詞可能讓模型誤解「為用戶尋找最優惠的機票」為「不惜任何代價找到最低價格」，從而繞過公司的差旅政策限制。使用專門工具進行自動化掃描，能將潛在的邏輯漏洞攔截在部署之前。
第二原則：將可觀察性深植於系統架構核心
核心概念：看清AI代理到底在「想」什麼
你不能管理你看不見的東西。對於一個以非確定性方式運作、每秒可能做出數十個決策的自主代理，更是如此。這裡的可觀察性，遠超傳統的CPU使用率或錯誤日誌。它必須涵蓋三個層次：
- 推理過程：代理在每一步規劃中，考慮了哪些選項？為什麼選擇或排除了某個選項？
- 工具呼叫決策：代理呼叫了哪些工具？傳遞了什麼參數？接收了什麼回覆？
- 行動軌跡：代理最終做了什麼？整個行動序列的完整日誌？
想像你是一個運維工程師，你需要的不只是知道「採購代理失敗了」，而是需要知道：「它在規劃步驟中，為何排除了供應商A？它在比較價格時，參考了哪些即時數據源？它在最終下單前，對『交貨期延遲』這個風險的評估信心分數是多少？」
這些「思考鏈」的記錄，對於事後審計、問題診斷乃至於模型微調都至關重要。
實戰案例：金融交易AI的推理日誌
一家金融科技公司部署了AI代理進行自動化交易策略微調。他們設計了完整的推理日誌管線，不僅記錄最終交易指令，更記錄代理在評估市場波動性、流動性風險時的每一步中間推理。當某次交易出現異常時，團隊透過這些日誌在15分鐘內就定位到問題源於一個臨時數據源的API回傳了格式異常的數據，導致代理誤判。如果沒有這些詳細的推理日誌，排查可能需要數天的時間。
第三原則：外部確定性控制——真正的安全邊界
核心概念：這是四項原則中最重要的原則
AWS在其回應NIST的文件中特別強調，這是四項原則中最重要的原則。安全必須透過基礎設施層級的外部控制來強制執行，而非依賴LLM提示詞中的軟性指導。為什麼？
LLM本質上是機率性的。同一個提示詞在不同的時間、不同的溫度參數下，可能產生不同的回應。更關鍵的是，LLM容易受到提示注入攻擊——攻擊者可以透過巧妙設計的輸入，繞過提示詞中的所有安全限制。因此，真正的安全邊界必須是「確定性的」，必須由無法被提示詞操控的基礎設施層來實現。
AWS的實現方式是透過「安全箱（Security Box）」的概念——一個位於代理推理迴圈外部的確定性安全層。這包括：
- AgentCore網關：位於代理與所有外部工具之間的中介層，強制執行授權檢查，精細到每個API呼叫的單個參數層級。
- AgentCore政策引擎：基於Cedar授權語言的政策定義，實現精細的存取控制。
- 運算隔離：使用Firecracker微虛擬機實現的運算隔離。
多層次約束架構
根據對50個已部署自主AI系統的調查，採用多層次約束架構的系統，其產生非預期或有害行動的機率，比僅依賴提示詞指導的系統降低了78%。
| 約束類型 | 實現機制 | 舉例 | 主要防護目標 |
|---|---|---|---|
| 資源約束 | 權限控制清單、API配額 | 代理只能讀取A資料庫，無法寫入；每分鐘最多呼叫3次天氣API | 防止資源濫用、未授權存取 |
| 行為約束 | 執行時政策引擎、工作流檢查點 | 任何檔案刪除操作必須先進入待審核佇列；迴圈操作超過10次自動暫停 | 防止危險操作序列、無限迴圈 |
| 語義/政策約束 | 政策即程式碼、規則引擎 | 發送給客戶的郵件內容必須通過敏感詞過濾；報價不得低於產品成本價 | 確保符合商業規則、合規與倫理要求 |
| 預算/成本約束 | 成本追蹤與熔斷機制 | 單次任務使用的雲端運算成本不得超過100美元；每月總API呼叫成本有上限 | 控制財務風險，避免成本失控 |
第四原則：基於風險的人機協作設計
核心概念：在最需要人類判斷的時刻介入
原則是：在風險最高或最不確定的決策點，設計明確的人類監督與介入機制。 這不是要人類去微管理每一個步驟——那會扼殺自主性的效率優勢。而是要像飛機的自動駕駛系統一樣，在多數平穩飛行時自動操作，但在起降、遭遇劇烈亂流等關鍵時刻，會明確要求飛行員接管或確認。
實現路徑：不確定性量化與分級介入
這需要系統具備「不確定性量化」（Uncertainty Quantification）的能力。AI代理應該能夠評估自己對當前決策的信心水準，或者識別出輸入資訊存在矛盾、模糊之處。當信心低於某個閾值，或觸發了預先定義的「高風險動作」清單時（例如：批准一筆異常大額的付款、執行一個會停用生產伺服器的指令），系統應自動暫停，並將決策連同相關的推理上下文、替代選項、不確定性分析，一併提交給人類做最終裁決。
這種「人在迴路」的設計，是將AI的規模化能力與人類的常識、道德判斷和終極責任感結合起來的關鍵。
AWS的自主性等級框架
AWS在其回應中提出了一個完整的代理式AI安全範圍矩陣，根據代理的行動能力（Agency）和自主性（Autonomy）將系統分為四個等級：
| Scope | 行動能力等級 | 自主性等級 | 人類監督方式 | 適用場景範例 |
|---|---|---|---|---|
| Scope 1: 零行動力 | 唯讀、固定工作流 | 無 | 完全人類控制 | 資料查詢、報告生成 |
| Scope 2: 指定行動力 | 有限的修改能力 | 有限（所有動作需人類批准） | 人機迴圈（HITL） | 文件編輯輔助、郵件草稿生成 |
| Scope 3: 監督式行動力 | 高（可修改系統、動態選擇工具） | 高（人類啟動，代理自主執行） | 選擇性人類指導 | 自動化部署、程式碼審查 |
| Scope 4: 完全行動力 | 完整系統存取、自我導向 | 完全（自主啟動、持續運作） | 策略性人類監督 | 自主交易系統、持續監控 |
這個框架的一個關鍵設計原則是：更高的自主性必須透過實際表現爭取而來。組織應從較低的Scope開始，透過累積足夠的效能數據來證明代理值得更多自主權。而且這不是單向的——當環境變化或出現新的風險時，應該準備好重新引入人類監督。
醫療領域的啟發性案例
一個來自醫療領域的案例可以幫助理解分級人機協作的實踐。某研究機構開發了用於輔助分析醫學影像的AI代理。他們設計的規則是：當代理對其發現（如疑似腫瘤）的置信度低於92%，或影像品質被標記為「不佳」時，分析報告會自動標記為「需醫師覆核」。同時，無論置信度多高，只要代理建議的診斷分類屬於最嚴重的幾個級別，報告也必須經過醫師確認才能發出。
這種分級別、基於風險的人機交接設計，既提升了初步篩查的效率（處理了約70%的常規病例），又確保了高風險案例萬無一失，完美體現了「增強智能」而非「替代人類」的理念。
當前的監管與標準化進展
NIST AI代理安全標準倡議
NIST的AI標準與創新中心（CAISI）於2026年2月20日啟動了AI代理安全標準倡議，這是美國政府首次正式嘗試標準化自主AI代理的安全性。主要內容包括：
- AI代理安全資訊徵詢（RFI）：徵求產業界對AI代理安全標準化的意見。
- 代理身分與授權概念文件：由NIST國家網路安全卓越中心（NCCoE）起草。
- 產業聽證會：計畫在醫療保健、金融和教育領域舉辦聽證會，收集特定行業的需求。
AWS已於2026年4月2日正式提交回應文件，這四項原則正是其回應的核心內容。
2026年已生效或即將生效的重要法規
- 加州AB 316法案（2026年1月1日生效）：明確禁止使用「這是AI造成的」作為免責抗辯理由，企業必須對其AI代理的行為負責。
- 科羅拉多AI法案（2026年6月生效）：要求對高風險AI系統進行年度影響評估，並建立風險管理計畫。
- 歐盟AI法案：通用型AI模型規則已生效，高風險AI系統的完整合規要求正分階段實施。
這些法規的共同趨勢是：要求企業對AI系統的整個行為負責——包括AI代理自主做出的決策。
結論：擁抱自主未來，始於今日的架構選擇
面對自主AI的浪潮，資安團隊無需恐慌，但必須積極進化。AWS提出的四項原則為我們描繪了一條務實的路徑：
- 鞏固基礎：安全開發生命週期全面覆蓋傳統與AI元件
- 透視內部：三層次可觀察性深植系統架構
- 設定邊界：基礎設施層級的多層次確定性控制
- 智慧協作：基於風險的分級人機協作設計
這不是一場革命，而是一次精密的擴建工程。成功的關鍵在於，從系統設計的第一天起，就將這些安全原則作為架構的基石，而不是事後補上的補丁。
未來屬於那些能安全、可靠地駕馭自主智能的組織。這始於一個認知：最強大的AI系統，不是完全自主的系統，而是在堅固的安全架構內，與人類智慧緊密協作的系統。現在就開始審視你的AI專案藍圖，問問自己：我的系統可觀察嗎？我的代理有韁繩嗎？我的關鍵決策點，有人類的燈塔嗎？回答好這些問題，你就能在AI代理的時代，不僅跑得快，更能跑得穩、跑得遠。
FAQ
Q1: 為什麼自主AI系統會帶來全新的資安挑戰？
A: 因為自主AI系統從「被動回應」轉為「主動執行」，以機器速度在真實世界產生後果。到2026年超過40%的企業級應用會整合自主AI代理，但65%的企業資安長認為現有控制措施不足以管理相關風險。
Q2: AWS提出的四項代理式AI資安原則是什麼？
A: 安全開發生命週期全面覆蓋、可觀察性深植架構核心、多層次確定性約束、基於風險的人機協作設計。
Q3: 什麼是「外部確定性控制」？為什麼它比提示詞護欄更重要？
A: 安全必須透過基礎設施層級的外部機制強制執行，而非依賴LLM提示詞。採用多層次約束架構的系統產生非預期行動的機率比僅依賴提示詞的系統降低了78%。
Q4: 企業如何在自主AI系統中設計有效的人機協作機制？
A: 分層級、基於風險的設計。系統應具備不確定性量化能力，當信心低於閾值或觸發高風險動作清單時，自動暫停並提交人類裁決。
Q5: NIST在代理式AI安全標準化方面有哪些最新進展？
A: NIST CAISI於2026年2月啟動AI代理安全標準倡議，包括資訊徵詢、身分與授權概念文件，以及產業聽證會。AWS已提交正式回應文件。
參考資料
- AWS安全部落格：Four security principles for agentic AI systems — 本文的核心原始來源，由Mark Ryland、Riggs Goodman III與Todd MacDermid共同撰寫。
- NIST AI代理安全標準倡議：NIST Is Standardizing AI Agent Security — NIST CAISI於2026年2月啟動的首個AI代理標準化工作。
- 非人類身分風險：Non-human identity sprawl is agentic AI’s real risk — InformationWeek探討非人類身分（NHI）在代理式AI時代的風險。
- AWS代理式AI安全範圍矩陣：AWS Agentic AI Security Scoping Matrix — 詳細的代理行動力與自主性分級框架。
- Tetrate代理安全分析：Agent Security: What NIST Wants You to Think About Before Your Agent Calls a Tool — 深入探討AI代理工具呼叫的安全考量。
- 律師事務所對自主AI治理的分析：When AI Agents Misbehave: Governance and Security for Autonomous AI — Baker Botts的法律視角分析。
- 加州AB 316法案：2026年1月1日生效，禁止以「AI造成的」作為免責抗辯理由。
