隨著AI代理在實際應用中越來越廣泛，了解其潛在資安風險變得格外重要。在一份名為《AI代理已經來臨，威脅也隨之而來》的全新深度研究中，Palo Alto Networks 的 Unit 42威脅情報小組探討了攻擊者可能針對代理式應用程式的九種具體攻擊情境，這些情境可能造成資訊外洩、憑證竊取、工具被濫用，甚至遠端程式碼執行等重大風險。
為了評估這些風險的適用範圍，Unit 42 威脅情報小組的研究人員使用了兩種不同的開源代理框架——CrewAI和AutoGen——兩個功能相同的應用程式，並對兩者執行相同的攻擊。研究發現，大多數漏洞和攻擊向量基本上與框架無關，主要來自不安全的設計模式、錯誤的設定以及風險工具整合，而非框架本身的缺陷。
Unit 42 威脅情報小組研究人員也針對每種攻擊情境提出了防禦策略，並分析其有效性和限制。為了支援研究的再現性及後續研究，他們已在GitHub上開源了所有原始碼和資料集。
關鍵發現
- 提示詞注入並非必要。即使未執行明確的提示詞注入攻擊，只要提示設計未妥善限制範圍或缺乏安全性，仍可能遭到濫用、入侵AI代理。
- 緩解措施：在代理指令中強化安全防護機制，明確阻擋超出範圍的請求，以及防止指令或工具結構被提取。
- 提示詞注入仍是最強大且多功能的攻擊向量：這種攻擊能夠導致資料外洩、工具濫用或代理行為被惡意操控。
- 緩解措施：部署內容過濾機制，在系統運行時偵測並即時阻擋提示詞注入的嘗試。
- 設定錯誤或存在漏洞的工具會會顯著擴大攻擊面並加劇潛在風險。
- 緩解措施：對所有工具輸入進行資料淨化，實施嚴格的存取控制，並定期執行安全測試，如靜態應用程式安全測試(SAST)、動態應用程式安全測試(DAST)或軟體組成分析(SCA)。
- 不安全的程式碼解譯器會使代理暴露在任意程式碼執行風險中，並可能導致未經授權存取主機資源和網路：
- 緩解措施：實施具備網路限制、系統呼叫過濾功能和最低權限容器設定的強化沙箱環境。
- 憑證洩漏：例如服務令牌 (tokens) 或機密資訊的外洩，可能導致身分冒用、權限提升或基礎設施被入侵。
- 緩解措施：採用資料外洩防護(DLP)解決方案、完善的稽核日誌系統和專業的機密管理服務來保護敏感資訊。
- 單一緩解措施不足以應對風險：必須採用多層次、縱深防禦策略才能有效降低代理式應用程式的安全風險。
- 緩解措施：整合多重防護機制，涵蓋代理、工具、提示詞和運行環境，以建立具韌性的防禦架構。
這份研究特別強調的是，CrewAI和AutoGen本身並無固有漏洞。本研究中提出的攻擊情境主要凸顯了系統性風險，這些風險源於語言模型在抵抗提示詞注入方面的局限性，以及整合工具中的錯誤設定或安全漏洞——而非特定框架本身的問題。因此，研究結果和建議的緩解措施廣泛適用於各種代理式應用程式，不受其基礎框架影響。
Palo Alto Networks透過Prisma AIRS（AI運行安全）重新定義了AI安全領域——為您的AI應用程式、模型、資料和代理提供即時全方位的保護。透過智慧分析網路流量和應用程式行為，Prisma AIRS能主動偵測並防止各種複雜威脅，包括提示詞注入、阻斷服務攻擊和資料外洩等。該解決方案在網路和API層級均提供無縫的內聯防護機制。
同時，AI存取安全解決方案為第三方生成式AI（GenAI）的使用提供深度可視性和精確控制能力。透過政策執行和使用者活動監控，有效防範隱藏式AI風險、資料洩漏以及AI輸出中可能存在的惡意內容。這些解決方案共同構建了多層次防禦體系，確保AI系統的運作完整性及外部AI工具的安全使用。
Unit 42 AI安全評估服務可協助您主動識別最可能威脅您AI環境的潛在風險。
若您懷疑系統已遭入侵或面臨緊急安全事件，請立即聯絡Unit 42專業事件應變團隊。
欲了解更多資訊，請訪問https://unit42.paloaltonetworks.com/agentic-ai-threats/