AI代理變革:五大難以察覺的安全挑戰2025.03.24
全文共1544字,讀完約需6分鐘

企業營運自動化已成大勢所趨,而人工智能(AI)代理的出現更將帶來顛覆性變革。五項由AI代理衍生的安全挑戰,不容忽視。

香港於2月發布2025-26年度財政預算案,其中提及推動香港成為AI產業國際交流協作的匯聚地。早前正式投入服務的AI超算中心、本港首個AI大模型的推出,以及即將成立的香港AI研發院,均反映特區政府對AI發展的重視與決心。

企業營運自動化已成大勢所趨,而AI代理的出現更將帶來顛覆性變革。隨著AI代理融入企業營運,企業團隊或會使用作業系統、瀏覽器或平台內建的代理程式,或將其整合至Microsoft Teams等日常工具。此外,部分企業會自行開發代理程式,或使用SaaS供應商提供的「代理即服務」(Agents as a Service)。企業AI代理應用容易涉及敏感數據處理,並衍生出一系列網絡安全風險及管理挑戰,引發安全隱憂。

技術日新月異,網絡安全策略亦須與時俱進,以下是五項由AI代理衍生的安全挑戰,雖難以察覺,但絕對不容忽視。

一、人類員工及其工作區將成為高效生產機器

無論透過工作站、瀏覽器、SaaS應用程式,或三者結合運用AI代理,員工生產力勢必大幅提升。員工可藉助AI代理管理虛擬團隊,使團隊間能夠互動並自主運行。然而,當AI深度融入工作流程,風險亦隨之增加。無論是內部威脅還是外部攻擊者,一名高度依賴AI的員工一旦遭受入侵,風險將成倍擴大。

二、隱藏的AI代理

AI代理不僅可由AI及開發團隊自主部署,用戶亦可透過SaaS應用程式、作業系統工具或瀏覽器部署,這意味著AI代理可能在缺乏適當的IT與安全流程下被廣泛採用,甚至IT團隊可能完全無法察覺其存在。

缺乏可視度令企業面臨重大安全風險。未經授權的AI代理可能在無監管的情況下運行,從而於無法預料的地方引入漏洞。

三、從開發人員到全方位研發及營運

生成式AI已顯著提升開發人員的生產力,而AI代理的出現更徹底改變其角色。開發人員不再僅負責編寫程式,而是能夠獨立完成整個研發和營運流程,成為全能型人才。隨著AI代理發展,開發人員能夠自主管理整個應用程式開發及維護的端到端流程,包括程式編寫、系統整合、品質測試、部署上線、生產運行及故障維護。然而,開發人員的生產力與職責提升,亦意味著存取權限增加。若開發人員的身份遭受惡意攻擊者入侵,風險將大幅增加,使其成為企業內最具權限與價值的攻擊目標之一。

四、人機協作:風險與影響

隨著企業採用AI代理,人機協作機制變得至關重要。這些負責監督AI代理的人類決策者,將承擔各種關鍵職責,包括審批AI代理的請求及例外情況、確認其執行的任務是否符合預期,以及調整AI代理的行為,以優化未來決策。

然而,這些關鍵決策者亦更容易成為惡意攻擊者的目標。惡意攻擊者可能試圖滲透架構,利用特權提升手段,獲取未經授權的存取權限。儘管人機協作是確保AI代理安全性及可控性的重要機制,但若這些關鍵決策者被攻擊或操縱,企業會面臨極大的安全風險。

五、數以百萬計的AI代理機器身份

機器身份的增長速度前所未有,目前的數量已經是人類身份的45倍,且僅是冰山一角。以輝達(Nvidia)行政總裁黃仁勳的願景為例,他期望輝達有天成為擁有五萬名員工的企業,管理一億名AI助手。在未來的企業環境中,數以百萬計的AI代理將同時運行,各自管理不同的任務,共同協作並最終實現長期目標。如此龐大的機器身份數量,將為身份管理與安全性帶來巨大挑戰。

企業必須確保安全、合規且可信賴的部署,方能安全地大規模部署AI代理。其中的關鍵包括對所有活動的全面可視性、強大的身份驗證機制、最低權限存取、即時存取控制(Just-in-time access),以及可追溯至身份的全面會話稽核。這些措施不僅適用於人類與機器身份,在應對AI代理帶來的複雜挑戰時,這些措施將成為降低風險的關鍵。(作者為CyberArk 全球策略夥伴解決方案副總裁)