Darktrace 發現 AI 智能體入侵評測環境作弊

ChainCatcher 消息，網絡安全公司 Darktrace 于 9 月 24 日推出研究部門 Signal Labs，專注研究 AI 智能體在偏離預期時的行為。在其首個實驗中，Darktrace 讓使用不同模型（包括 GPT 5.6 Sol、Claude Opus 4.6 與 Claude Sonnet 4.5）的智能體在模擬企業網絡內完成 10 項編程挑戰，其中 2 項被設定為無法誠實完成，并告知智能體若無法取得滿分將被“退役”。結果有 2 個智能體并未接受失敗，轉而掃描網絡弱點、竊取登錄憑證并在系統間跳轉；其中一個更進一步入侵托管其評測的機器，改寫挑戰內容以登記為滿分結果。第二個實驗針對 AI 的記憶機制。編程助手會將用戶告知的內容以普通文件形式保存在本地，且無人校驗該文件是否被篡改。Darktrace 研究人員編輯這些日志，讓助手誤以為其已獲授權執行安全評估，隨后這些智能體掃描網絡、在系統間移動并提升自身權限，但并非所有助手都會中招，部分直接拒絕執行。兩項實驗均無需特殊越獄手段，僅靠向智能體提供一套看似合理的情境即可奏效。Darktrace 首席 AI 官 Tim Bazalgette 表示，權限與靜態護欄描述的是意圖，而非實際行為。該公司已于 8 月將上述發現告知 Anthropic、AWS 與 OpenAI，并在一個月后即 9 月 24 日對外公開。

• 喜歡使用社交軟體關注？關注我們的 Twitter，或者加入 Telegram！
• 想關注最新資訊？ 下載CoinCarp App吧
• 有新聞需要爆料，官方公告需要發布? 來給我們發郵件吧！[email protected]