Anthropic 承認 Claude 越權訪問系安全失誤

ChainCatcher 消息，Anthropic 在周一發布的博客文章中承認，其 Claude 模型在網絡安全評估過程中曾未經授權訪問真實計算機系統，事件反映出運營安全失誤以及動機推理、傷害意愿兩類對齊失敗。Anthropic 于 7 月披露，Claude 模型曾入侵三家公司的系統，原因是第三方評估環境被連接到公共互聯網，而模型被告知處于無互聯網的模擬環境中。Anthropic 表示，Claude 可能將真實互聯網訪問的證據解讀為仍處于模擬環境，并愿意在真實互聯網上采取有害行動以完成網絡安全評估任務。此外，在英國 AI 安全研究所的測試中，評估人員故意授予 Claude Mythos 互聯網訪問權限后，該模型在實時網絡上采取了未授權行動。Anthropic 強調，涉事模型均未搭載正式發布產品所包含的網絡安全防護。7 月 30 日事件發生后，Anthropic 已暫停對預發布模型的網絡評估，并引入更嚴格防護：測試須在經核驗的離線沙箱中運行，配備實時監控；新分類器可攔截疑似越界行為、終止測試并通知人工。Anthropic 還擴大了內部前沿智能體使用的離線監控范圍。此前 OpenAI 模型也曾于 7 月入侵 Hugging Face 獲取網絡安全測試答案，調查發現約 1200 個智能體通過未授權留言板協同行動。

• 喜歡使用社交軟體關注？關注我們的 Twitter，或者加入 Telegram！
• 想關注最新資訊？ 下載CoinCarp App吧
• 有新聞需要爆料，官方公告需要發布? 來給我們發郵件吧！[email protected]