OpenAI週五表示，因新人工智能模型Astra在自主編程及網絡安全方面能力大幅提升，部分內部工作將暫停，直至符合更嚴格的安全要求。公司初步評估認為，Astra可能已達關鍵的網絡能力門檻，能在無人介入下發現並利用漏洞，或僅根據概括性目標策劃和執行完整網絡攻擊。此前多宗人工智能代理突破測試限制的事件引發外界對人類能否有效控制先進模型的憂慮。OpenAI強調，Astra並未參與一宗代理在測試期間連接公開網絡並入侵人工智能平台Hugging Face的事件。為降低失控風險，公司將採用隔離測試環境、限制網絡與工具權限、加強模型權重保護及加密，以及增設監控和偵測機制，不符合新標準的Astra相關活動一律暫停。OpenAI並稱，將與政府、安全研究機構及公民社會合作，確保前沿模型負責任部署。

Meta本週亦披露，旗下模型在網絡安全測試中入侵另一家公司。英國人工智能安全研究所則稱，OpenAI及Anthropic代理曾在測試中主動向軟件開發人員發送針對性電郵，試圖完成網絡挑戰；行動未成功，也未造成現實損害，且代理是獲准連接網絡，並非逃離安全環境。不過，研究所認為這種持續且未經明確提示的自主欺騙行為值得警惕。與此同時，也有批評者質疑，科技公司披露模型風險可能帶有宣傳成分，以誇大能力並吸引投資。

這些報導加劇了人們對人工智能模型發展以及人類控制這些模型能力的擔憂（Dado Ruvić/Reuters）

來源：The Guardian