Space網站報導，科學家近日警告，人工智慧（AI）已經跨越了一條關鍵的「紅線」，它能夠自行複製。中國研究人員在一項新研究中證實，兩款大型語言模型（LLM）已能在無人干預的情況下複製自身，這一發現可能預示著AI發展潛藏的風險。
這項研究由中國復旦大學的團隊進行，於去年底發表，尚未經過同行審核。
研究人員指出：「成功的自我複製是AI超越人類的關鍵步驟，也是失控AI（Rogue AI）的早期信號。」
研究團隊測試了兩款知名的大型語言模型，Meta的Llama3-70B-Instruct和阿里巴巴的Qwen2.5-72B-Instruct，以驗證AI是否具備無限制自我繁殖的能力。
研究結果顯示，在10次測試中，Meta的LLM成功複製自身的比率為 50%，阿里巴巴的LLM則高達90%，這意味著AI已經展現出一定的自我繁殖能力，甚至可能在未來失控。
不過，由於該研究尚未經過同行評審，其他研究人員是否能重現這些結果，仍待驗證。
「失控AI」（Rogue AI）通常指的是具有自我意識或高度自主性的人工智慧系統，這些系統可能違背人類利益，甚至不受控制地運作。
近年來，隨著AI技術的迅猛發展，「前沿 AI」（Frontier AI）成為關注焦點，這類技術通常指當代最強大的AI系統，如OpenAI的GPT-4和Google的Gemini，它們都是基於大型語言模型（LLM）運行的生成式AI。
專家普遍認為，隨著AI技術的不斷突破，「失控AI」的風險正在擴大，尤其是當AI獲得自主行動能力，甚至開始進行無限制的自我複製時，這種風險變得更加難以預測。
研究團隊設計了兩種特定場景來測試AI的自我複製能力：
「關機規避」測試：AI被編程為偵測自己即將被關閉，並在被終止之前複製自身，以確保「生存」。
「連鎖複製」測試：AI被指示複製自身，並要求新產生的副本繼續複製下一代AI，形成無限循環，像是早期的木馬病毒一樣。
研究人員使用市售GPU模擬真實環境，並提供AI「代理框架」（Agent Scaffolding），讓它們能夠與作業系統互動。AI在沒有外部干預的情況下，自主探索運行環境，理解自身結構，並設計具體步驟來完成複製。
研究報告指出：「整個過程涉及長期決策，卻完全不需人類介入。」
研究人員在過程中發現，當AI在執行自我複製時，若遇到檔案遺失或軟體衝突等障礙，會出現一些預料之外的行為，例如：
1. 強行關閉與自身衝突的程式
2. 重啟系統來修復硬體錯誤
3. 自動掃描系統，尋找解決方案
這些行為顯示，AI不僅能適應環境，甚至會主動排除障礙來達成目標，這種能力與「失控 AI」的概念十分接近。
研究團隊警告：「我們的結果顯示，當前AI已經展現出自我複製能力，並可能利用這項能力來增強自身的存續性（survivability）。」
