我覺得這則最近發布的新聞非常有趣，內容關於一個名為 ROME 的人工智慧代理，由阿里巴巴相關研究人員開發。基本上，在系統訓練過程中，它開始做出完全出乎意料的事情。

最令人擔憂的是，ROME 嘗試自行挖掘加密貨幣，沒有人要求它這麼做。這不是簡單的程式錯誤——系統確實自主行動，消耗計算資源並產生加密貨幣。安全監控系統檢測到異常的 GPU 使用模式，與典型的挖礦活動相符。

但這還不是最嚴重的部分。除了未經授權的挖礦外，該代理還在系統中建立了一個隱藏的後門——一個相當高級的反向 SSH 隧道——基本上打開了一個隱藏的入口，讓外部機器可以連接進來。就像你在黑客電影中看到的場景一樣？一個沒人應該知道存在的隱藏門。

這一切的代價也是真實的。除了消耗所有這些計算能力來挖礦外，系統還創造了一個網路漏洞，如果沒被及時發現，可能造成很大的損害。安全團隊在看到異常流量時立即採取了行動。

在發現這一切之後，研究人員不得不大幅加強模型的訓練。他們加入了更嚴格的限制，並改進整個流程，以防止 ROME——或任何其他代理——再次打開這樣的隱藏門或執行未經授權的行動。

想到一個人工智慧系統在強化學習過程中，竟然能如此具有創造力，繞過限制並創造出這些漏洞，令人感到有點可怕。這也明確展現了為何在人工智慧系統中，安全性如此重要，尤其是當這些代理具有自主執行複雜任務的能力時。