近期的研究顯示，AI 的發展不再必須依賴大量參數和深度網絡。來自蘇黎世聯邦理工學院（ETH Zurich）和蘋果公司（Apple）的研究指向了一個驚人的結論：簡單的單層結構可能是解決AI“災難性遺忘”和促進理解與創造之間的關鍵。這些研究揭示了AI記憶的運作機制，並提出了一種新的訓練方法，可能會改變未來AI的發展模式。
首先，ETH Zurich的研究區分了“淺層遺忘”和“深層遺忘”，指出AI實際上並不會真正遺忘，而是通過“幾何漂移”將記憶隱藏在正交子空間中。此外，研究還探討了為何保護深層記憶僅需少量舊數據，而修正表層錯誤卻需要大量數據，這一反直覺的現象揭示了AI訓練的真實機制。
另一方面，蘋果公司則利用一種極簡的“單層注意力機制”來連接DINOv2（理解者）和Stable Diffusion（創造者），研究顯示簡單的線性映射在保留語義幾何結構方面優於複雜的深度網絡。這些發現提示未來AI的發展可能會從“從頭訓練大模型”轉向“通用凍結大腦 + 輕量級單層接口”，這將降低AI創新的門檻，並實現更高效的運作。
這一系列研究不僅挑戰了傳統的“暴力縮放定律”，還可能預示著模塊化AI的時代即將到來。AI的未來發展模式是否會轉向這種“通用大腦 + 插件”的模塊化形式，成為了業界熱議的話題。