在最新的視頻中,頻道「wow」深入探討了Google Research與牛津大學的重磅研究,揭示了大模型在推理過程中如何進行自我重訓,並重新定義了學習的本質。視頻中介紹了「情境學習」(In-Context Learning)的概念,指出這是一種在幾毫秒內發生的隱形微調過程,揭示了數學在此過程中的關鍵角色。研究表明,儘管模型的參數是「鎖死」的,但透過上下文的影響,模型能夠即時調整其權重,從而學習新任務。這一過程被形容為一場「隱形手術」,在推理的瞬間,模型實際上正在重新訓練自己。視頻還深入解析了「秩一更新」的數學結構,展示上下文如何像「濾鏡」一樣,通過簡單的線性代數操作,改變神經網絡對世界的認知。此外,未來的提示工程將不再依賴文學修辭,而是轉向數學計算,這對AI安全(如提示注入攻擊)提出了新的挑戰。整體而言,這項研究不僅推動了對大模型學習過程的理解,也為未來的AI技術發展提供了新的視角。