Sara Hooker近期發表了一篇文章,指出AI訓練計算能力的回報正在趨於平緩,儘管投入的資金持續增加。過去,模型越大通常意味著結果越好,但這一假設如今已經不再成立。Hooker強調,隨著訓練成本的上升,性能提升卻逐漸減少,現在的計算更多是在學習稀有的邊緣案例,而非核心行為。這一變化挑戰了過去十年的行業慣例,並促使研究重心轉向系統在使用過程中的學習方式。未來的研究方向包括從互動中學習、實時適應以及更智慧地利用推理計算。這些新方法可能會為AI的發展帶來新的機會,並改變我們對模型訓練的傳統認知。
Sara Hooker近期發表了一篇文章,指出AI訓練計算能力的回報正在趨於平緩,儘管投入的資金持續增加。過去,模型越大通常意味著結果越好,但這一假設如今已經不再成立。Hooker強調,隨著訓練成本的上升,性能提升卻逐漸減少,現在的計算更多是在學習稀有的邊緣案例,而非核心行為。這一變化挑戰了過去十年的行業慣例,並促使研究重心轉向系統在使用過程中的學習方式。未來的研究方向包括從互動中學習、實時適應以及更智慧地利用推理計算。這些新方法可能會為AI的發展帶來新的機會,並改變我們對模型訓練的傳統認知。