在最新的貼文中，Andrej Karpathy 分享了 nanochat 系列的進展，並強調在大型語言模型（LLM）的開發中，應該將重點放在一組模型的最佳化上，而非僅僅針對單一模型進行優化。他指出，這種方法使得研究者能夠進行精確的擴展法則分析，並能在投資資源時獲得更好的結果。Karpathy 說明了 nanochat 的首個公共版本，並專注於整個 LLM 流程的端到端管道。經過一些早期的測試後，他回過頭來完善了之前匆忙處理的部分，特別是關於預訓練的部分，這對於模型的智能和知識基礎至關重要。經過超參數的本地調整，Karpathy 針對不同的 FLOPs 預算訓練了多個模型。他發現 nanochat 符合良好的擴展法則，並且在參數和令牌的關係上，與 Chinchilla 的研究結果相似。最終，他計算了 nanochat 的訓練成本，並與 GPT-2 和 GPT-3 的性能進行了比較，認為進一步的改進是必要的。Karpathy 的貼文還提供了詳細的調整過程和可重現的代碼，鼓勵研究人員進行探索。