DeepMind近期的研究顯示，小型模型在生成訓練數據方面表現優於大型模型，尤其是在相同的計算預算下。研究結果指出，小型模型的訓練收益可達31.6%，且其成本僅為推理預算的一小部分。關鍵在於計算匹配取樣，這種方法使得小型模型能夠在每個問題上生成更多的解答。這不僅提高了問題的覆蓋率，還增加了推理的多樣性，儘管稍高的錯誤率可以在後期過濾。研究還發現，在數學基準測試中，問題覆蓋率提高了11%，而多樣性則增長了86%。此外，基於這些數據訓練的模型在各種設置下均顯示出一致的準確性提升，無論是學生訓練、自我改進，還是弱到強的轉移學習。這一發現可能會改變研究者在推理預算上的使用方式，未來應更注重取樣的數量，而非模型的規模。