在r/LocalLLaMA社群中，一位用戶展示了如何將一個表現不佳的0.6B模型轉變為專業的知識蒸餾代理。這位用戶通過使用Claude Code技能，讓這個小型模型在特定任務上表現出色，特別是在文本到SQL的轉換上，顯示出小型專業模型的潛力。
傳統上，優化模型需要收集和清理數據，建立訓練流程，調整超參數，並在出錯時重啟實驗，這一過程繁瑣且耗時。而新方法則是通過知識蒸餾，利用強大的教師模型（如DeepSeek-V3）生成合成數據對，讓小型模型學習模仿教師的技能。這樣的蒸餾過程不僅可以壓縮技能，還能將整個過程包裝成一個代理技能，從而簡化使用者的操作。
這一創新方法的關鍵在於先進行教師評估，這樣可以確保學生模型不會快速學習到錯誤的知識。最終，這個經過蒸餾的小型模型在執行SQL查詢時，能夠正確地處理JOIN、GROUP BY和HAVING等操作，顯示出其在特定任務上的高效性。
這一成果表明，未來不必依賴大型模型來完成所有任務，小型專業模型能夠更好地理解特定領域的需求，從而實現更高的效率和準確性。