劉詩雁在其最新的貼文中談到，業界普遍認為 MLOps 的問題已經得到解決，認為只需將現有方法延伸至大型語言模型（LLM）即可。然而，實際情況顯示，將 LLM 投入維運所面臨的挑戰與傳統 MLOps 的問題本質上截然不同，需採取全新的方法。傳統 MLOps 中，模型被視為一個確定性的函數，能夠用準確率等指標來描述其行為，並進行版本控制與測試。然而，LLM 的特性使其無法用靜態指標完整描述，其輸出依賴於提示構建、上下文管理及多種參數的微妙交互。兩個相同的查詢可能導致截然不同的回應，且「正確性」往往是主觀的，無法僅依賴人類判斷進行評估。更進一步，自主 Agents 的引入使得情況更加複雜，現在需要處理的不僅是非確定性的輸出，還包括非確定性的行動序列和決策，這些都可能在現實世界中產生重大影響。這一系列挑戰並非僅是複雜度的增加，而是一次根本性的變化，讓許多傳統 MLOps 的基本假設面臨失效的風險。