在最新的討論中，John Carmack 評論了 LeJEPA 論文，並指出其在自我監督學習領域的重要性。該研究承認以往的 JEPA 研究多為臨時性且充滿啟發式方法，而 LeJEPA 則提出了強有力的理論主張，聲稱等方差高斯分佈是最佳的嵌入分佈，能夠在多種下游任務中最小化最壞情況風險。這一主張經過詳細分析和示例支持，雖然在高維空間中實現等方差高斯分佈並不簡單。研究者提出了 Sketched Isotropic Gaussian Regularization (SIGReg) 作為一種良好行為的損失函數，聲稱其在維度詛咒下具有線性可擴展性。LeJEPA 的損失函數結合了 JEPA 預測損失和 SIGReg 等方差損失，並僅有一個可調的超參數。雖然 LeJEPA 中未使用預測器網絡，但在視頻序列中，預測器網絡仍可能有用。每幅訓練圖像經過增強以生成多個全局和局部視圖，損失為全局視圖嵌入的平均值與局部視圖嵌入的平均值之間的均方誤差。LeJEPA 的架構獨立性使其能夠適用於多種數據類型，包括音頻、圖像和視頻。該研究顯示，LeJEPA 在大規模基礎模型上的損失與下游任務性能之間存在顯著相關性，並能在小型數據集上從零開始訓練，達到優於傳統模型的效果。此外，論文中提供了樣本代碼，而非複雜的偽代碼，並包含 GitHub 倉庫的鏈接，以便於研究者進一步探索。