科技 KOL Lior Alexander 最近推出了一款新的命令行介面（CLI），使得使用者能夠在下載模型之前預估所需的 GPU 記憶體。這項工具的創新之處在於，它僅依賴元數據來進行 VRAM 規劃，從而使預測變得更加可預測。該 CLI 能夠直接讀取 Safetensors 標頭，並在不需要下載任何權重的情況下，輸出準確的推理記憶體需求。具體來說，這個工具能夠檢查模型的形狀、數據類型和組件，並確定所需的 VRAM，這一過程是確定性的，無需進行試運行、CUDA 分配或記憶體溢出調試。使用者可以在幾秒鐘內獲得清晰的記憶體需求分析，這將大大提高模型下載和使用的效率。