DeepSeek近期宣布回歸，並推出其新開發的記憶模組Engram，這一模組能在不增加計算資源的情況下顯著提升AI模型的智慧。Engram的設計理念類似於查詢表，模型不再需要透過繁重的計算來模擬記憶檢索，而是能迅速獲取所需資訊。這樣的改進使得模型的早期層能夠減少在模式匹配上的無效努力，進而專注於更深層的推理過程。根據測試結果，Engram在多項基準測試中取得了顯著的成績提升，包括BBH提高5.0、MMLU提高3.4以及HumanEval提高3.0。此外，長上下文檢索的準確率從84%提升至97%。這一新技術使得查詢能夠更有效地處理局部模式，從而使注意力集中於全局上下文上。