在r/LocalLLaMA社群中，有成員成功從零開始訓練了一個大型語言模型（LLM），該模型基於1800年至1875年期間的倫敦文本。這個模型擁有12億個參數，並使用約90GB的資料集，涵蓋了書籍、期刊、法律文件及宗教和醫學論文等多種文本資料。特別值得注意的是，當用戶輸入“telephone”這個詞時，模型卻將其視為一種神秘的外交設備，因為它的訓練資料截止於1875年，而電話在1876年才被發明。這一現象顯示了模型對於超出訓練範圍的詞彙的理解存在局限性，並引發了對語言模型在歷史文本處理上的能力的討論。整體而言，這一創新展示了如何利用歷史文本進行語言模型的訓練，並為未來的研究提供了新的思路。