高馬爾
一個信息發佈的網站

大語言模型火爆的今天,我們為什麼還要擁抱世界模型?

今天小編(惠惠君)要和大家分享的是大語言模型火爆的今天,我們為什麼還要擁抱世界模型?,歡迎閱讀~

圖靈獎得主楊立昆認為,目前 AI 界持續追捧的大語言模型并非十全十美,它隐藏着四個難以突破的致命弱點:一是理解物理世界,二是擁有持久記憶,三是具備推理能力,四是復雜規劃能力。

而能夠克服第一個 " 致命弱點 " 的技術,叫作世界模型。

這聽起來或許很抽象,但你一定知道谷歌的 3D 遊戲、特斯拉的自動駕駛。

世界模型意味着機器能夠像人一樣辨别物理空間、理解物理規律、根據經驗做出推理決策。

與大語言模型不同的是,世界模型不再遵循從海量文本語料生成概率的邏輯,而是在深度分析大規模現實世界視頻後推測因果。

就像人類世界的嬰兒一樣,在互動學習中構建對這個世界的認知。

想象一個剛出生的嬰兒,她的眼睛尚未完全聚焦,卻能通過觸摸、溫度、聲音的碎片拼湊出世界的輪廓。人類大腦用數百萬年進化出這種能力——将感官信息轉化為對物理規律的理解。

而這恰是今天人工智能所欠缺的,世界模型正在努力發展的——從數據中重構對重力、時間等知識的理解。

世界模型的概念最早可追溯至 1980s 到 1990s 的認知科學和控制理論,那時的研究者受心理學影響,提出 AI 系統需要構建對環境的内部模拟,從而進行預測和決策,即 AI 的環境建模能力。

這裡有一個重要的要素:環境。

從生物學上來講,不論是微生物、動物還是人,行為都遵循着一個最基本的規則:刺激-反應模式,即生物反應是對環境刺激的直接響應。

随着生物千億年漫長的進化,動物發展出感覺和心理,通過視覺、聽覺、嗅覺等感官感知外界,產生出興奮、恐懼等簡單情緒;人類進一步發展出自我意識,而人類意識和動物感覺最大的區别是能否自主規劃、有目的地進行決策和行動。

拿生物進化過程和 AI 的發展歷程相比,我們不難發現,其實 AI 的終極形态 AGI 就是要發展出自主感知現實、自我規劃、有目的決策的能力。

世界模型的雛形就萌芽于心理學家對人類和動物認知理解世界并做出決策的觀察。這個理論叫作心智模型,1990 年由 David Rumelhart 提出,強調智能體需對環境形成抽象表征。

以我們自身舉例,人類大腦對周圍世界有一種習得的内在認知框架,根據經驗做決策,如看到烏雲就聯想到下雨。再比如,我們不會記住每片樹葉的形狀,卻能瞬間判斷樹枝能否承受體重。同理,世界模型就是讓機器構建起對周圍環境和世界的理解和預測能力,比如看到火就聯想到燙傷。這種抽象能力,正是這一時期學者希望機器具有的禀賦。

但是,這階段的世界模型研究停留在理論構想階段,雖有了較為清晰的定義和目标,仍沒有具體的技術路徑。

世界模型研究開始落地是 2000s 到 2010s 的計算建模階段,随着強化學習和深度學習的深入發展,學者開始嘗試用神經網絡構建可訓練的世界模型。

強化學習通過獎懲機制讓其在與環境互動過程中不斷習得策略,類似于 " 訓狗 ",深度學習通過分層特征提取讓其從海量數據中自動學習規律,類似于 " 煉金 "。

2018 年,DeepMind 《World Models》(Ha & Schmidhuber)論文首次用"VAE+RNN+ 控制器 " 的三段式架構,構建可預測環境的神經網絡模型,成為現代世界模型的裡程碑。

這一過程類似于 " 造夢 " ——先通過自動編碼器 VAE 将現實場景壓縮成數據,再利用 RNN 循環神經網絡推演未來可能的情節,最後用精簡的控制器指導行動。這意味着世界模型首次具備了顱内推演的能力,像人類一樣在行動前預判後果,大大降低了試錯成本。

2022 年後,世界模型進入大模型時代,借助 Transformer 的序列建模能力和多模态學習技術,應用範圍從單一模态擴展到跨模态仿真,世界模型的推演也從 2D 走向 3D(如 OpenAI 的 GATO、DeepMind 的 Genie)。

近期研究如 Meta 的 VC-1、Google 的 PaLM-E 進一步将世界模型的概念帶入公眾視野,将世界模型與大語言模型結合以實現更通用的環境推理成為一種技術發展路徑。

Google 的 PaLM-E(5620 億參數)模型成功将語言模型與視覺、傳感器數據等物理世界信息結合,機器人能夠理解復雜指令(如 " 撿起掉落的錘子 ")并适應新環境執行任務。Meta Llama 系列的開源多模态框架(如 MultiPLY)進一步促進了對物理環境的 3D 感知研究。

由上,從概念推演到落地實踐,世界模型在發展中逐步摸索,漸漸走出一條從混沌到清明的路。

Transformer 架構的進化、多模态數據的爆發,讓世界模型走出訓練場,走進遊戲場,再走向真實世界——谷歌、騰訊通過其生成逼真的遊戲場景,特斯拉用神經網絡預測車輛軌迹,DeepMind 通過建模預測全球天氣。

就這樣,在實驗室中蹒跚學步的世界模型開始了他對現實物理規律的探索之路。

就像人類幼年通過遊戲感受規則完成社會化一樣,世界模型的第一關也是遊戲。

初期的模型應用仰賴規則明确的虛拟環境和邊界清晰的離散空間,如 Atari 遊戲(DQN)、星際争霸(AlphaStar),采用表格型模型(如 Dyna),後期結合 CNN/RNN 處理影像輸入。

進化至 3D 版後,谷歌 DeepMind 的 Genie 2 可通過單張圖片生成可互動的無限 3D 世界,時長達 1min,用戶可自由探索動态環境(如地形變化、物體互動)。由騰訊、港科大、中國科大聯合推出的 GameGen-O 模型可一鍵生成西部牛仔、魔法師、馴獸師等遊戲角色,還能以更高保真度、更復雜的物理效果生成海嘯、龍卷風、激光等各種場景。

經過大量訓練後,世界模型由遊戲過渡到工業場景。

遊戲引擎的核心能力在于構建高保真、可互動的 3D 虛拟環境。這種能力被直接遷移到工業場景中,用于模拟工業場景中各種可能出現故障的復雜場景。

機器人公司波士頓動力在虛拟環境中預演機器人動作(如摔倒恢復),再遷移到實體機器;特斯拉 2023 年提出的世界模型直接整合了遊戲引擎的仿真技術,利用合成數據訓練自動駕駛系統,減少對真實路測數據的依賴;蔚來的智能世界模型能夠在極短時間内推演數百種可能情境并做好預案和決策。

最近,世界模型還走進了基礎研究領網域。

DeepMind 的 GraphCast 靠世界模型處理百萬級網格氣象變量,預測天氣能力比傳統數值模拟快 1000 倍,能耗降低 1000 倍。它通過圖神經網絡架構,能夠直接從歷史再分析數據中學習天氣系統的復雜動力學,精準、高效預測全球天氣。

從遊戲般的虛拟場景到自動駕駛等現實場景,世界模型的本質是通過大量多模态資料理解物理世界的規律。未來," 世界模型 + 大語言模型 " 可能成為 AGI 的核心架構,讓 AI 不僅能聊天,還能真正理解并做出決策改變現實世界。

不過,我們為何需要世界模型?在大語言模型火爆全球的今天,是什麼讓其顯得不可替代呢?

讓 AI 真正從模仿表征到感知本質,克服其各種恐怖谷效應的關鍵是:讓它真正理解這個世界,了解現實空間和物理規律,進而理解它為什麼會做這件事,而不是機械地根據海量數據的關聯概率推測下一個 token 是什麼。

這是基于大規模文本語料的大語言模型和不斷試錯優化尋找最優路徑的強化學習做不到的,只有世界模型能做到。

傳統 AI 是數據驅動型的被動反應系統,而世界模型通過構建内部虛拟環境理解了物理、碰撞等現實規律,能夠像人類一樣通過想象預演行動後果,并在遊戲、機器人等領網域共享底層推理算力。

首先是通過底層建模和多模态整合構建出跟人類一樣的心智模型。外部,世界模型不僅模拟物理規律,還試圖理解社會規則和生物行為,從而在復雜場景中趨利避害。内部,世界模型根據感知、預測、規劃和學習的協同,形成類似人類心智的時空認知能力。

其次是因果預測和反事實推理能力。世界模型能夠基于當前狀态和行動,預測未來的演變結果。其具備類似人類的常識庫,能填補缺失信息并進行反事實推理(what if),即使未直接觀察某事件,也能推斷 " 如果采取不同行動會如何 "。這種能力使其在數據稀缺時仍能有效決策,減少對海量标注數據的依賴,在自動駕駛領網域應用較多。

最後,世界模型通過自監督學習構建對世界的通用表征,獲得了跨任務、跨場景的泛化能力,而傳統模型通常需針對特定領網域的具體任務微調。

但是,這些能力,為什麼火極一時的大語言模型做不到呢?

要弄清為什麼世界模型的預測能力和大語言模型的推測 token 能力不一樣,我們需要弄清一個概念:相關性≠因果性。前者是概率關聯、後者是因果推理。

大語言模型(如 GPT 系列)側重于大數據驅動的自回歸學習,通過海量文本數據訓練模型以生成文本,本質是預測概率,而世界模型學派認為自回歸的 Transformer 無法通往 AGI。AI 需要具備真正的常識性理解能力,這些能力只能通過深度分析大量照片、音視頻等多模态數據對世界的内在表征來獲得。

模型結構層面,大語言模型主要依賴 Transformer 架構,通過自注意力機制處理文本序列。世界模型則包含多個模塊,如配置器、感知、世界模型、角色等,能夠估計世界狀态、預測變化、尋找最優方案。

通俗地講,大語言模型訓練出的文本天才是紙上談兵的文将,對常識可能一竅不通。而世界模型更像在建模環境裡身經百戰的武将,可以憑直覺和經驗預判對手如何出招。

世界模型雖前景可期,目前依然面臨着一些瓶頸。

算力上,訓練世界模型所需要的計算資源遠超大語言模型,且存在 " 幻覺 "(錯誤預測)問題;泛化能力上,如何平衡模型復雜度與跨場景适應性仍需突破;訓練集上,多模态的數據規模更少,且需深度标注,質量把關是重中之重。

如果說類似 GPT 一樣的大語言模型已經到了能言善辯的青春期,世界模型實則還處于牙牙學語的幼年期。

總的來講,世界模型是深度學習之外的另一條探索道路。如果未來深度學習陷入發展瓶頸,世界模型可能是一種備選方案。但現階段,世界模型仍在探索期,我們仍要将主心骨放在大語言模型和深度學習這條技術線上。

多點發力,協同并進,才能讓 AI 的成長有更多道路可走。

關于大語言模型火爆的今天,我們為什麼還要擁抱世界模型?就分享完了,您有什麼想法可以聯系小編(惠惠君)。