高馬爾今天小編(幸聽楓)要和大家分享的是小鵬汽車啟動720億參數自駕基模研發 初步驗證自動駕駛規模法則,歡迎閱讀~
【CNMO 科技消息】4 月 14 日，小鵬汽車在香港舉辦 AI 技術分享會，首次披露正在研發 720 億參數的超大規模自動駕駛大模型，即 " 小鵬世界基座模型 "。未來，小鵬将通過雲端蒸餾小模型的方式将基模部署到車端，給 "AI 汽車 " 配備全新的大腦。這款模型同時也将賦能小鵬的 AI 機器人、飛行汽車等。
小鵬汽車自動駕駛負責人李力耘介紹，小鵬基模是一個以大語言模型為骨幹網絡，使用海量優質駕駛數據訓練的多模态大模型，具備視覺理解能力、鏈式推理能力和動作生成能力。通過強大的強化學習訓練，基座模型不斷自我進化，将逐步發展出媲美甚至超越人類的自動駕駛技術。
李力耘透露，為了研發基模，小鵬汽車早在去年就開始布局 AI 基礎設施，現已建成國内汽車行業首個萬卡智算集群，用以支持基座模型的預訓練、後訓練、模型蒸餾、車端模型訓練等任務，小鵬汽車将這套從雲到端的生產流程稱之為 " 雲端模型工廠 "。目前，小鵬 " 雲端模型工廠 " 擁有 10 EFLOPS 的算力，集群運行效率常年保持在 90% 以上，從雲到端的全鏈路迭代周期可達平均 5 天一次。
小鵬世界基座模型：具備長思維鏈推理能力，參數規模高達 720 億
早在 2024 年下半年，小鵬汽車已開始面向 L4 級别的自動駕駛研發全新的 "AI 大腦 "，即小鵬世界基座模型。
小鵬研發團隊利用優質自動駕駛訓練數據，先後開發了多個尺寸的基座模型，目前已經着手推進 72B（72 Billion，即 720 億）超大規模參數世界基座模型的研發，參數量是主流 VLA 模型的 35 倍左右。
小鵬世界基座模型的一大優勢是具備鏈式推理能力（CoT），在充分理解現實世界的基礎上，能夠像人類一樣進行復雜的常識推理，并将推理結果轉化為行動，例如輸出方向盤、刹車等控制信号，實現和物理世界的互動。
未來，經由基座模型的賦能，智能駕駛系統有望從 " 模仿人類 " 進化到 " 超越人類 "，最終能夠處理全場景的自動駕駛問題，包括一些模型從來沒在訓練數據中遇到的問題。
從設計之初，小鵬汽車就将基模定位為一個可以泛化到多種具身終端的基座模型。李力耘表示：" 小鵬世界基座模型是小鵬自動駕駛真正走向 L3、L4 的基礎，也會是未來小鵬所有物理 AI 終端的通用模型。" 後續，小鵬世界基座模型将全面賦能小鵬 AI 體系全圖譜，應用到小鵬汽車的 AI 汽車、AI 機器人、飛行汽車上。
從 0 打造雲端模型工廠，開啟 AI 時代模型生產新範式
為了開發小鵬世界基座模型，小鵬汽車打造了一座 " 雲端模型工廠 "，工廠 " 車間 " 涵蓋基座模型預訓練和後訓練（強化學習訓練）、模型蒸餾、車端模型預訓練到部署上車的完整生產鏈路。" 雲端模型工廠 " 采用強化學習、模型蒸餾的技術路線，能夠高效生產 " 小身材、大智商 " 的端側模型，甚至為不同需求的汽車定制不同的 " 大腦 "，讓 " 千人千面 " 的模型研發成為可能。
小鵬汽車從 2024 年開始搭建 AI 基礎設施（AI Infra），當前已建立起萬卡規模的智能算力集群，是目前國内汽車行業最大的自動駕駛算力集群。小鵬汽車的算力儲備達到 10EFLOPS，集群利用率常年高達 90% 以上，高峰時期的運行效率甚至達到 98%。
小鵬世界基座模型負責人劉博士介紹，多模态模型訓練的主要瓶頸不僅是 GPU，也需要解決數據訪問的效率問題。小鵬汽車自主開發了底層的數據基礎設施（Data Infra），使數據上傳規模提升 22 倍、訓練中的數據帶寬提升 15 倍；通過聯合優化 GPU / CPU 以及網絡 I/O，最終使模型訓練速度提升了 5 倍。目前，小鵬汽車用于訓練基座模型的視頻數據量高達 2000 萬 clips，這一數字今年将增加到 2 億 clips。
依托強大的 AI 基礎設施和數據基礎設施，小鵬開啟了全新的基座模型研發範式，從雲端模型預訓練到車端模型部署，整個 " 雲端模型工廠 " 的迭代周期達到平均 5 天一次。
時隔一年，小鵬汽車在物理世界 AI 領網域取得三大階段性成果
2024 年是汽車行業的 " 端到端 " 之年，在率先量產端到端大模型一年之時，小鵬汽車又在物理世界大模型研發上再進一步。小鵬汽車在分享會上披露了基模研發的三個階段性成果：
階段性成果 1：驗證規模法則在自動駕駛領網域持續生效；
階段性成果 2：在後裝算力的車端成功實現基模控車；
階段性成果 3：啟動 72B 參數基模訓練，搭建針對強化學習的模型訓練框架。
規模法則（Scaling Law）揭示了大模型的性能如何随着模型的計算量、訓練數據量和參數量的提升而提升，被視為 AI 領網域的 " 摩爾定律 "。規模法則在大語言模型（LLM，Large Language Model）領網域已被充分驗證，但自動駕駛基座模型復雜得多，它的訓練數據遠不止單模态的文本數據，還包括攝像頭信息、導航信息等關于物理世界的多模态數據，本質上，它要求模型對物理世界形成認知和理解。利用駕駛數據訓練基模，尤其是參數規模逐步擴大到百億級别之後，規模法則是否還持續生效？此前行業内不曾有過充分的驗證。
小鵬團隊首次驗證了規模法則在自動駕駛領網域持續生效，劉博士表示：" 過去一年，我們做了大量實驗，在 10 億、30 億、70 億、720 億參數的模型上都看到了明顯的規模法則效應：參數規模越大，模型的能力越強。同樣的模型大小，訓練數據量越大，模型的能力也會越強。"
不久前，小鵬汽車将理論變為現實，在後裝算力的車端上用小尺寸基模實現了控車。盡管只是非常早期的實車測試，全新基模已經展現出令人驚喜的基礎駕車技能。
小鵬汽車去年就已開始研發強化學習技術，用以提升基座模型的性能天花板。劉博士表示，強化學習能夠幫助模型自我進化，學會處理訓練數據中沒有的長尾問題，做到極致安全的自動駕駛。只有足夠強大的基座模型，才能被強化學習不斷激發出能力上限。這也是小鵬汽車選擇雲端蒸餾路線的原因之一：在雲端不計成本地訓練出足夠聰明且泛化能力強的模型，将其蒸餾到适配車端算力的小尺寸模型上，最終可讓車端模型的性能超越車端算力 " 一畝三分田 " 的限制。
值得一提的是，強化學習、雲端蒸餾等技術方案，在今年爆火的 DeepSeek 論文中都得到了驗證。
基模研發是小鵬汽車 "AI 化 " 轉型的重要一步，不過，即便來到 " 大模型時代 "，過去 " 規則時代 " 的領先經驗仍在發揮作用。在開發強化學習的獎勵模型（Reward Model）時，研發團隊基于規則經驗設計了獎勵函數，将規則時代的沉澱轉化為了訓練基座模型的生產力。
同時，小鵬汽車已經着手開發世界模型 ( World Model），作為 " 雲端模型工廠 " 的重要一環，支持基座模型的性能優化。劉博士介紹，小鵬的世界模型是一種實時建模和反饋系統，能夠基于動作信号模拟出真實環境狀态，渲染場景，并生成場景内其他智能體（也即交通參與者）的響應，從而構建一個閉環的反饋網絡，幫助基座模型不斷進化，逐漸突破過去 " 模仿學習 " 的天花板。
關于小鵬世界基座模型研發和訓練成果更多的細節，今年 6 月小鵬汽車将會在計算機視覺國際頂會 CVPR 上進一步分享，敬請期待。
關于小鵬汽車啟動720億參數自駕基模研發 初步驗證自動駕駛規模法則就分享完了，您有什麼想法可以聯系小編(幸聽楓)。