高马尔今天小编(幸聽楓)要和大家分享的是小鹏汽车启动720亿参数自驾基模研发 初步验证自动驾驶规模法则,欢迎阅读~
【CNMO 科技消息】4 月 14 日，小鹏汽车在香港举办 AI 技术分享会，首次披露正在研发 720 亿参数的超大规模自动驾驶大模型，即 " 小鹏世界基座模型 "。未来，小鹏将通过云端蒸馏小模型的方式将基模部署到车端，给 "AI 汽车 " 配备全新的大腦。这款模型同时也将赋能小鹏的 AI 机器人、飞行汽车等。
小鹏汽车自动驾驶负责人李力耘介绍，小鹏基模是一个以大语言模型为骨干网络，使用海量优质驾驶数据训练的多模态大模型，具备视觉理解能力、链式推理能力和动作生成能力。通过强大的强化学习训练，基座模型不断自我进化，将逐步发展出媲美甚至超越人类的自动驾驶技术。
李力耘透露，为了研发基模，小鹏汽车早在去年就开始布局 AI 基础设施，现已建成国内汽车行业首个万卡智算集群，用以支持基座模型的预训练、后训练、模型蒸馏、车端模型训练等任务，小鹏汽车将这套从云到端的生产流程称之为 " 云端模型工厂 "。目前，小鹏 " 云端模型工厂 " 拥有 10 EFLOPS 的算力，集群运行效率常年保持在 90% 以上，从云到端的全链路迭代周期可达平均 5 天一次。
小鹏世界基座模型：具备长思维链推理能力，参数规模高达 720 亿
早在 2024 年下半年，小鹏汽车已开始面向 L4 级别的自动驾驶研发全新的 "AI 大腦 "，即小鹏世界基座模型。
小鹏研发团队利用优质自动驾驶训练数据，先后开发了多个尺寸的基座模型，目前已经着手推进 72B（72 Billion，即 720 亿）超大规模参数世界基座模型的研发，参数量是主流 VLA 模型的 35 倍左右。
小鹏世界基座模型的一大优势是具备链式推理能力（CoT），在充分理解现实世界的基础上，能够像人类一样进行复杂的常识推理，并将推理结果转化为行动，例如输出方向盘、刹车等控制信号，实现和物理世界的互動。
未来，经由基座模型的赋能，智能驾驶系统有望从 " 模仿人类 " 进化到 " 超越人类 "，最终能够处理全场景的自动驾驶问题，包括一些模型从来没在训练数据中遇到的问题。
从设计之初，小鹏汽车就将基模定位为一个可以泛化到多种具身终端的基座模型。李力耘表示：" 小鹏世界基座模型是小鹏自动驾驶真正走向 L3、L4 的基础，也会是未来小鹏所有物理 AI 终端的通用模型。" 后续，小鹏世界基座模型将全面赋能小鹏 AI 体系全图谱，应用到小鹏汽车的 AI 汽车、AI 机器人、飞行汽车上。
从 0 打造云端模型工厂，开启 AI 时代模型生产新范式
为了开发小鹏世界基座模型，小鹏汽车打造了一座 " 云端模型工厂 "，工厂 " 车间 " 涵盖基座模型预训练和后训练（强化学习训练）、模型蒸馏、车端模型预训练到部署上车的完整生产链路。" 云端模型工厂 " 采用强化学习、模型蒸馏的技术路线，能够高效生产 " 小身材、大智商 " 的端侧模型，甚至为不同需求的汽车定制不同的 " 大腦 "，让 " 千人千面 " 的模型研发成为可能。
小鹏汽车从 2024 年开始搭建 AI 基础设施（AI Infra），当前已建立起万卡规模的智能算力集群，是目前国内汽车行业最大的自动驾驶算力集群。小鹏汽车的算力储备达到 10EFLOPS，集群利用率常年高达 90% 以上，高峰时期的运行效率甚至达到 98%。
小鹏世界基座模型负责人刘博士介绍，多模态模型训练的主要瓶颈不仅是 GPU，也需要解决数据访问的效率问题。小鹏汽车自主开发了底层的数据基础设施（Data Infra），使数据上传规模提升 22 倍、训练中的数据带宽提升 15 倍；通过联合优化 GPU / CPU 以及网络 I/O，最终使模型训练速度提升了 5 倍。目前，小鹏汽车用于训练基座模型的视频数据量高达 2000 万 clips，这一数字今年将增加到 2 亿 clips。
依托强大的 AI 基础设施和数据基础设施，小鹏开启了全新的基座模型研发范式，从云端模型预训练到车端模型部署，整个 " 云端模型工厂 " 的迭代周期达到平均 5 天一次。
时隔一年，小鹏汽车在物理世界 AI 领網域取得三大阶段性成果
2024 年是汽车行业的 " 端到端 " 之年，在率先量产端到端大模型一年之时，小鹏汽车又在物理世界大模型研发上再进一步。小鹏汽车在分享会上披露了基模研发的三个阶段性成果：
阶段性成果 1：验证规模法则在自动驾驶领網域持续生效；
阶段性成果 2：在后装算力的车端成功实现基模控车；
阶段性成果 3：启动 72B 参数基模训练，搭建针对强化学习的模型训练框架。
规模法则（Scaling Law）揭示了大模型的性能如何随着模型的计算量、训练数据量和参数量的提升而提升，被视为 AI 领網域的 " 摩尔定律 "。规模法则在大语言模型（LLM，Large Language Model）领網域已被充分验证，但自动驾驶基座模型复杂得多，它的训练数据远不止单模态的文本数据，还包括摄像头信息、导航信息等关于物理世界的多模态数据，本质上，它要求模型对物理世界形成认知和理解。利用驾驶数据训练基模，尤其是参数规模逐步扩大到百亿级别之后，规模法则是否还持续生效？此前行业内不曾有过充分的验证。
小鹏团队首次验证了规模法则在自动驾驶领網域持续生效，刘博士表示：" 过去一年，我们做了大量实验，在 10 亿、30 亿、70 亿、720 亿参数的模型上都看到了明显的规模法则效应：参数规模越大，模型的能力越强。同样的模型大小，训练数据量越大，模型的能力也会越强。"
不久前，小鹏汽车将理论变为现实，在后装算力的车端上用小尺寸基模实现了控车。尽管只是非常早期的实车测试，全新基模已经展现出令人惊喜的基础驾车技能。
小鹏汽车去年就已开始研发强化学习技术，用以提升基座模型的性能天花板。刘博士表示，强化学习能够帮助模型自我进化，学会处理训练数据中没有的长尾问题，做到极致安全的自动驾驶。只有足够强大的基座模型，才能被强化学习不断激发出能力上限。这也是小鹏汽车选择云端蒸馏路线的原因之一：在云端不计成本地训练出足够聪明且泛化能力强的模型，将其蒸馏到适配车端算力的小尺寸模型上，最终可让车端模型的性能超越车端算力 " 一亩三分田 " 的限制。
值得一提的是，强化学习、云端蒸馏等技术方案，在今年爆火的 DeepSeek 论文中都得到了验证。
基模研发是小鹏汽车 "AI 化 " 转型的重要一步，不过，即便来到 " 大模型时代 "，过去 " 规则时代 " 的领先经验仍在发挥作用。在开发强化学习的奖励模型（Reward Model）时，研发团队基于规则经验设计了奖励函数，将规则时代的沉淀转化为了训练基座模型的生产力。
同时，小鹏汽车已经着手开发世界模型 ( World Model），作为 " 云端模型工厂 " 的重要一环，支持基座模型的性能优化。刘博士介绍，小鹏的世界模型是一种实时建模和反馈系统，能够基于动作信号模拟出真实环境状态，渲染场景，并生成场景内其他智能体（也即交通参与者）的响应，从而构建一个闭环的反馈网络，帮助基座模型不断进化，逐渐突破过去 " 模仿学习 " 的天花板。
关于小鹏世界基座模型研发和训练成果更多的细节，今年 6 月小鹏汽车将会在计算机视觉国际顶会 CVPR 上进一步分享，敬请期待。
关于小鹏汽车启动720亿参数自驾基模研发 初步验证自动驾驶规模法则就分享完了，您有什么想法可以联系小编(幸聽楓)。