新闻中心

商汤王晓刚：天下模子带来智能驾驶3.0阶段

2025-09-23

9月21日，，，，，由汽车之家主理的「汽车之家全球AI科技大会」在北京举行。。。。。。商汤科技团结首创人、执行董事、CTO、商汤绝影CEO王晓刚出席大会，，，，，并揭晓《天下模子：智能驾驶范式演进新路标》主题演讲，，，，，分享了“绝影开悟”天下模子给智能驾驶带来的手艺变迁。。。。。。

演讲中他谈到三个焦点点：

第一，，，，，天下模子“天生式智驾”带来智能驾驶3.0阶段。。。。。。智能驾驶从依赖人工标注的“规则式智驾”1.0阶段，，，，，生长到把人类行为积累转化成为模子的“端到端智驾”2.0阶段，，，，，最终正迈向通过天下模子和强化学习带来逾越人类的“天生式智驾”3.0阶段。。。。。。

第二，，，，，“绝影开悟”天下模子推动智能驾驶在三个方面取得突破。。。。。。 一是突破数据瓶颈，，，，，通过天下模子能够天生无限长尾场景；；；；；二是有越发确定的手艺清静界线，，，，，通过仿真模拟物理天下，，，，，在仿真情形中一直实验；；；；；三是通过自主进化抵达逾越人类驾驶的体验。。。。。。

第三，，，，，“绝影开悟”天下模子实现全场景笼罩，，，，，推动智能驾驶、具身智能跨越式生长。。。。。。天下模子积累百万级数据集，，，，，笼罩种种重大的场景，，，，，实现高保真、多视角时空一致性、4D实时互动。。。。。。同时，，，，，天下模子在自动驾驶场景里开发出来的手艺系统，，，，，也将赋能具身智能生长。。。。。。

以下为主题演讲内容：

列位向导、列位同仁、列位嘉宾，，，，，各人下昼好！

很是谢谢汽车之家的约请，，，，，来加入全球AI科技大会，，，，，也能够有时机和各人分享天下模子——通用人工智能给自动驾驶带来的手艺的变迁。。。。。。

▎天下模子“天生式智驾”带来智能驾驶3.0阶段

首先，，，，，我们以为自动驾驶手艺演进的频率是很是�？？？？？？斓�。。。。。。自动驾驶作为人工智能很是主要的组成部分，，，，，它的手艺变迁也反应了人工智能生长的三个阶段。。。。。。各人较量熟悉的基于规则的智能驾驶，，，，，是自动驾驶的第一个阶段。。。。。。这一阶段通过AI输出感知的效果，，，，，建设种种规则，，，，，并预界说这些逻辑，，，，，再凭证优化物理模子实现规控。。。。。。基于上述征象，，，，，我们在人工智能生长的每个阶段会问这样一个问题：智能究竟是从那里来？？？？？？？现实上，，，，，在第一个阶段，，，，，许多的智能来自于人工。。。。。。人类需要大宗标注各类感知数据，，，，，然后获得它的输出，，，，，并人工誊写林林总总的规则。。。。。。以是在上述阶段有一句话：有几多人工就有几多的智能。。。。。。而这个阶段很像人工智能1.0生长的阶段，，，，，例如我们会做许多人脸识别的视频剖析；；；；；我们会针对安防的场景，，，，，人工输入智能的数据。。。。。。

第二个阶段是大模子的泛起，，，，，这是人工智能领域2.0，，，，，代表产品如ChatGPT。。。。。。在互联网上泛起了已往许多年人类行为的数据积累，，，，，好比种种文章、代码，，，，，这些都是人类行为智能的体现。。。。。。在自动驾驶领域，，，，，对应的是人类的驾驶行为，，，，，也就是第二阶段行业内推动的端到端自动驾驶。。。。。。端到端自动驾驶把已往长时间人类行为积累的智能转化成为模子的智能，，，，，这时间就泛起了很大的智能和体验上的跃迁。。。。。。可是其自身也有瓶颈，，，，，那即是人类的行为就是智能的天花板，，，，，同时这种智能依赖大宗高质量数据。。。。。。从自动驾驶生长来看，，，，，今天的大模子生长也遇到了上述瓶颈，，，，，由于我们在互联网上积累起来的数据价值面临枯竭田地。。。。。。

因此，，，，，便进入了第三个阶段，，，，，通过天下模子，，，，，通过天生式智驾，，，，，通过强化学习做出进一步的突破。。。。。。举一个很是典范的例子，，，，，2015年在围棋领域泛起了AIphaGo。。。。。。之后又泛起了AIphaZero，，，，，相较于AIphaGo，，，，，AIphaZero不需要任何人类知识的输入，，，，，它也能够爆发大宗的智能。。。。。。现现在在自动驾驶领域，，，，，各人都希望有一个天下模子，，，，，这个模子就像在围棋内里，，，，，能够创立棋盘和人类界说的围棋规则，，，，，这即是更高阶的智能。。。。。。比照围棋的例子，，，，，我们希望自动驾驶也能够通过强化学习来突破人类行为上限。。。。。。要告竣这个目的，，，，，我们就需要一个天下模子。。。。。。让天下模子来模拟物理天下的纪律、人类行为的规则和纪律。。。。。。在仿真的天下模子情形内里，，，，，机械通过强化学习做到一直的提升，，，，，以及突破人类驾驶的上限。。。。。。

我们可以看到今天在人工智能3.0的生长中，，，，，人们还提出了具身智能，，，，，这是从原来互联网数据走出来，，，，，通过跟物理天下交互爆发的新智能。。。。。。在具身智能领域，，，，，天下模子也会饰演很是主要的角色。。。。。。

▎“绝影开悟”天下模子推动智能驾驶在三个方面取得突破

回到端到端自动驾驶所面临的问题，，，，，主要有三个方面。。。。。。一是需要大宗的数据。。。。。。特斯拉拥有几百万台车，，，，，并且这些车的传感器设置是一致的，，，，，以是能够回流大宗的数据。。。。。。而我们面临的问题是没有云云规模的数据。。。。。。二是关于种种危险重大的场景，，，，，尤其是Corner Case，，，，，这些场景获得本钱是很是高的，，，，，危害也是很是高的。。。。。。怎么获得这些高质量的数据是我们需要解决的问题。。。。。。第三个是清静的界线。。。。。。现在端到端自动驾驶中发明一个问题场景，，，，，我们就需要收罗许多跟这个场景所类似的其他数据，，，，，重新训练模子。。。。。。可是模子训练完之后也不可够确定这个场景是否真正被解决，，，，，由于端到端手艺有不确定性在。。。。。。

针对这些问题，，，，，我们要把天下模子、强化学习，，，，，以及端到端手艺相团结。。。。。。在这里，，，，，焦点是要有一个端到端的多模态大模子。。。。。。这个模子的输入可能是种种视觉的、激光的、语言文字导航的信息，，，，，输出是车辆的行为。。。。。。端到端大模子会展望车辆的轨迹，，，，，基于展望的轨迹反响给天下模子，，，，，天下模子就能够模拟仿真出物理天下将会怎样的转变，，，，，给我们反响基于天下模子合成的视频，，，，，这些反响将重新训练端到端模子。。。。。。并且这个要领会告诉我们，，，，，什么样的仿真模子是好的，，，，，云云循环往复的迭代，，，，，一直提升端到端的性能。。。。。。同时，，，，，在这个仿真情形内里可以无数次的试错，，，，，有了问题场景以后，，，，，通过无数次的实验一定能够解决我们所体贴的问题，，，，，并且还能做到闻一知十、举一反十、甚至反百。。。。。。当下的天下模子并不是无中生有，，，，，而是针对问题场景，，，，，我们通过复现物理场景，，，，，把现实里不可改变的种种要素，，，，，如天气、蹊径、车速等，，，，，通过模拟仿真场景，，，，，较量彻底地解决类似问题。。。。。。

接下来我给各人举一个例子，，，，，看一看我们是怎么用天下模子和强化学习来解决问题的。。。。。。这里展示的是一个问题场景。。。。。。前方有一个施工占道场景泛起，，，，，我们需要急刹，，，，，各人想一想完成这个行动需要几步？？？？？？？第一步需要做4D仿真的复现，，，，，通过3DGS和静态场景复现，，，，，依托天下模子对它举行修复，，，，，就能够获得更高质量的4D空间。。。。。。在4D空间里就可以实验州差别驾驶的行为，，，，，调解端到端模子，，，，，实验州差别的驾驶行为，，，，，直到在这个情形里找到最佳的驾驶行为。。。。。。我们有一套完善的步伐去评价什么样的驾驶行为是好的。。。。。。

在上述简单场景里我们获得模子的更新和验证后，，，，，接下来我们需要获得它进一步的多个泛化场景。。。。。。现实天下中有许多类似的场景，，，，，好比说重大的施工区域，，，，，需要换道通行，，，，，遇到围栏需要减速等。。。。。。这些差别的场景都是通过天下模子所天生出来的各类泛化场景。。。。。。哈哈(haha)体育模子在这些泛化场景内里做进一步的学习，，，，，以及进行测试。。。。。。

以是说现在的天下模子已经可以推动自动驾驶在三个方面取得突破。。。。。。一是数据瓶颈，，，，，可以通过天下模子爆发无限长尾场景。。。。。。二是能够获得验证的手艺界线，，，，，通过仿真模拟恢复物理的天下，，，，，在仿真情形一直的实验。。。。。。三是通过强化学习抵达逾越人类驾驶的体验。。。。。。

▎“绝影开悟”天下模子实现全场景笼罩，，，，，推动智能驾驶、具身智能跨越式生长

要解决这些问题，，，，，背后焦点是需要有个很是强盛、质量很是高的天下模子来重构万千天下，，，，，让清静有更多简直定性。。。。。。我们对天下模子会有哪些要求呢？？？？？？？一是天生的数据应该是能够面向量产的，，，，，能够有更多的场景，，，，，并且能够一键天生重大可控的场景。。。。。。二是场景内里有种种因素，，，，，可以针对种种因素举行编辑，，，，，能够把种种因素通过自由组合方法，，，，，实现更多的拓展。。。。。。三是实时，，，，，在一定空间内里有很是高效的推理效率，，，，，促使在天下模子内里举行实时互动。。。。。。

这里我们给各人看一个例子。。。。。。我们坐车里遇到Cut-in这样较量危险的场景。。。。。。我们可以看到车里有7个摄像头，，，，，每个摄像头都在纪录。。。。。。而要天生一个好的天下模子，，，，，就要坚持多个摄像头下的时空一致性。。。。。。早在2024年，，，，，Sora模子就可以完成种种视频的天生，，，，，现现在用天下模子做自动驾驶的话，，，，，它的难点在那里？？？？？？？那即是天生有一连性的视频比图像更难。。。。。。天生用在自动驾驶情形里视频需要面临许多难题，，，，，面临有众多的摄像头，，，，，模子要坚持多个摄像头的时空一致性。。。。。。好比说面临车牌、蹊径的限行情形，，，，，各个摄像头里的内容应该是一致的。。。。。。另外，，，，，尚有空间的几何关系得是一致的，，，，，这样天生的视频才华够有用的用作自动驾驶的训练和测试。。。。。。

基于此，，，，，我们可以针对刚刚提到的打车Cut-in场景改变种种要素，，，，，好比换差别的天气条件、差别的蹊径路形、插入的大车车型、车速和Cut-in的距离。。。。。。有了这些之后，，，，，模子完全可以做到举一反十、反一百、反一千。。。。。。并且各人可以看到，，，，，这里一键天生了越发重大的场景，，，，，例如车祸和碰撞的场景。。。。。。

企业微信截图_17587689753212.png

在这里我们还需要对场景内里的种种要素做到恣意编辑，，，，，好比任意替换差别的车型、增添车辆、镌汰响应的车辆，，，，，模拟差别的驾驶情形。。。。。。

并且模子也需要能够做到实时的推理，，，，，这里我们展示的是在上海市区场景，，，，，在这个场景里可以自由地开车、加减速、转弯。。。。。。各人所看到的这些视频都与真实天下的物理情形很是靠近。。。。。。

天下模子产品化，，，，，开放API后，，，，，用户可以形貌他所想接纳的数据，，，，，然后一键天生形成种种各样所期待的视频。。。。。。我们现在积累的百万级数据集，，，，，笼罩种种重大的场景，，，，，能够实现高保真。。。。。。现现在每一个Clips有150s，，，，，车辆有7个摄像头就能坚持比1080P更好的图像质量。。。。。。

再说到基础设施，，，，，现在各地政府也建设了实训�。。。。。。�，，，，能够提供算力的平台，，，，，真实收罗实车的数据。。。。。。另外，，，，，有一半的数据也是通过天下模子模拟仿真举行天生，，，，，两组数据相团结可以提供应车企举行端到端模子的训练。。。。。。

最后说下，，，，，在自动驾驶场景里使用的天下模子所开发出来的所有手艺系统，，，，，着实也可以用到具身智能里。。。。。。具身智能对天下模子的需求越发迫切。。。。。。由于机械人的数目比车辆数目更少，，，，，并且每个机械人硬件的设置千差万别。。。。。。我们希望在具身智能领域里，，，，，天下模子能够做到多模态、数据对齐，，，，，能够获得4D空间，，，，，能够举行快速的推理。。。。。。我给各人举两个例子，，，，，一是输入一条指令让机械人能够在公园里举行跳跃，，，，，就会自动地天生气械人的骨骼、姿态、行动的转变，，，，，基于这个能够天生气械人第一视角看到视频的数据和第三视角的数据。。。。。。另外输入指令让机械臂切黄瓜，，，，，同样可以天生第一和第三视角的数据。。。。。。未来我们可以用这些大宗的模拟仿真数据，，，，，来推动自动驾驶和具身智能跨越到下一个阶段。。。。。。

谢谢各人！

您尚未完善信息

完善信息后，，，，，即可下载资料

完善信息跳过，，，，，继续浏览

您尚未登录

您还未登录，，，，，登录方可继续

登录跳过，，，，，继续浏览

请选择您以为需要刷新的地方：

导航欠好用，，，，，不利便找到感兴趣的内容
产品先容信息不敷周全
产品先容信息禁止易懂
页面翻开速率烦懑，，，，，页面浏览不流通/有卡顿
页面不敷雅观
售后效劳欠好找，，，，，体验欠好

跳过下一个

您是否能够抵达本次网站的会见目的？？？？？？？

是
否
仍在举行中

下一个

您对商汤官网的知足度怎样？？？？？？？

很是不知足很是知足

提交

已收到您对商汤官网的评价和建议！

谢谢您的耐心反响~

关闭

产品试用

填写此简朴表格，，，，，我们将尽快联系您！

把您的需求发给我们相识所有产品

商务相助

400 900 5986

周一至周五 9:00-12:00，，，，，13:00-18:00

business@sensetime.com

相助同伴招募

成为相助同伴