? ? ?

手艺能力

以原创手艺系统为基本，，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，，结构多领域、多偏向前沿研究，，，，，，，快速买通AI在各个笔直场景中的应用，，，，，，，向行业赋能。。。。。。

相识所有案例

商汤研究

商汤研究始终坚持原创，，，，，，，一直突破立异。。。。。。具有人工智能领域深挚的学术积累，，，，，，，具备健全的人才作育机制，，，，，，，已与海内外五十余所一流高校和科研院所建设了深度相助关系，，，，，，，并与众多行业同仁同心共建AI生态圈。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤大装置AI云 SenseCore

建设高效率、低本钱、规�；；；；；；� AI 云基础设施，，，，，，，打造专业的深度学习平台及算法模子系统，，，，，，，引领AI立异，，，，，，，助力工业界及学术界探索 AI 界线。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤日日新大模子 SenseNova

商汤日日新大模子 SenseNova，，，，，，，可以提供自然语言处置惩罚、图片天生、自动化数据标注、自界说模子训练等多种大模子及能力。。。。。。

申请试用

相识所有案例

相识所有产品效劳

水星智能移动终端平台 SenseME

哈哈(haha)体育SenseME 水星智能移动终端平台提供包括SDK、AI传感器和ISP芯片等全套产品，，，，，，，能够支持诸多物联网装备，，，，，，，以增进感知智能和内容增强

申请试用

相识所有案例

相识所有产品效劳

火星混淆现实平台 SenseMARS

SenseMARS平台通过对物理天下的数字重修、虚拟化身和软件智能体，，，，，，，创立全新的陶醉式和交互式的元宇宙体验

申请试用

相识所有案例

相识所有产品效劳

晶识智能零售平台 SenseGalaxy

基于商汤SKU商品识别大模子，，，，，，，用AI赋能智能结算、库存盘货、纯净度审核等营业场景并快速拓展至智慧商流与智慧物流领域。。。。。。

申请试用

相识所有案例

相识所有产品效劳

焦点手艺: 以原创手艺系统为基本，，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，，结构多领域、多偏向前沿研究，，，，，，，
快速买通AI在各个笔直场景中的应用，，，，，，，向行业赋能。。。。。。

< 返回论文解读

CVPR 2023 Award Candidate | 自动驾驶通用算法框架UniAD

2023-03-25

亮点速览

自动驾驶是一项高度重大的手艺，，，，，，，需要多个学科领域的知识和手艺，，，，，，，包括传感器手艺、机械学习、路径妄想等方面。。。。。。自动驾驶还需要顺应差别的蹊径规则和交通文化，，，，，，，与其他车辆和行人举行优异的交互，，，，，，，以实现高度可靠和清静的自动驾驶系统。。。。。。

面临这种重大的场景，，，，，，，大部分自动驾驶相关的事情都聚焦在详细的某个模�？？？？？？？�，，，，，，，关于框架性的钻研则相对匮乏。。。。。。自动驾驶通用算法框架——Unified Autonomous Driving（UniAD）首次将检测、跟踪、建图、轨迹展望，，，，，，，占有栅格展望以及妄想整合到一个基于 Transformer 的端到端网络框架下，，，，，，，完善契合了 “多使命”和“高性能”的特点，，，，，，，可称为自动驾驶中的手艺突破。。。。。。

通过上海人工智能实验室青年研究员李弘扬、陈立的剖析（上图），，，，，，，信托各人有所相识，，，，，，，接下来给各人详细叙述为什么UniAD会降生。。。。。。这一定会回到一个问题：为什么之前的模子没有同时做到这么多的使命呢？？？？？？？？这还要从自动驾驶的框架讲起。。。。。。

上图所示为自动驾驶UniAD框架比照（a）模�？？？？？？？榛╞）多使命模�？？？？？？？椋╟）端到端自动驾驶模�？？？？？？？椤�。。。。。现有自动驾驶系统可大致归为三类：

1. 模�？？？？？？？榛�

每个模子认真单独的子使命，，，，，，，优势在于易于调试迭代，，，，，，，可是解耦就会丧失最优性，，，，，，，各个模�？？？？？？？榈挠呕康牟⒉皇且约菔晃钪漳康�，，，，，，，并且每个模�？？？？？？？榈奈蟛罨嶙锏街蟮哪？？？？？？？？椤�。。。。。

2. 多使命模�？？？？？？？�

多使命范式使用一个共享的特征提取器来完成多个子使命，，，，，，，利益是节约盘算本钱，，，，，，，弱点在于差别使命之间可能会保存负面影响。。。。。。

3. 端到端（End-to-end，，，，，，，E2E）模�？？？？？？？�

端到端范式以最终的驾驶性能为目的，，，，，，，详细又可以细分为两种范式：隐式的端到端和显式的端到端。。。。。。其中隐式端到端是以传感器数据作为输入，，，，，，，直接输出妄想或者控制指令。。。。。。这种范式的利益是较为精练，，，，，，，弱点是缺乏可诠释性，，，，，，，难以调式及迭代。。。。。。显式端到端则是将多个模�？？？？？？？橄碓诙说蕉四Ｗ又�，，，，，，，每个模�？？？？？？？橛懈髯缘氖涑�，，，，，，，并且会将提取到的特征转达到下游使命。。。。。。

我们对现在显式端到端自动驾驶事情举行了较量：

可以发明，，，，，，，大大都事情都关注了感知、决媾和妄想三部分，，，，，，，但详细使命保存差别，，，，，，，且没有框架融合所有的使命。。。。。。那为什么会泛起这种情形呢？？？？？？？？一方面受限于对自动驾驶的熟悉，，，，，，，研究者们没有对使命之间的关联和构建方法研究清晰；；；；；；另一方面受限于模子的最终效果，，，，，，，或许有人一经实验过把所有使命融合，，，，，，，可是效果不佳。。。。。。

为了探讨这一问题，，，，，，，UniAD首次将所有检测、跟踪、建图、轨迹展望、占有栅格展望与妄想都包括进来，，，，，，，从实现方面解决了这一难点。。。。。。另一方面，，，，，，，通过严酷的消融实验发明，，，，，，，在准确的融合方法下，，，，，，，所有的使命对最终的驾驶性能都有收益。。。。。。至此，，，，，，，本自动驾驶项目为相识决现实问题而来。。。。。。

焦点手艺

那为什么哈哈(haha)体育模子可以解决差别使命的融合难的问题，，，，，，，从而实现多使命和高性能呢？？？？？？？？让我们最先揭晓我们自动驾驶手艺的真身：

整体而言，，，，，，，UniAD使用多组query实现了全栈Transformer的端到端模子。。。。。。如图所示，，，，，，，UniAD由2个感知模�？？？？？？？�，，，，，，，2个展望模�？？？？？？？橐约耙桓鐾肽？？？？？？？？樽槌伞�。。。。。其中感知和展望模�？？？？？？？槭峭ü齌ransformer架构举行展望，，，，，，，每个模�？？？？？？？槭涑龅奶卣骰嶙锏街蟮哪？？？？？？？？槔锤ㄖ掠问姑�。。。。。