哈哈(haha)体育

哈哈体育.(HAHA)十年运营,信誉无忧

返回新闻中心

? ? ?

手艺能力

以原创手艺系统为基本，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，结构多领域、多偏向前沿研究，，，，，，快速买通AI在各个笔直场景中的应用，，，，，，向行业赋能。。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤研究

商汤研究始终坚持原创，，，，，，一直突破立异。。。。。。。。具有人工智能领域深挚的学术积累，，，，，，具备健全的人才作育机制，，，，，，已与海内外五十余所一流高校和科研院所建设了深度相助关系，，，，，，并与众多行业同仁同心共建AI生态圈。。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤大装置AI云 SenseCore

建设高效率、低本钱、规�；；；；；；；� AI 云基础设施，，，，，，打造专业的深度学习平台及算法模子系统，，，，，，引领AI立异，，，，，，助力工业界及学术界探索 AI 界线。。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤日日新大模子 SenseNova

商汤日日新大模子 SenseNova，，，，，，可以提供自然语言处置惩罚、图片天生、自动化数据标注、自界说模子训练等多种大模子及能力。。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

水星智能移动终端平台 SenseME

哈哈(haha)体育SenseME 水星智能移动终端平台提供包括SDK、AI传感器和ISP芯片等全套产品，，，，，，能够支持诸多物联网装备，，，，，，以增进感知智能和内容增强

申请试用

相识所有案例

相识所有产品效劳

火星混淆现实平台 SenseMARS

SenseMARS平台通过对物理天下的数字重修、虚拟化身和软件智能体，，，，，，创立全新的陶醉式和交互式的元宇宙体验

申请试用

相识所有案例

相识所有产品效劳

晶识智能零售平台 SenseGalaxy

基于商汤SKU商品识别大模子，，，，，，用AI赋能智能结算、库存盘货、纯净度审核等营业场景并快速拓展至智慧商流与智慧物流领域。。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

焦点手艺: 以原创手艺系统为基本，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，结构多领域、多偏向前沿研究，，，，，，
快速买通AI在各个笔直场景中的应用，，，，，，向行业赋能。。。。。。。。

< 返回论文解读

CVPR 2020 | 商汤提出两种轨迹展望新要领

2020-07-23

本次分享两篇轨迹展望相关CVPR 2020poster论文:

基于候选轨迹的轨迹展望要领(TPNet: Trajectory Proposal Network for Motion Prediction)

基于递归目的关系图的轨迹展望要领(Recursive Social Behavior Graph for Trajectory Prediction)

论文作者来自商汤自动驾驶剖析与展望组、港中文MM Lab实验室以及上海交通大学卢策吾先生团队。。。。。。。。

TPNet论文地点：https://arxiv.org/pdf/2004.12255.pdf

RSBG论文地点：https://arxiv.org/pdf/2004.10402.pdf

使命先容

随着自动驾驶的快速生长，，，，，，怎样明确自动驾驶周围目的的行为成为自动驾驶系统中的主要一环。。。。。。。。轨迹展望使命旨在凭证目的(如行人、车辆等交通加入者)目今或者历史轨迹与情形信息，，，，，，对该目的未来的行驶轨迹举行展望。。。。。。。。轨迹展望效果是自动驾驶系统举行提前决议的主要信息之一。。。。。。。。

念头

轨迹展望使命有以下几个难点:

1.展望效果多模态(multimodal)特征：关于统一条历史轨迹，，，，，，差别目的可能有差别的未来轨迹。。。。。。。。例如在十字路口，，，，，，A车可能左转, B车可能直行。。。。。。。。怎样对差别意图举行建模，，，，，，使展望要领能够天生较为完善的展望效果是轨迹展望使命较为关注的一点。。。。。。。。

2.展望效果可诠释、可靠: 交通加入者一样平常会受到种种交通规则的约束，，，，，，怎样使用这些规则输出清静可靠的展望效果关于自动驾驶系统而言至关主要。。。。。。。。

3.目的间交互关系建模: 在自动驾驶场景中，，，，，，目的间的行为不但受到其自身的意图影响，，，，，，还会受到周围其他目的行为的影响。。。。。。。。

针对前两个问题, 我们提出TPNet: Trajectory Proposal Network for Motion Prediction。。。。。。。。为了输出多模态的展望效果，，，，，，之前的要领大多学习一个轨迹的漫衍，，，，，，通过采样、最大化后验概率的要领获得一个或多个概率较大的轨迹。。。。。。。。然而关于轨迹展望使命来说未来轨迹的漫衍空间可能很是大，，，，，，如左转和右转两种意图对应的轨迹相差较大，，，，，，导致基于数据驱动的要领难以学习到这种多模态展望。。。。。。。。因此我们提出一种新型的两阶段轨迹展望要领TPNet。。。。。。。。在第一阶段，，，，，，TPNet展望差别意图的多个终点并基于这些终点天生差别的候选轨迹(proposals)。。。。。。。。在第二阶段，，，，，，TPNet会对这些proposals举行分类和回归，，，，，，分类模�？？？？？？槎悦扛龊蜓」旒＞傩卸掷啵�，，，，，回归模�？？？？？？槎院蜓」旒＞傩行拚竦迷椒⒕嫉恼雇Ч�。。。。。。。。值得一提的是，，，，，，这种两阶段要领包管了两种轨迹的多模态，，，，，，首先针对差别意图，，，，，，TPNet会天生差别的轨迹；；；；；；；其次针对统一种意图，，，，，，TPNet也会天生一组候选轨迹。。。。。。。。进一步的，，，，，，这种两阶段框架也可以资助我们将一些先验知识融入进深度学习框架，，，，，，我们提出对不在可行驶区域(如下图，，，，，，白色区域为车辆可行驶区域，，，，，，灰色为行人可行驶区域)的候选轨迹与展望效果举行处分，，，，，，衰减其置信度，，，，，，从而包管展望效果的可靠性。。。。。。。。

针对目的间交互关系建模，，，，，，我们提出Recursive Social Behavior Graph for Trajectory Prediction。。。。。。。。近年来基于RNN的算法极大的提升了展望的准确精度，，，，，，可是在一些地方仍然有较大的提升空间。。。。。。。。较为要害的一点是引入人群之间的交互关系来辅助展望。。。。。。。。

早先的做法，，，，，，例如pooling和attention，，，，，，都是基于行人之间的欧式距离来讯隔绝互关系的强弱。。。。。。。。这种基于欧氏距离的判断要领，，，，，，不可很好的处置惩罚现实生涯中重大的情形。。。。。。。。例如下图中所示，，，，，，上图两人虽然相隔整个场景，，，，，，可是体现出了很强的相遇的行为倾向。。。。。。。。而下图的三组行人，，，，，，红色两组虽然距离较远，，，，，，可是体现出了追随的行为，，，，，，而红蓝两组虽然距离较近，，，，，，可是没有爆发很强的相互作用。。。。。。。。

我们提出了使用基于行人组层面的标注来解决这一逆境。。。。。。。。通过将有相似行为，，，，，，目的地的行人分为小组，，，，，，并对组内行人举行关系标注，，，，，，可以对整个场景中的行人关系举行详尽的抽取。。。。。。。。同时，，，，，，围绕这一思绪，，，，，，我们提出了基于LSTM和GCN的神经网络模子，，，，，，来递归的对行人轨迹和关系举行剖析，，，，，，在ETH和UCY数据集上取得了凌驾10%的提升。。。。。。。。

要领先容

TPNet

我们提出的两阶段展望要领TPNet如上图所示，，，，，，主要分为四个模�？？？？？？椋� 基础特征提取模�？？？？？？椤⒅盏阏雇？？？？？？？椤⒐旒Ｌ焐？？？？？？？橐约肮旒７掷嘤胄拚？？？？？？？�。。。。。。。。

基础特征提取模�？？？？？？橥沤崮康牡睦饭旒！⑶樾涡畔�(蹊径结构)，，，，，，使用基于CNN Encoder-Decoder的结构提取特征。。。。。。。。并基于该特征对目的未来的终点举行起源展望。。。。。。。。

候选轨迹天生模�？？？？？？榛谡雇竦玫闹盏悖�，，，，，天生一系列候选轨迹。。。。。。。。为了天生多模态特征的候选轨迹集，，，，，，我们提出两种候选轨迹天生要领：基于单个终点的候选轨迹天生、基于多个意图的候选轨迹天生。。。。。。。。为了减小轨迹的搜多空间，，，，，，我们将轨迹建模为三次曲线，，，，，，通过天生曲线簇来天生候选轨迹荟萃。。。。。。。�；；；；；；；诘ジ鲋盏愕暮蜓」旒Ｌ焐煲哉雇竦玫闹盏阄行奶焐桓隼慰烤尴傅耐瘢�，，，，，通过遍历网格的中心天生M个可能的终点。。。。。。。。为了天生差别弯曲水平的候选轨迹，，，，，，基于每个可能的终点，，，，，，天生N个控制点。。。。。。。。最终将M个可能终点与N个控制点两两组合，，，，，，并团结历史轨迹点，，，，，，通过三次曲线拟合的要领，，，，，，我们可以获得MxN个候选轨迹，，，，，，如下左图示（橙色实线为候选轨迹）。。。。。。。�；；；；；；；诙喔鲆馔嫉暮蜓」旒Ｌ焐蛘攵阅康牡牟畋鹨馔迹�，，，，，天生差别的终点，，，，，，然后使用基于单个终点的候选轨迹天生天生差别的候选轨迹荟萃。。。。。。。。以车辆展望为例，，，，，，Argoverse数据集提供了车辆差别的可能行驶蹊径(参考线)，，，，，，我们针对每条参考线展望出差别终点并天生对应候选轨迹，，，，，，如下右图示（绿色虚线为参考线）。。。。。。。。

在训练阶段，，，，，，分类模�？？？？？？槭褂煤蜓」旒Ｓ胝嬷倒旒５钠骄嗬牖终貉荆�，，，，，平均距离小于阈值的作为正样本，，，，，，其余作为潜在负样本。。。。。。。。平均距离盘算公式如下:

其中 , 划分为未来展望时间点对应真值轨迹点坐标与候选轨迹点坐标。。。。。。。。通过对潜在负样本举行匀称采样，，，，，，包管正负样本比例为1:3确定负样本。。。。。。。。

关于所有正样本及部分随机采样的负样本，，，，，，轨迹修正模�？？？？？？槎院蜓」旒５闹盏慵翱刂频憔傩行拚�，，，，，修正公式界说为：

其中与为候选轨迹终点坐标与真值终点坐标的误差，，，，，，为控制的参数与真值的误差。。。。。。。。

最后关于不在可行驶区域的候选轨迹与展望轨迹，，，，，，我们提出使用如下高斯衰减对其分类置信度举行衰减:

其中为展望轨迹点不在可行驶区域内的比例，，，，，，为高斯衰减系数。。。。。。。。最终TPNet输出分类置信度最高的轨迹作为展望效果。。。。。。。。

RSBG

我们提出的要领RSBG如上图所示，，，，，，可以被分成三个子模�？？？？？？�: 个体表征模�？？？？？？椋�，，，，，群体表征模�？？？？？？橄⒄肫�。。。。。。。。

1. 个体表征模�？？？？？？槭怯美炊悦啃∥宜郊业睦沸形椭芪樾尉傩衅饰霰嗦�。。。。。。。。�？？？？？Ｋ剂康饺死嘈形哂星昂蠊亓男宰樱�，，，，，我们使用双向LSTM来提取行为特征；；；；；；；使用CNN来提取情形特征。。。。。。。。最后将两个拼接以获得个体表征向量。。。。。。。。

2. 群体表征模�？？？？？？橛美刺崛⌒腥酥涞墓叵�。。。。。。。。主要可以分为构建行为关系图和递归抽取两部分。。。。。。。。首先，，，，，，我们将整个场景中的所有行人的历史轨迹信息输入到一个由MLP组成的关系天生器中，，，，，，来剖析每小我私家两两之间的关系，，，，，，关系强弱使用0-1来体现。。。。。。。。在训练历程中，，，，，，我们使用标注好的行人组来对其举行监视，，，，，，当两人处于统一组时，，，，，，GT为1，，，，，，反之为0。。。。。。。。在获得两两行人之间的关系之后，，，，，，我们将其看做边，，，，，，并把行人的历史轨迹�？？？？？？醋鼋诘悖�，，，，，构建行为关系图。。。。。。。。随后，，，，，，GCN网络被用来递归地对该图举行剖析整合，，，，，，为每一个行人获得其群体表征向量。。。。。。。。

3. 最后，，，，，，我们将个体表征向量和群体表征向量举行融合，，，，，，使用LSTM解码器来天生展望效果。。。。。。。。

思量到使用常见的L2 Loss对性能剖析指标之一的FDE优化有限，，，，，，我们提出了Exponential L2 Loss来作为损失函数，，，，，，该函数可以体现为：

其中和体现历史轨迹，，，，，，i体现人的id，，，，，，t体现时间点，，，，，，γ为超参数，，，，，，指示了每个展望点随着时间转变主要性的增强水平。。。。。。。。

实验效果

轨迹展望使命常用评价指标为终点展望误差(FDE)、平均轨迹展望点展望误差(ADE)。。。。。。。。我们还使用了以下评估指标:

1.minFDE: 关于N个展望轨迹，，，，，，选择终点展望误差最小的作为评估效果

2.minADE：关于N个展望轨迹，，，，，，选择平均轨迹展望点展望误差最小的作为评估效果

3.DAC: 展望知足可行驶区域水平

TPNet在多个轨迹展望数据集上举行了实验: ETH、UCY、ApolloScape以及Argoverse，，，，，，均取得了SOTA的效果。。。。。。。。

通过下图可视化剖析，，，，，，我们可以看出TPNet可以输出多模态以及可靠的展望效果。。。。。。。。其中红色点为目的历史轨迹，，，，，，绿色点为真值轨迹，，，，，，蓝色点为TPNet展望轨迹。。。。。。。。

RSBG在盛行的ETH和UCY数据集上举行试验，，，，，，并与多个框架举行较量。。。。。。。。效果显示哈哈(haha)体育要领在多个子数据集上均凌驾了之前的SOTA效果，，，，，，并且从平均上来看，，，，，，ADE和FDE获得了11.1%和10.8%的提升。。。。。。。。

从可视化剖析来看，，，，，，使用哈哈(haha)体育要领之后，，，，，，可以对人群之后相遇，，，，，，追随，，，，，，避让等行为都有一个越发合理的展望。。。。。。。。

References

[1] Ming-Fang Chang, John W Lambert, Patsorn Sangkloy, Jagjeet Singh, Slawomir Bak, Andrew Hartnett, De Wang, Peter Carr, Simon Lucey, Deva Ramanan, and James Hays. Argoverse: 3d tracking and forecasting with rich maps. In Conference on Computer Vision and Pattern Recognition (CVPR), 2019.

[2] Stefano Pellegrini, Andreas Ess, Konrad Schindler, and Luc Van Gool. You’ll never walk alone: Modeling social behavior for multi-target tracking. In 2009 IEEE 12th International Conference on Computer Vision, pages 261–268. IEEE, 2009.

[3] Alon Lerner, Yiorgos Chrysanthou, and Dani Lischinski.Crowds by example. In Computer graphics forum, volume 26, pages 655–664. Wiley Online Library, 2007.

[4] Yuexin Ma, Xinge Zhu, Sibo Zhang, Ruigang Yang, Wenping Wang, and Dinesh Manocha. Traf?cpredict: Trajectory prediction for heterogeneous traf?c-agents. arXiv preprint arXiv:1811.02146, 2018.

您尚未完善信息

完善信息后，，，，，，即可下载资料

完善信息跳过，，，，，，继续浏览

您尚未登录

您还未登录，，，，，，登录方可继续

登录跳过，，，，，，继续浏览

请选择您以为需要刷新的地方：

导航欠好用，，，，，，不利便找到感兴趣的内容
产品先容信息不敷周全
产品先容信息禁止易懂
页面翻开速率烦懑，，，，，，页面浏览不流通/有卡顿
页面不敷雅观
售后效劳欠好找，，，，，，体验欠好

跳过下一个

您是否能够抵达本次网站的会见目的？？？？？？？

是
否
仍在举行中

下一个

您对商汤官网的知足度怎样？？？？？？？

1
2
3
4
5
6
7
8
9
10

很是不知足很是知足

提交

已收到您对商汤官网的评价和建议！

谢谢您的耐心反响~

关闭

产品试用

填写此简朴表格，，，，，，我们将尽快联系您！

把您的需求发给我们相识所有产品

商务相助

400 900 5986

周一至周五 9:00-12:00，，，，，，13:00-18:00

business@sensetime.com

相助同伴招募

成为相助同伴

您还未登录，，，，，，登录方可继续

登录跳过，，，，，，继续浏览

您尚未完善信息

完善信息后，，，，，，即可下载资料

完善信息跳过，，，，，，继续浏览

商务相助

400 900 5986
( 周一至周五 9:00-12:00, 13:00-18:00 )
business@sensetime.com
媒体相同: pr@sensetime.com
投资者关系联络: ir@sensetime.com

社交媒体

微信公众号

【网站地图】【sitemap】