哈哈(haha)体育

哈哈体育.(HAHA)十年运营,信誉无忧

返回新闻中心

? ? ?

手艺能力

以原创手艺系统为基本，，，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，，，结构多领域、多偏向前沿研究，，，，，，，，快速买通AI在各个笔直场景中的应用，，，，，，，，向行业赋能。。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤研究

商汤研究始终坚持原创，，，，，，，，一直突破立异。。。。。。。。具有人工智能领域深挚的学术积累，，，，，，，，具备健全的人才作育机制，，，，，，，，已与海内外五十余所一流高校和科研院所建设了深度相助关系，，，，，，，，并与众多行业同仁同心共建AI生态圈。。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤大装置AI云 SenseCore

建设高效率、低本钱、规模�；；；；；；� AI 云基础设施，，，，，，，，打造专业的深度学习平台及算法模子系统，，，，，，，，引领AI立异，，，，，，，，助力工业界及学术界探索 AI 界线。。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤日日新大模子 SenseNova

商汤日日新大模子 SenseNova，，，，，，，，可以提供自然语言处置惩罚、图片天生、自动化数据标注、自界说模子训练等多种大模子及能力。。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

水星智能移动终端平台 SenseME

哈哈(haha)体育SenseME 水星智能移动终端平台提供包括SDK、AI传感器和ISP芯片等全套产品，，，，，，，，能够支持诸多物联网装备，，，，，，，，以增进感知智能和内容增强

申请试用

相识所有案例

相识所有产品效劳

火星混淆现实平台 SenseMARS

SenseMARS平台通过对物理天下的数字重修、虚拟化身和软件智能体，，，，，，，，创立全新的陶醉式和交互式的元宇宙体验

申请试用

相识所有案例

相识所有产品效劳

晶识智能零售平台 SenseGalaxy

基于商汤SKU商品识别大模子，，，，，，，，用AI赋能智能结算、库存盘货、纯净度审核等营业场景并快速拓展至智慧商流与智慧物流领域。。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

焦点手艺: 以原创手艺系统为基本，，，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，，，结构多领域、多偏向前沿研究，，，，，，，，
快速买通AI在各个笔直场景中的应用，，，，，，，，向行业赋能。。。。。。。。

< 返回论文解读

CVPR 2018 | 商汤科技Spotlight论文详解：基于孪生区域推荐网络的高性能单目的跟踪

2018-06-11

距离CVPR 2018大会越来越近，，，，，，，，本文是商汤科技在目的检测与跟踪领域，，，，，，，，揭晓的一篇CVPR 2018亮点报告论文：基于孪生区域推荐网络的高性能单目的跟踪。。。。。。。。该论文由商汤科技见习研究员李搏在研究院副院长闫俊杰和研究员武伟配合指导下完成。。。。。。。。

论文：基于孪生区域推荐网络的高性能单目的跟踪

作者：Bo Li, Junjie Yan, Wei Wu, Zheng Zhu, Xiaolin Hu

论文链接：http://openaccess.thecvf.com/content_cvpr_2018/CameraReady/2951.pdf

简介

本论文提出一种端对端的单目的跟踪算法，，，，，，，，实现高性能的单目的视觉跟踪。。。。。。。。现有的单目的跟踪算法通常很难兼顾跟踪性能和速率，，，，，，，，只能在某一项指标占优。。。。。。。。本文使用孪生(Siamese)网络和区域候选网络(Region Proposal Network)，，，，，，，，构建了一种高速且高精度的单目的跟踪算法。。。。。。。。算法在整体框架上，，，，，，，，可被分为孪生(Siamese)特征提取网络和区域推荐网络(Region ProposalNetwork)两个子网络，，，，，，，，在一个统一的框架里实现端到端的训练和测试。。。。。。。。

训练历程中，，，，，，，，算法能够同时使用麋集标注(VID)和希罕标注(YoutubeBB)的数据集举行训练，，，，，，，，相比于现有要领，，，，，，，，希罕标注的数据集大大增添了训练数据泉源，，，，，，，，从而可以对深度神经网络举行更充分的训练;区域推荐网络中的坐标回归则可以让跟踪框更为准确，，，，，，，，节约了古板孪生跟踪网络中多标准测试所需的特殊盘算。。。。。。。。

实验方面，，，，，，，，本文跟踪算法能在坚持160fps的高帧率情形下，，，，，，，，在VOT2015和VOT2016等数据集上取得匹敌现在先进水平的效果。。。。。。。。

设计头脑

单目的视觉跟踪领域的主流要领是以SiameseFC为代表的孪生网络结构，，，，，，，，SiameseFC网络结构简朴，，，，，，，，通过统一网络提取一对图像的特征，，，，，，，，通过相关(correlation)操作，，，，，，，，可以实现目的模板与搜索图像区域中的17x17个小图像的快速比对，，，，，，，，输出的17x17的响应图，，，，，，，，形貌每个图像搜索位置与目的模板的相似度。。。。。。。。但SiameseFC有以下缺陷：

首先，，，，，，，，网络无法展望目的标准上的转变，，，，，，，，因此只能通过多标准测试来判断目的标准的转变，，，，，，，，降低跟踪速率。。。。。。。。

其次，，，，，，，，输出的模板响应图区分率较低，，，，，，，，为了获得更高精度的位置，，，，，，，，SiameseFC需要接纳插值的要领，，，，，，，，将响应图区分率放大16倍，，，，，，，，抵达与输入图像尺寸相近的巨细。。。。。。。。

本文提出SiameseRPN算法，，，，，，，，通过引入物体检测领域中的区域推荐网络(RPN)，，，，，，，，回归目的框位置，，，，，，，，阻止SiameseFC中响应图插值和多标准测试等操作，，，，，，，，既提升了速率又获得更为精准的目的框。。。。。。。。在训练历程中，，，，，，，，算法能够使用大规模带希罕标注的视频数据集Youtube-BB举行训练，，，，，，，，相较于SiameseFC仅使用的VID数据集，，，，，，，，Youtube-BB数据集能够提供50倍数目的视频，，，，，，，，包管了深度神经网络能够被充分的训练。。。。。。。。

训练框架

图1展示了SiameseRPN的整体网络框架：

左边是用于提取特征的孪生(Siamese)网络;中心是区域推荐网络，，，，，，，，包括了分类分支和回归分支，，，，，，，，通过输入成对图像并举行相关(correlation，，，，，，，，图1中“*”)等操作获得最后的输出。。。。。。。。

图1：算法整体网络结构

图1右边部分展示了各输出通道的细节：在分类分支，，，，，，，，输出的远景置信图包括2k个通道，，，，，，，，划分体现响应图每个位置k个锚点框的远景/配景的置信度;在回归分支，，，，，，，，输出图包括4k个通道，，，，，，，，划分体现每个位置k个锚点框的坐标偏移量。。。。。。。。

孪生网络

孪生网络用于提取输入图像的特征，，，，，，，，分为模板分支和检测分支，，，，，，，，均接纳全卷积网络结构天生输入图像的视觉特征图。。。。。。。。模板分支的输入为模板帧的目的图像 (z)，，，，，，，，而检测分支的输入为目今帧的图像 (x)，，，，，，，，φ(z)和φ(x)则划分代表两支网络输出的目的特征图和目今帧特征图。。。。。。。。两支网络只有输入差别，，，，，，，，而权重参数完全相同，，，，，，，，因而可以隐式的编码相同的图像视觉转变，，，，，，，，适用于跟踪使命。。。。。。。。

区域推荐网络

区域推荐网络认真基于目的特征图φ(z)和目今帧特征图φ(x)，，，，，，，，及相关操作的效果(即1*17*17的响应图)，，，，，，，，展望目的的精准位置。。。。。。。。若每个输出位置有k个锚点框(anchor box)，，，，，，，，那么网络需要为分类分支输出通道数为2k的置信图，，，，，，，，为回归分支输出通道数为4k的偏移图。。。。。。。。

因此在举行相关操作之前，，，，，，，，网络使用卷积操作提升两个分支中特征图的通道数，，，，，，，，将其划分提高为原来的2k倍和4k倍，，，，，，，，图1中心部分的卷积用于提升特征图维度。。。。。。。。提升维度后的特征图举行相关操作，，，，，，，，获得分类和回归分支的输出。。。。。。。。两支网络使用与目的检测中Faster R-CNN算法类似的损失函数，，，，，，，，举行网络训练。。。。。。。。

训练数据的组成

在训练阶段，，，，，，，，Siamese网络所需要的训练样本对从VID和Youtube-BB数据集中以随机距离筛选天生。。。。。。。。目的模板和检测帧图像来自于统一个视频中统一个物体的差别两帧。。。。。。。。两帧之间通常有一定距离，，，，，，，，但过远的距离可能使得目的外观的转变过大，，，，，，，，使得网络难以训练。。。。。。。。因此，，，，，，，，在现实训练历程中均接纳小于100帧距离的图像对作为训练样本对。。。。。。。。

虽然在视频数目上Youtube-BB数据集远大于VID数据集，，，，，，，，但VID数据集包括Youtube-BB数据集所不具备的高帧率标注。。。。。。。。本文视察到，，，，，，，，一个好的跟踪网络既需要能够捕获目的细粒度的变换(由VID数据集获得)，，，，，，，，又需要从更大数目级的视频中学习越发通用的目的特征和转变(通过Youtube-BB数据集学习)，，，，，，，，因此两个数据集的合并使用十分主要，，，，，，，，且需要调解好训练数据的比例。。。。。。。。本文实验中，，，，，，，，VID和Youtube-BB的数据占比设为1:5。。。。。。。。

图2：差别量级训练数据对应的

最终模子跟踪性能

本文在差别数目视频的训练集下训练SiameseRPN。。。。。。。。如图2所示，，，，，，，，最左边的跟踪精度代表只用VID作为训练集的情形，，，，，，，，可以看出，，，，，，，，随着数据一直的增添，，，，，，，，在VOT2015和VOT2016测试集上跟踪性能均一直提升，，，，，，，，Youtube-BB数据集的引入让算法在VOT2016上的EAO从0.317提升至0.344，，，，，，，，凌驾VOT2016的冠军要领CCOT，，，，，，，，并且从曲线趋势上来看，，，，，，，，跟踪性能还没有趋于饱和。。。。。。。。这批注若是能够有更大宗级的数据集，，，，，，，，模子的跟踪精度能够进一步提升。。。。。。。。这也就体现了数据驱动算法的优势。。。。。。。。当目的跟踪与其它盘算机视觉领域一样，，，，，，，，泛起了大宗的跟踪数据集时，，，，，，，，深度学习算法可以通过增添数据获得更好的性能，，，，，，，，而古板的滤波要领不可接纳离线训练，，，，，，，，也无法有用的使用大数目级的跟踪数据。。。。。。。。

算法测试流程

与训练历程差别，，，，，，，，孪生网络的两支在测试历程中被疏散开(如图3所示)，，，，，，，，模板支只在目的初始帧前向撒播一次，，，，，，，，将用于远景置信度和偏移展望的特征图盘算好以后保存至内存。。。。。。。。而检测分支则在视频每一帧举行前向撒播，，，，，，，，获得对应的用于远景置信度和偏移展望的特征图，，，，，，，，将其与模板对应的特征图举行相关操作以后，，，，，，，，获得最终的远景/配景分类效果和目的框偏移回归效果。。。。。。。。凭证这两个效果图，，，，，，，，可以获得每个展望框的目的置信度，，，，，，，，经由高斯窗口抑制和形状抑制，，，，，，，，获得加权后的目的置信度。。。。。。。。算法选出置信度最高的对应框，，，，，，，，作为网络展望的最终目的位置。。。。。。。。

图3：SiameseRPN算法测试流程

实验效果

VOT2015效果

VOT2015数据集中包括60段视频。。。。。。。。在测试历程中，，，，，，，，当VOT工具包发明跟踪效果与现实目的位置重合度为0时会重启跟踪器，，，，，，，，因此跟踪算法的性能由精度和鲁棒性两方面来评估。。。。。。。。精度怀抱跟踪历程中平均的目的框重合度，，，，，，，，而鲁棒性则权衡跟踪算法在测试视频上的丧失次数，，，，，，，，VOT提出了EAO来综合这两项指标，，，，，，，，作为排名依据。。。。。。。。差别算法的跟踪精度如图4所示，，，，，，，，本文提出的SiameseRPN算法可以在速率极高的情形下依然包管跟踪性能的领先，，，，，，，，在速率和精度上均领先于第二名。。。。。。。。

图4：差别跟踪算法

在VOT2015测试集的性能

VOT2016 效果

VOT2016测试数据集与VOT2015数据集相同，，，，，，，，可是使用了更为更紧致的目的框，，，，，，，，因此跟踪算法更容易丧失目的，，，，，，，，造成跟踪重启。。。。。。。。差别算法在VOT2016数据集的性能如图5所示，，，，，，，，本文提出的算法与榜单上的前25名的算法举行了比照，，，，，，，，SiameseRPN算法仍然能够在该数据集夺得第一名，，，，，，，，其速率(160fps)是VOT2016冠军算法的500倍。。。。。。。。

图5：差别跟踪算法

在VOT2016测试集的性能

VOT2017 数据集实时跟踪效果

在VOT2017数据集中，，，，，，，，VOT中10段最简朴的视频被替换为了十段较难的视频。。。。。。。。同时实验新增了实时角逐，，，，，，，，要求跟踪算法必需能够在每秒处置惩罚20帧图像。。。。。。。。若算法不可在50ms内完成处置惩罚目今帧，，，，，，，，则使用上一帧效果取代。。。。。。。。该划定导致速率较慢的跟踪算法会丧失多帧跟踪效果，，，，，，，，无法有用跟踪目的。。。。。。。。

图6：差别跟踪算法

在VOT2017测试集的实时跟踪性能

如图6所示，，，，，，，，本文算法在实时跟踪榜单同样排名第一，，，，，，，，0.24平均重合率的效果较第二名CSRDCF++平均重合率提高3个点，，，，，，，，同时相较于SiameseFC算法(实时榜单的冠军)，，，，，，，，平均重合率提高6个点。。。。。。。。实验效果很是有力地证实晰本文算法能够在高帧率的同时包管精准的跟踪精度。。。。。。。。

OTB2015数据集效果

OTB数据集由跟踪社区经常使用的视频中挑选出的100段视频组成，，，，，，，，主要评测指标包括乐成和精度的曲线。。。。。。。。精度曲线怀抱展望框与标注中心点小于某像素的帧的占比;乐成率曲线则怀抱展望框与标注框的重合度凌驾某一阈值的帧的占比。。。。。。。。本文将孪生区域推荐网络和几个较量有代表性的算法举行了比照，，，，，，，，包括PTAV、CREST、SINT、CSR-DCF、SiameseFC、Stape、CFNet、DSST。。。。。。。。效果如图7所示，，，，，，，，本文提出的算法可以在OTB2015的两个指标上均取得第一。。。。。。。。由于引入了区域推荐网络，，，，，，，，新算法可以比基础算法SiameseFC提高5个点。。。。。。。。

图7：差别跟踪算法在OTB2015数据集上的

乐成率曲线和精度曲线

结论

本文使用孪生网络和区域推荐网络，，，，，，，，构建了一种高速且高性能的单目的跟踪算法。。。。。。。。算法中设计的坐标回归可以让跟踪框越发准确，，，，，，，，并且省去多标准测试泯灭的时间。。。。。。。。在实验中，，，，，，，，本文跟踪算法能在坚持高速的情形下(160fps)，，，，，，，，在VOT2015和VOT2016数据集上均抵达领先的单目的跟踪水平。。。。。。。。

您尚未完善信息

完善信息后，，，，，，，，即可下载资料

完善信息跳过，，，，，，，，继续浏览

您尚未登录

您还未登录，，，，，，，，登录方可继续

登录跳过，，，，，，，，继续浏览

请选择您以为需要刷新的地方：

导航欠好用，，，，，，，，不利便找到感兴趣的内容
产品先容信息不敷周全
产品先容信息禁止易懂
页面翻开速率烦懑，，，，，，，，页面浏览不流通/有卡顿
页面不敷雅观
售后效劳欠好找，，，，，，，，体验欠好

跳过下一个

您是否能够抵达本次网站的会见目的？？？？？

是
否
仍在举行中

下一个

您对商汤官网的知足度怎样？？？？？

1
2
3
4
5
6
7
8
9
10

很是不知足很是知足

提交

已收到您对商汤官网的评价和建议！

谢谢您的耐心反响~

关闭

产品试用

填写此简朴表格，，，，，，，，我们将尽快联系您！

把您的需求发给我们相识所有产品

商务相助

400 900 5986

周一至周五 9:00-12:00，，，，，，，，13:00-18:00

business@sensetime.com

相助同伴招募

成为相助同伴

您还未登录，，，，，，，，登录方可继续

登录跳过，，，，，，，，继续浏览

您尚未完善信息

完善信息后，，，，，，，，即可下载资料

完善信息跳过，，，，，，，，继续浏览

商务相助

400 900 5986
( 周一至周五 9:00-12:00, 13:00-18:00 )
business@sensetime.com
媒体相同: pr@sensetime.com
投资者关系联络: ir@sensetime.com

社交媒体

微信公众号

【网站地图】【sitemap】