哈哈(haha)体育

哈哈体育.(HAHA)十年运营,信誉无忧

返回新闻中心

? ? ?

手艺能力

以原创手艺系统为基本，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，结构多领域、多偏向前沿研究，，，，，，快速买通AI在各个笔直场景中的应用，，，，，，向行业赋能。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤研究

商汤研究始终坚持原创，，，，，，一直突破立异。。。。。。。具有人工智能领域深挚的学术积累，，，，，，具备健全的人才作育机制，，，，，，已与海内外五十余所一流高校和科研院所建设了深度相助关系，，，，，，并与众多行业同仁同心共建AI生态圈。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤大装置AI云 SenseCore

建设高效率、低本钱、规�；；；；；；；；� AI 云基础设施，，，，，，打造专业的深度学习平台及算法模子系统，，，，，，引领AI立异，，，，，，助力工业界及学术界探索 AI 界线。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤日日新大模子 SenseNova

商汤日日新大模子 SenseNova，，，，，，可以提供自然语言处置惩罚、图片天生、自动化数据标注、自界说模子训练等多种大模子及能力。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

水星智能移动终端平台 SenseME

哈哈(haha)体育SenseME 水星智能移动终端平台提供包括SDK、AI传感器和ISP芯片等全套产品，，，，，，能够支持诸多物联网装备，，，，，，以增进感知智能和内容增强

申请试用

相识所有案例

相识所有产品效劳

火星混淆现实平台 SenseMARS

SenseMARS平台通过对物理天下的数字重修、虚拟化身和软件智能体，，，，，，创立全新的陶醉式和交互式的元宇宙体验

申请试用

相识所有案例

相识所有产品效劳

晶识智能零售平台 SenseGalaxy

基于商汤SKU商品识别大模子，，，，，，用AI赋能智能结算、库存盘货、纯净度审核等营业场景并快速拓展至智慧商流与智慧物流领域。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

焦点手艺: 以原创手艺系统为基本，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，结构多领域、多偏向前沿研究，，，，，，
快速买通AI在各个笔直场景中的应用，，，，，，向行业赋能。。。。。。。

< 返回论文解读

CVPR 2018 | 商汤科技论文详解：基于标准-时间网格的视频中物体检测算法

2018-06-06

在物体检测与识别领域，，，，，，香港中文大学-商汤科技团结实验室在CVPR 2018揭晓论文，，，，，，提出基于标准-时间网格的视频中物体检测算法，，，，，，解决怎样优化清静衡视频物体检测中精度和速率的难题。。。。。。。本文为商汤科技CVPR 2018论文解读第6期。。。。。。。

论文：Optimizing Video Object Detection via a Scale-Time Lattice

作者：Kai Chen, Jiaqi Wang, Shuo Yang, Xingcheng Zhang, Yuanjun Xiong, Chen Change Loy, Dahua Lin

原文链接：

https://arxiv.org/abs/1804.05472

代码链接：

简介

本文主要研究怎样更好地优化清静衡视频中物体检测的准确率和检测速率。。。。。。。物体检测器为了抵达高准确率，，，，，，往往需要使用高性能的卷积神经网络来提取图像特征，，，，，，导致检测速率难以知足实时性的需求。。。。。。。解决这个问题的要害在于追求一种有用的方法，，，，，，在准确率和检测速率之间作出平衡。。。。。。。为了寻找一个优异的平衡点，，，，，，之前的研究事情通常集中在怎样优化网络结构上。。。。。。。本文提出一种新的要领，，，，，，基于标准-时间网格(Scale-Time Lattice，，，，，，简记为ST-Lattice)来重新分派盘算资源。。。。。。。

提出的要领在ImageNet VID 数据集上抵达了 79.6 mAP(20fps)和 79.0 mAP(62 fps)的准确率和速率。。。。。。。本文的主要孝顺有：

提出了标准-时间网格，，，，，，其为算法提供了富厚的设计空间来对物体检测性能举行优化;
基于标准-时间网格，，，，，，提出了新的视频中物体检测的框架，，，，，，实现了优异准确率和快速检测速率的平衡;
设计了一些新的手艺�？？？？？�，，，，，，包括高效的撒播�？？？？？楹投囊χ⊙∪∧？？？？？�。。。。。。。

基本头脑

视频中相邻帧之间有着很强的一连性和信息冗余性，，，，，，为了提高效率，，，，，，应该充分使用这些性子来设计新的检测框架。。。。。。。之前的要领已经对视频中的物体检测作了许多探索，，，，，，通常包括若干个办法，，，，，，例如基于单帧的物体检测，，，，，，举行跨时间的撒播和空间上位置的修正等，，，，，，怎样用一种更高效的方法将这些自力的办法团结起来是一个值得研究的问题。。。。。。。

本文提出的基本头脑是在一个盘算网格中对盘算资源举行更好的分派，，，，，，将准确但速率较慢的静态图像物体检测器应用于希罕的要害帧上，，，，，，然后使用一些简朴高效的网络在时间和空间两个维度上一直地撒播和修正这些检测效果，，，，，，以抵达更好的平衡。。。。。。。

标准-时间网格

本文将标准-时间网格体现成一个有向无环图(如图1所示)。。。。。。。图中的每一个节点都体现某个图像标准和时间点的中心效果，，，，，，即一系列检测框。。。。。。。这些节点以类似网格的方法关联起来：从左到右遵照时间顺序，，，，，，从上到下图像标准(区分率)逐渐提高。。。。。。。图中的一条边代表一个特定的操作，，，，，，以一个节点的效果作为输入，，，，，，输出另一个节点的检测效果。。。。。。。我们在图中界说两种操作，，，，，，时间撒播(temporal propagation)和空间修正(spatial refinement)。。。。。。。它们划分对应图中横向边和纵向边。。。。。。。时间撒播是在统一图像标准下，，，，，，在相邻的帧之间举行检测框的撒播。。。。。。。而空间修正是在统一帧下，，，，，，对检测框的位置举行修正，，，，，，获得更高图像标准下的检测框效果。。。。。。。在标准-时间网格中，，，，，，检测效果会通过上述操作从一个节点撒播到另一个节点，，，，，，最终抵达最底端的所有节点，，，，，，也即在最大的图像标准上每帧的检测效果。。。。。。。

https://github.com/hellock/scale-time-lattice

项目主页：

http://mmlab.ie.cuhk.edu.hk/projects/ST-Lattice/

图1：标准-时间网格示意图

基于标准-时间网格，，，，，，本文的视频物体检测算法被分为以下3 个办法：

在希罕的要害帧上(用基于静态图像的物体检测器)举行检测，，，，，，获得希罕节点上的效果;
计齐整条从上述希罕的节点到浓密的节点的路径;
基于上述路径将要害帧上的检测效果撒播到中心帧，，，，，，并举行位置修正。。。。。。。

标准-时间网格的框架为算法提供了富厚的设计空间来平衡优化视频中物体检测精度和速率。。。。。。。检测所需要的总时间是路径中所有边的时间之和，，，，，，包括单帧物体检测器的时间以及撒播和修正所用的时间。。。。。。�？？？？？梢酝ü圆畋鸬谋呱戏峙刹畋鸬呐趟闶奔�，，，，，，来抵达性能与时间上的期望平衡点。。。。。。。

图2：

标准-时间网格中的时间撒播网络(T)

和空间修正网络(S)

差别�？？？？？榈氖迪�

撒播和修正单位(Propagation and Refinement Unit，，，，，，PRU)

撒播和修正单位(如图2所示)以相邻两个要害帧的效果作为输入，，，，，，使用时间撒播网络将效果撒播到中心帧上，，，，，，然后使用空间修正网络将效果举行空间位置上的修正。。。。。。。时间撒播网络主要用于思量视频中的运动信息，，，，，，来展望两帧之间较大的位移。。。。。。。而空间修正�？？？？？樵蛲ü毓榧觳饪蛭恢玫奈蟛�，，，，，，来修正检测框原来的误差和撒播带来的误差。。。。。。。这两种操作一直迭代举行来获得最终的检测效果。。。。。。。

在时间撒播网络中，，，，，，算法使用两帧之间的运动历史图像(Motion History Image，，，，，，MHI)来体现运动信息，，，，，，将其输入到网络中，，，，，，回归物体在这段时间内的位移。。。。。。。相关于光流等常用的运动体现，，，，，，MHI 的盘算速率非�？？？？？�，，，，，，使得空间撒播网络能够坚持较高的效率。。。。。。。

在空间修正网络中，，，，，，算法接纳与Fast R-CNN 相同的结构，，，，，，以目今帧的 RGB 图像作为输入，，，，，，往返归检测框的误差。。。。。。。这两个小网络在训练时通过一个多使命的损失函数同时举行优化。。。。。。。

要害帧选取

要害帧的选取对最终的检测速率和准确率有着主要的影响。。。。。。。最简朴直接的要领就是在时间轴上匀称地选取要害帧，，，，，，之前的绝大大都要领也都接纳磷泼战略。。。。。。。但本文思量到帧与帧之间的信息冗余度差别，，，，，，并不是每一帧都有一律主要的职位，，，，，，以是需要一种非匀称的采样战略，，，，，，在物体运动较快、撒播难度大的时间段内多选取要害帧，，，，，，反之则少选取要害帧。。。。。。。

详细历程如下：首先在匀称选取的很是希罕的帧(例如每隔24帧)上举行单帧的物体检测，，，，，，然后凭证检测效果来权衡相邻两个要害帧之间撒播的难易水平，，，，，，若是难易水平低于某个阈值，，，，，，则在这两帧之间插入一个特另外要害帧。。。。。。。盘算难易水平时本文思量了两个因素，，，，，，即框的巨细以及物体运动快慢，，，，，，详细公式拜见原文。。。。。。。

时间管道重打分(Tube Rescoring)

由于时间上的检测框撒播，，，，，，获得的检测效果并不是自力的逐帧效果，，，，，，而是自然串联成一个个的物体时间管道(Object Tube)的，，，，，，那么可以对这些物体时间管道来举行重新分类。。。。。。。本文训练了一个 R-CNN 作为分类器，，，，，，关于每个物体时间管道，，，，，，匀称选取其中 K 帧作为输入，，，，，，以它们的平均值作为新的分类效果，，，，，，凭证新的分类效果来调解物体时间管道中每个框的分数。。。。。。。

实验效果

图3展示了本文基于标准-时间网格算法的检测速率(fps)和准确率(mAP)的曲线，，，，，，并和之前的要领举行较量。。。。。。�？？？？？梢钥吹奖疚囊煊庞� baseline 和之前性能先进的要领。。。。。。。

图3：

差别视频中物体检测算法

检测速率和精度的较量

结论

针对视频中的物体检测，，，，，，本文提出了标准-时间网格这个无邪的框架，，，，，，其提供了富厚的设计空间来解决怎样平衡准确率和检测速率的挑战。。。。。。。该要领将单帧检测、时间撒播、多标准空间处置惩罚团结起来解决这个问题。。。。。。。实验效果展示了基于该框架的多种设计和设置，，，，，，能够抵达与目今先进性能要领近似的准确率，，，，，，但检测速率则获得了大幅提高。。。。。。。该框架不但可以用于物体检测，，，，，，也可以应用在其他视频相关的使命，，，，，，如物体支解、物体跟踪等。。。。。。。

您尚未完善信息

完善信息后，，，，，，即可下载资料

完善信息跳过，，，，，，继续浏览

您尚未登录

您还未登录，，，，，，登录方可继续

登录跳过，，，，，，继续浏览

请选择您以为需要刷新的地方：

导航欠好用，，，，，，不利便找到感兴趣的内容
产品先容信息不敷周全
产品先容信息禁止易懂
页面翻开速率烦懑，，，，，，页面浏览不流通/有卡顿
页面不敷雅观
售后效劳欠好找，，，，，，体验欠好

跳过下一个

您是否能够抵达本次网站的会见目的？？？？？

是
否
仍在举行中

下一个

您对商汤官网的知足度怎样？？？？？

1
2
3
4
5
6
7
8
9
10

很是不知足很是知足

提交

已收到您对商汤官网的评价和建议！

谢谢您的耐心反响~

关闭

产品试用

填写此简朴表格，，，，，，我们将尽快联系您！

把您的需求发给我们相识所有产品

商务相助

400 900 5986

周一至周五 9:00-12:00，，，，，，13:00-18:00

business@sensetime.com

相助同伴招募

成为相助同伴

您还未登录，，，，，，登录方可继续

登录跳过，，，，，，继续浏览

您尚未完善信息

完善信息后，，，，，，即可下载资料

完善信息跳过，，，，，，继续浏览

商务相助

400 900 5986
( 周一至周五 9:00-12:00, 13:00-18:00 )
business@sensetime.com
媒体相同: pr@sensetime.com
投资者关系联络: ir@sensetime.com

社交媒体

微信公众号

【网站地图】【sitemap】