哈哈(haha)体育

哈哈体育.(HAHA)十年运营,信誉无忧

返回新闻中心

? ? ?

手艺能力

以原创手艺系统为基本，，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，，结构多领域、多偏向前沿研究，，，，，，，快速买通AI在各个笔直场景中的应用，，，，，，，向行业赋能。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤研究

商汤研究始终坚持原创，，，，，，，一直突破立异。。。。。。。具有人工智能领域深挚的学术积累，，，，，，，具备健全的人才作育机制，，，，，，，已与海内外五十余所一流高校和科研院所建设了深度相助关系，，，，，，，并与众多行业同仁同心共建AI生态圈。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤大装置AI云 SenseCore

建设高效率、低本钱、规模�；；；；；；� AI 云基础设施，，，，，，，打造专业的深度学习平台及算法模子系统，，，，，，，引领AI立异，，，，，，，助力工业界及学术界探索 AI 界线。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤日日新大模子 SenseNova

商汤日日新大模子 SenseNova，，，，，，，可以提供自然语言处置惩罚、图片天生、自动化数据标注、自界说模子训练等多种大模子及能力。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

水星智能移动终端平台 SenseME

哈哈(haha)体育SenseME 水星智能移动终端平台提供包括SDK、AI传感器和ISP芯片等全套产品，，，，，，，能够支持诸多物联网装备，，，，，，，以增进感知智能和内容增强

申请试用

相识所有案例

相识所有产品效劳

火星混淆现实平台 SenseMARS

SenseMARS平台通过对物理天下的数字重修、虚拟化身和软件智能体，，，，，，，创立全新的陶醉式和交互式的元宇宙体验

申请试用

相识所有案例

相识所有产品效劳

晶识智能零售平台 SenseGalaxy

基于商汤SKU商品识别大模子，，，，，，，用AI赋能智能结算、库存盘货、纯净度审核等营业场景并快速拓展至智慧商流与智慧物流领域。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

焦点手艺: 以原创手艺系统为基本，，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，，结构多领域、多偏向前沿研究，，，，，，，
快速买通AI在各个笔直场景中的应用，，，，，，，向行业赋能。。。。。。。

< 返回论文解读

CVPR 2018 | 商汤科技Spotlight论文详解：极低延迟性的视频语义支解

2018-05-30

在自动驾驶领域，，，，，，，现在基于深度学习的支解算法运算负荷仍然较大，，，，，，，不可有用移植到嵌入式端，，，，，，，在车辆上运行。。。。。。。在包管支解精度的情形下，，，，，，，怎样才华抵达高实时性?CVPR 2018商汤科技论文解读第4期为您带来解读。。。。。。。

以下是在自动驾驶场景明确领域，，，，，，，商汤科技揭晓的一篇亮点报告(Spotlight)论文，，，，，，，提出极低延迟性的视频语义支解算法。。。。。。。

该论文由商汤科技与港中文-商汤科技团结实验室相助完成。。。。。。。

论文：Low-Latency Video Semantic Segmentation

作者：Yule Li, Jianping Shi, Dahua Lin

论文链接：

https://arxiv.org/abs/1804.00389

简介

近年理由于深度神经网络，，，，，，，尤其全卷经神经网络的迅速生长，，，，，，，图像语义支解取得了飞速的希望，，，，，，，可是怎样高效的实现视频语义支解仍然是一个极富挑战性的问题。。。。。。。其难题在于：

与图像支解相比，，，，，，，视频支解通常涉及更多的数据。。。。。。。好比，，，，，，，视频每秒通常包括15～30帧，，，，，，，剖析视频因而需要更多的盘算资源;
许多现实应用(如自动驾驶)中的视频支解模浚浚浚�？？？樾枰迪质悠抵Ы獾牡脱映傩浴�。。。。。。

关于视频语义支解使命，，，，，，，大部分现有事情关注怎样在每帧盘算量和支解精度之间的抵达一个平衡点，，，，，，，却并没有深入的思索和探讨算法延迟性这个因素。。。。。。。现有事情可以被大致分为两类：

高层特征的时序建模要领
中心层特征撒播的要领

前者主要在一个完整的逐帧模子上增添一些提取时序信息的操作，，，，，，，因此不可镌汰盘算量。。。。。。。后者(如Clockwork Net、Deep Feature Flow等事情)通过重用历史帧的特征来加速盘算，，，，，，，这类要领可以镌汰视频整体盘算量，，，，，，，然而忽略了延迟方面的因素。。。。。。。这类要领的延迟和精度比照(如图1所示)，，，，，，，可以看出这类要领很难同时实现低延迟和高精度。。。。。。。哈哈(haha)体育事情则驻足降低每帧平均盘算量的同时，，，，，，，实现支解的高精度，，，，，，，降低算法的最大延迟。。。。。。。

图1：

Cityscapes数据集上

差别要领延迟和支解精度的比照

算法焦点头脑

本文算法使用视频支解中经典的基于要害帧调理的模式来有用平衡盘算量和精度。。。。。。。详细来说，，，，，，，若是目今处置惩罚帧为要害帧，，，，，，，则使用整个支解网络来获得语义支解的标签，，，，，，，如图2左部分所示;若是目今帧不为要害帧，，，，，，，则变换支解网络高层历史帧特征为目今帧高层特征，，，，，，，再使用支解网络的语义分类操作获适目今帧的语义标签，，，，，，，如图2右部分所示。。。。。。。要害帧的选择和特征跨帧撒播两个操作均基于同样的网络低层特征，，，，，，，详细操作在之后章节详述。。。。。。。在划分支解网络结构时，，，，，，，算法只管包管低层网络的运行时间远小于高层网络，，，，，，，(如图2所示)低层网络耗时61ms，，，，，，，而高层网络耗时300ms。。。。。。。这样思量的起点在于：

因低层网络的盘算价钱很小，，，，，，，算法可以基于低层网络提取的特征，，，，，，，增添少部分特另外盘算来完成要害帧选择和特征跨帧撒播;
目今帧的低层特征同样包括目今帧的信息，，，，，，，可以互补来自差别时间的撒播特征;
所有的操作均复用了逐帧模子的结构，，，，，，，算法整体模子越发精练。。。。。。。

图2：

自顺应特征撒播模浚浚浚�？？？�

自顺应特征跨帧撒播

特征撒播关注怎样从历史帧撒播高层特征到目今帧，，，，，，，降低模子总体盘算量，，，，，，，先前的变换要领主要分为两类：

基于图像或底层特征获取的光流信息，，，，，，，跨帧撒播差别帧的语义分类特征。。。。。。。这类要领虽然有用，，，，，，，可是盘算光流往往价钱太大，，，，，，，而获适目今帧的语义标签并不需要严酷的点到点映射。。。。。。。
平移稳固性卷积。。。。。。。这种操作在每个位置均使用相同的卷积核来映射特征，，，，，，，因此不可顺应差别位置的内容转变。。。。。。。

本文设计了一个位置相关的卷积操作来举行跨帧特征撒播。。。。。。。它的盘算量相对较低，，，，，，，同时又能顺应差别位置的特征举行自顺应撒播。。。。。。。差别位置的卷积核参数通过一个小的网络回归学习获得(如图2中weight predictor所示)，，，，，，，其能很好的顺应差别空间位置内容的转变。。。。。。。整体特征撒播模浚浚浚�？？？�(包括目今帧低层网络、卷积核展望和空间转变卷积)包括两大优势：

总体盘算量相较高层网络部分盘算量大为减小，，，，，，，因而可以快速的获适目今帧的语义标签;
可以很好的坚持视频相近帧的颤抖或者其他快速转变，，，，，，，实验效果批注这种卷积操作融合要领能够有用的提升7% mIOU的精度。。。。。。。

整体效果如表1所示，，，，，，，效果展示了本文算法复用逐帧网络的优势，，，，，，，可以从低层网络提取的特征来互补跨帧撒播的特征。。。。。。。

表1：

差别特征撒播模浚浚浚�？？？槎宰钪罩Ы饩鹊挠跋�

自顺应要害帧调理

视频处置惩罚算法中，，，，，，，一个好的要害帧选择算法能够随视频内容转变自顺应的调解要害帧选择频率，，，，，，，在视频内容转变大的时间区间更多的选摘要害帧，，，，，，，而在视频转变缓慢的区间较少的选摘要害帧，，，，，，，从而在有用坚持视频流中信息的条件下，，，，，，，降低整体盘算量。。。。。。。现有的要害帧调理算法分为牢靠长度调理和基于阈值调理两种计划，，，，，，，前者每隔n帧选择一次要害帧，，，，，，，这种方法不可顺应差别视频帧之间内容的转变，，，，，，，后者则通过盘算目今帧高层特征和历史帧高层特征之间的差值，，，，，，，通过设定一个阈值来决议是否是否选择目今帧为要害帧，，，，，，，这种要领能一定水平的顺应差别帧之间的内容转变，，，，，，，可是特征的差值容易波动，，，，，，，较难设定一个统一的阈值。。。。。。。

本文算法使用目今帧语义标签和前一个要害帧语义标签的差别值来作为视频内容转变水平的判断依据，，，，，，，如图3所示，，，，，，，若目今帧距上一个要害帧越远，，，，，，，则语义标签的差值就越大。。。。。。。当差值凌驾某个阈值的时间，，，，，，，则选择该帧作为要害帧。。。。。。。可是直接盘算这样一个差别值较为难题，，，，，，，本文在Cityscapes和Camvid两个数据集上发明低层特征和语义标签的转变值有很大的关联，，，，，，，因而使用低层特征来展望这样该差值，，，，，，，即输入历史帧低层特征和目今帧低层特征到一个回归器往返归该差别值。。。。。。。差别的要害帧选择战略的效果如图4所示，，，，，，，所有的战略均接纳本文提出的自顺应特征撒播要领，，，，，，，可以看出提出的自顺应要害帧调理要领显着优于基于牢靠距离和基于高层特征差值阈值的调理战略。。。。。。。

图3：

自顺应的要害帧选择

图4：

差别调理战略对最终支解性能的影响

整系一切框架

本文算法整体框架如图5所示，，，，，，，当视频的序列帧一直输入时，，，，，，，在第一帧时刻，，，，，，，举行初始化操作，，，，，，，即输入图片帧给整个网络，，，，，，，获得低层特征和高层特征。。。。。。。在接下来的时刻t举行自顺应的盘算，，，，，，，首先盘算低层特征：输入和上一个要害帧低层特征至自顺应要害帧选择模浚浚浚�？？？�，，，，，，，判断目今帧是否为要害帧。。。。。。。若为要害帧，，，，，，，则输入底层特征至高层网络获得高层特征;不然输入底层特征至自顺应特征撒播模浚浚浚�？？？榛袷誓拷裰「卟闾卣�，，，，，，，进而通过语义分类获适目今帧语义标签。。。。。。。

图5：

系统整体框架示意图

该系统极大的镌汰了整体耗时，，，，，，，其中判断要害帧操作耗时仅20ms，，，，，，，跨帧特征撒播仅需38ms，，，，，，，而高层网络盘算高层特征则需要299ms。。。。。。。通过这种方法，，，，，，，整个系统可以显着的降低系统的平均每帧盘算量(如表2所示)，，，，，，，自顺应调理战略和自顺应特征撒播要领可以把每帧平均盘算时间由360ms减为171ms，，，，，，，精度仅损失3.4% mIOU。。。。。。。

表2：

Cityscape数据集上

与现在先进要领效果的比照

同时本文设计了一种低延迟的调理战略进一步镌汰整系一切的延迟，，，，，，，适用于自动驾驶等需要实时响应的系统。。。。。。。详细而言，，，，，，，目今帧被判断为要害帧时，，，，，，，低延迟调理战略仍然从历史帧撒播特征到目今帧并将其缓存为目今帧高层特征，，，，，，，同时启用一个后台线程来盘算目今帧高层特征(若是直接运行高层网络部分会造成299ms的延迟)，，，，，，，一旦盘算完成绩取代缓存的高层特征。。。。。。。实验效果批注(如表2所示)，，，，，，，这种低延迟的调理战略能够将延迟由360ms降为119ms，，，，，，，同时只损失较小的支解精度(由78.84%降为75.89%)。。。。。。。

结论

本文提出了一个高效的低延迟视频语义支解算法，，，，，，，其主要由自顺应特征撒播和自顺应要害帧调理模浚浚浚�？？？樽槌伞�。。。。。。该算法在关注平衡精度和盘算量的同时力争降低系统的延迟，，，，，，，Cityscapes和Camvid两个数据集上的实验效果证实晰该要领的有用性。。。。。。。作者希望在未来事情中在模子压缩和模子设计方面进一步降低算法的总体延迟和盘算量。。。。。。。

您尚未完善信息

完善信息后，，，，，，，即可下载资料

完善信息跳过，，，，，，，继续浏览

您尚未登录

您还未登录，，，，，，，登录方可继续

登录跳过，，，，，，，继续浏览

请选择您以为需要刷新的地方：

导航欠好用，，，，，，，不利便找到感兴趣的内容
产品先容信息不敷周全
产品先容信息禁止易懂
页面翻开速率烦懑，，，，，，，页面浏览不流通/有卡顿
页面不敷雅观
售后效劳欠好找，，，，，，，体验欠好

跳过下一个

您是否能够抵达本次网站的会见目的？？？？？？？

是
否
仍在举行中

下一个

您对商汤官网的知足度怎样？？？？？？？

1
2
3
4
5
6
7
8
9
10

很是不知足很是知足

提交

已收到您对商汤官网的评价和建议！

谢谢您的耐心反响~

关闭

产品试用

填写此简朴表格，，，，，，，我们将尽快联系您！

把您的需求发给我们相识所有产品

商务相助

400 900 5986

周一至周五 9:00-12:00，，，，，，，13:00-18:00

business@sensetime.com

相助同伴招募

成为相助同伴

您还未登录，，，，，，，登录方可继续

登录跳过，，，，，，，继续浏览

您尚未完善信息

完善信息后，，，，，，，即可下载资料

完善信息跳过，，，，，，，继续浏览

商务相助

400 900 5986
( 周一至周五 9:00-12:00, 13:00-18:00 )
business@sensetime.com
媒体相同: pr@sensetime.com
投资者关系联络: ir@sensetime.com

社交媒体

微信公众号

【网站地图】【sitemap】