哈哈(haha)体育

哈哈体育.(HAHA)十年运营,信誉无忧

返回新闻中心

? ? ?

手艺能力

以原创手艺系统为基本，，，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，，，结构多领域、多偏向前沿研究，，，，，，，，快速买通AI在各个笔直场景中的应用，，，，，，，，向行业赋能。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤研究

商汤研究始终坚持原创，，，，，，，，一直突破立异。。。。。。具有人工智能领域深挚的学术积累，，，，，，，，具备健全的人才作育机制，，，，，，，，已与海内外五十余所一流高校和科研院所建设了深度相助关系，，，，，，，，并与众多行业同仁同心共建AI生态圈。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤大装置AI云 SenseCore

建设高效率、低本钱、规�；；；；；；� AI 云基础设施，，，，，，，，打造专业的深度学习平台及算法模子系统，，，，，，，，引领AI立异，，，，，，，，助力工业界及学术界探索 AI 界线。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤日日新大模子 SenseNova

商汤日日新大模子 SenseNova，，，，，，，，可以提供自然语言处置惩罚、图片天生、自动化数据标注、自界说模子训练等多种大模子及能力。。。。。。

申请试用

相识所有案例

相识所有产品效劳

水星智能移动终端平台 SenseME

哈哈(haha)体育SenseME 水星智能移动终端平台提供包括SDK、AI传感器和ISP芯片等全套产品，，，，，，，，能够支持诸多物联网装备，，，，，，，，以增进感知智能和内容增强

申请试用

相识所有案例

相识所有产品效劳

火星混淆现实平台 SenseMARS

SenseMARS平台通过对物理天下的数字重修、虚拟化身和软件智能体，，，，，，，，创立全新的陶醉式和交互式的元宇宙体验

申请试用

相识所有案例

相识所有产品效劳

晶识智能零售平台 SenseGalaxy

基于商汤SKU商品识别大模子，，，，，，，，用AI赋能智能结算、库存盘货、纯净度审核等营业场景并快速拓展至智慧商流与智慧物流领域。。。。。。

申请试用

相识所有案例

相识所有产品效劳

焦点手艺: 以原创手艺系统为基本，，，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，，，结构多领域、多偏向前沿研究，，，，，，，，
快速买通AI在各个笔直场景中的应用，，，，，，，，向行业赋能。。。。。。

< 返回论文解读

商研丨实例支解的进阶三级跳：从Mask R-CNN到Hybrid Task Cascade

2019-03-21

编者按：早在2018年的COCO角逐中，，，，，，，，商汤科技研究员和香港中文大学-商汤团结实验室(MMLab)同砚组成的团队，，，，，，，，在最焦点的物体检测(Detection)项目中夺得冠军。。。。。。商汤团队创立性地开发了全新的手艺，，，，，，，，尤其是提出了新的多使命混淆级联架构(Hybrid Task Cascade)，，，，，，，，通过把差别子使命举行逐级混淆，，，，，，，，有用地改善了整个检测历程中的信息流动。。。。。。

克日，，，，，，，，基于 COCO 2018角逐团队相助的效果，，，，，，，，MMLab团队又取得新突破，，，，，，，，揭晓了论文《Hybrid Task Cascade for Instance Segmentation》，，，，，，，，该论文已入选CVPR 2019。。。。。。论文提出了一种新的实例支解框架，，，，，，，，设计了多使命多阶段的混淆级联络构，，，，，，，，并且融合了一个语义支解的分支来增强Spatial Context。。。。。。这种框架取得了显着优于Mask R-CNN和Cascade MaskR-CNN的效果。。。。。。本文是对《Hybrid Task Cascade for Instance Segmentation》的论文解读。。。。。。

配景

实例支解(Instance Segmentation)是一个和物体检测很是相关可是更难的问题，，，，，，，，在物体检测的基础上，，，，，，，，还要求支解出物体的像素，，，，，，，，如下图所示。。。。。。

实例支解这个问题近几年的生长在很洪流平上是由COCO数据集和角逐推动的。。。。。。从MNC，，，，，，，，FCIS到PANet，，，，，，，，都是在COCO Instance Segmentation Track 上拿第一名的要领。。。。。。Mask R-CNN是个破例，，，，，，，，由于Paper果真得较量早，，，，，，，，以是是2017年前几名步队的基本要领。。。。。。同理可知，，，，，，，，Hybrid Task Cascade(HTC)在 COCO 2018 的角逐中也取得了第一名。。。。。。

概述

级联是一种较量经典的结构，，，，，，，，在许多使命中都有用到，，，，，，，，好比物体检测中的CC-Net，，，，，，，，CascadeR-CNN，，，，，，，，语义支解中的Deep Layer Cascade等等。。。。。。然而将这种结构或者头脑引入到实例支解中并不是一件直接而容易的事情，，，，，，，，若是直接将Mask R-CNN和Cascade R-CNN团结起来，，，，，，，，获得的提升是有限的，，，，，，，，因此我们需要更多地探索检测和支解使命的关联。。。。。。

在本篇论文中，，，，，，，，我们提出了一种新的实例支解框架，，，，，，，，设计了多使命多阶段的混淆级联络构，，，，，，，，并且融合了一个语义支解的分支来增强Spatial Context。。。。。。这种框架取得了显着优于Mask R-CNN和Cascade Mask R-CNN的效果。。。。。。

要领

整个框架的演进可以用四张图来体现，，，，，，，，其中M体现Mask分支，，，，，，，，B体现Box分支，，，，，，，，数字体现Stage，，，，，，，，M1即为第一个Stage的Mask分支。。。。。。

进阶准备：Cascade Mask R-CNN

由于Cascade R-CNN在物体检测上的效果很是好，，，，，，，，我们首先实验将Cascade R-CNN和Mask R-CNN直接举行杂交，，，，，，，，获得子代Cascade Mask R-CNN，，，，，，，，如上图(a)所示。。。。。。在这种实现里，，，，，，，，每一个Stage和Mask R-CNN 相似，，，，，，，，都有一个Mask分支和Box分支。。。。。。目今Stage会接受RPN或者上一个Stage回归过的框作为输入，，，，，，，，然后展望新的框和Mask。。。。。。这也是实验中我们所较量的Baseline，，，，，，，，从实验表格可以看到着实这个Baseline已经很强了，，，，，，，，可是仍然保存显着的问题，，，，，，，，主要在于Cascade MaskR-CNN相比Mask R-CNN在Box AP上提高了3.5个点，，，，，，，，可是在Mask AP上只提高了1.2个点。。。。。。

进阶第一步：Interleaved Execution

Cascade R-CNN虽然强行在每一个Stage内里塞下了两个分支，，，，，，，，可是这两个分支之间在训练历程中没有任何交互，，，，，，，，它们是并行执行的。。。。。。以是我们提出Interleaved Execution，，，，，，，，也即在每个Stage里，，，，，，，，先执行Box分支，，，，，，，，将回归过的框再交由Mask分支来展望Mask，，，，，，，，如上图(b)所示。。。。。。这样既增添了每个Stage内差别分支之间的交互，，，，，，，，也消除了训练和测试流程的Gap。。。。。。我们发明这种设计对Mask R-CNN和Cascade Mask R-CNN 的Mask分支都有一定提升。。。。。。

这一步起到了很主要的作用，，，，，，，，对一样平常Cascade结构的设计和刷新也具有借鉴意义。。。。。。我们首先回首原始Cascade R-CNN的结构，，，，，，，，每个Stage只有Box分支。。。。。。目今Stage对下一Stage爆发影响的途径有两条：(1) i+1.png

的输入特征是展望出回归后的框通RoI Align获得的;(2) i+1.png 的回归目的是依赖的框的展望的。。。。。。这就是Box分支的信息流，，，，，，，，让下一个Stage的特征和学习目的和目今Stage有关。。。。。。在Cascade的结构中这种信息流是很主要的，，，，，，，，让差别Stage之间在逐渐调解而不是类似于一种Ensemble。。。。。。

然而在Cascade Mask R-CNN 中，，，，，，，，差别Stage之间的Mask分支是没有任何直接的信息流的，，，，，，，， MI+1.png 只和目今通过RoI Align有关联而与没有任何联系。。。。。。多个Stage的Mask分支更像用差别漫衍的数据举行训练然后在测试的时间举行Ensemble，，，，，，，，而没有起到Stage间逐渐调解和增强的作用。。。。。。为相识决这一问题，，，，，，，，我们在相邻的Stage的Mask分支之间增添一条毗连，，，，，，，，提供Mask分支的信息流，，，，，，，，让能 MI+1.png 知道的特征。。。。。。详细实现上如下图中红色部分所示，，，，，，，，我们将的特征经由一个1x1的卷积做Feature embedding，，，，，，，，然后输入到，，，，，，，，这样既能获得Backbone的特征，，，，，，，，也能获得上一个Stage的特征。。。。。。

进阶第三步：Semantic Feature Fusion

这一步是我们实验将语义支解引入到实例支解框架中，，，，，，，，以获得更好的Spatial Context。。。。。。由于语义支解需要对全图举行细腻的像素级的分类，，，，，，，，以是它的特征是具有很强的空间位置信息，，，，，，，，同时对远景和配景有很强的区分能力。。。。。。通过将这个分支的语义信息再融合到Box和Mask分支中，，，，，，，，这两个分支的性能可以获得较大提升。。。。。。

在详细设计上，，，，，，，，为了最大限度和实例支解模子复用Backbone，，，，，，，，镌汰特殊参数，，，，，，，，我们在原始的FPN的基础上增添了一个简朴的全卷积网络用来做语义支解。。。。。。首先将FPN的5个level的特征图Resize到相同巨细并相加，，，，，，，，然后经由一系列卷积，，，，，，，，再划分展望出语义支解效果和语义支解特征。。。。。。这里我们使用COCO-Stuff的标注来监视语义支解分支的训练。。。。。。红色的特征将和原来的Box和Mask分支举行融合(在下图中没有画出)，，，，，，，，融合的要领我们也是接纳简朴的相加。。。。。。

进阶效果

通过上面的几步，，，，，，，，在使用ResNet-50的Backbone下，，，，，，，，相对Cascade Mask R-CNN可以有1.5个点的Mask AP提升，，，，，，，，相对Mask R-CNN可以有2.9个点的提升。。。。。。在COCO 2017 val子集上的逐步比照试验如下表所示。。。。。。

2020-6-23过jh.jpg

除了纯净版HTC之外，，，，，，，，在Paper里我们还给出了在COCO Challenge内里用到的所有办法和技巧的涨点情形(良心生意有木有)。。。。。。

总结

1、多使命多阶段的混淆级联络构。。。。。。

2、训练时每个Stage内Box和Mask分支接纳交替执行。。。。。。

3、在差别Stage的Mask分支之间引入直接的信息流。。。。。。

4、语义支解的特征和原始的Box/Mask分支融合，，，，，，，，增强Spatial Context。。。。。。

Code

照例将Release到MMDetection

(https://github.com/open-mmlab/mmdetection)，，，，，，，，接待 watch。。。。。。

Arxiv

Hybrid Task Cascade for Instance Segmentation

(https://arxiv.org/abs/1901.07518)

640.webp.jpg

您尚未完善信息

完善信息后，，，，，，，，即可下载资料

完善信息跳过，，，，，，，，继续浏览

您尚未登录

您还未登录，，，，，，，，登录方可继续

登录跳过，，，，，，，，继续浏览

请选择您以为需要刷新的地方：

导航欠好用，，，，，，，，不利便找到感兴趣的内容
产品先容信息不敷周全
产品先容信息禁止易懂
页面翻开速率烦懑，，，，，，，，页面浏览不流通/有卡顿
页面不敷雅观
售后效劳欠好找，，，，，，，，体验欠好

跳过下一个

您是否能够抵达本次网站的会见目的？？？？？？？

是
否
仍在举行中

下一个

您对商汤官网的知足度怎样？？？？？？？

1
2
3
4
5
6
7
8
9
10

很是不知足很是知足

提交

已收到您对商汤官网的评价和建议！

谢谢您的耐心反响~

关闭

产品试用

填写此简朴表格，，，，，，，，我们将尽快联系您！

把您的需求发给我们相识所有产品

商务相助

400 900 5986

周一至周五 9:00-12:00，，，，，，，，13:00-18:00

business@sensetime.com

相助同伴招募

成为相助同伴

您还未登录，，，，，，，，登录方可继续

登录跳过，，，，，，，，继续浏览

您尚未完善信息

完善信息后，，，，，，，，即可下载资料

完善信息跳过，，，，，，，，继续浏览

商务相助

400 900 5986
( 周一至周五 9:00-12:00, 13:00-18:00 )
business@sensetime.com
媒体相同: pr@sensetime.com
投资者关系联络: ir@sensetime.com

社交媒体

微信公众号

【网站地图】【sitemap】