哈哈(haha)体育

哈哈体育.(HAHA)十年运营,信誉无忧

返回新闻中心

? ? ?

手艺能力

以原创手艺系统为基本，，，，，SenseCore商汤AI大装置为焦点基座，，，，，结构多领域、多偏向前沿研究，，，，，快速买通AI在各个笔直场景中的应用，，，，，向行业赋能。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤研究

商汤研究始终坚持原创，，，，，一直突破立异。。。。。。具有人工智能领域深挚的学术积累，，，，，具备健全的人才作育机制，，，，，已与海内外五十余所一流高校和科研院所建设了深度相助关系，，，，，并与众多行业同仁同心共建AI生态圈。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤大装置AI云 SenseCore

建设高效率、低本钱、规�；；；；；� AI 云基础设施，，，，，打造专业的深度学习平台及算法模子系统，，，，，引领AI立异，，，，，助力工业界及学术界探索 AI 界线。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤日日新大模子 SenseNova

商汤日日新大模子 SenseNova，，，，，可以提供自然语言处置惩罚、图片天生、自动化数据标注、自界说模子训练等多种大模子及能力。。。。。。

申请试用

相识所有案例

相识所有产品效劳

水星智能移动终端平台 SenseME

哈哈(haha)体育SenseME 水星智能移动终端平台提供包括SDK、AI传感器和ISP芯片等全套产品，，，，，能够支持诸多物联网装备，，，，，以增进感知智能和内容增强

申请试用

相识所有案例

相识所有产品效劳

火星混淆现实平台 SenseMARS

SenseMARS平台通过对物理天下的数字重修、虚拟化身和软件智能体，，，，，创立全新的陶醉式和交互式的元宇宙体验

申请试用

相识所有案例

相识所有产品效劳

晶识智能零售平台 SenseGalaxy

基于商汤SKU商品识别大模子，，，，，用AI赋能智能结算、库存盘货、纯净度审核等营业场景并快速拓展至智慧商流与智慧物流领域。。。。。。

申请试用

相识所有案例

相识所有产品效劳

焦点手艺: 以原创手艺系统为基本，，，，，SenseCore商汤AI大装置为焦点基座，，，，，结构多领域、多偏向前沿研究，，，，，
快速买通AI在各个笔直场景中的应用，，，，，向行业赋能。。。。。。

< 返回论文解读

NeurIPS 2021丨K-Net- 迈向统一的图像支解

2021-11-23

K-Net: Towards Unified Image Segmentation

Wenwei Zhang¹ Jiangmiao Pang^2,4 Kai Chen^3,4 Chen Change Loy¹^?

¹S-Lab, Nanyang Technological University ²CUHK-SenseTime Joint Lab, the Chinese University of Hong Kong ³SenseTime Research ⁴Shanghai AI Laboratory

{wenwei001, ccloy}@ntu.edu.sg panjiangmiao@gmail.com chenkai@sensetime.com

Part 1 TL；；；；；DR

实例支解（instance segmentation）已经被以 Mask R-CNN 为代表的“先检测后支解”的框架主导了多年，，，，，之前涌现的单阶段实例支解算法也依然需要遍历图片中的每一个位置（feature grids）来展望实例支解掩码（instance masks），，，，，因此它们都需要一些特另外组件（如检测框或/和NMS）来区分差别实例或整理相同实例的掩码。。。。。。

我们希望实例支解的推理历程可以像语义支解那样简朴：由一组卷积核（convolutional kernels）天生一组 mask，，，，，每一个 mask 至多只支解图片中的一个物体，，，，，且差别的 kernel 认真差别物体的 mask 天生。。。。。。这样就可以不借助任何特另外组件来完成实例支解使命（box-free and NMS-free)，，，，，并且在提高推理效率的同时实现端到端的训练优化，，，，，同时也自然地统一了语义、实例以致全景支解使命的解决范式。。。。。。

我们提出 K-Net 来作为这个思绪的一种探索，，，，，在全景支解（COCO-panoptic，，，，，test-dev set，，，，， 55.2 PQ）和语义支解（ADE20K val set，，，，，54.3 mIoU）上取得了新的 state-of-the-art 效果，，，，，在相同的实例支解精度下模子的推理速率比 Cascade Mask R-CNN 快 60-90% 。。。。。。

Part 2 实例支解的N种姿势

自 Mask R-CNN 被提出以来，，，，，“先检测后支解”的思绪统治了实例支解使命很长一段时间，，，，，直到最近两年才涌现出一些单阶段实例支解的探索。。。。。。近些年来，，，，，实例支解要领的思绪总结如下图：

图片19.jpg

上图中的4类要领都引入了特另外组件来区分差别的实例或者消除重复的实例，，，，，我们逐一来看：

Top-down 要领：例如 Mask R-CNN，，，，，Cascade Mask R-CNN，，，，，以及 HTC 等，，，，，都是接纳的先检测，，，，，后支解的思绪，，，，，通过框来区分差别物体并获得差别物体的特征图，，，，，再举行实例支解。。。。。。这类算法都会依赖检测框和 NMS。。。。。。

Bottom-up 要领：例如 Associate Embedding 和 Instance Cut 接纳的是先语义支解，，，，，然后通过一些 grouping 的历程来区分差别实例。。。。。。这类算法依赖聚类的操作（grouping process）。。。。。。

Dense Mask Prediction：从2019年TensorMask最先，，，，，有一些要领实验不依赖检测框，，，，，直接从每个feature grid 来展望 instance mask，，，，，好比 TensorMask 使用 sliding window，，，，，SOLO 把图像拆成不重叠的 grids。。。。。。由于他们都是遍历 CNN 的 feature grids 来天生麋集的 instance mask，，，，，以是都需要 NMS 来消除重复的 mask。。。。。。

Dense Kernel Prediction：尚有一些新的探索通过展望 kernel 来天生 mask，，，，，可是 kernel 的天生来自于 dense feature grids，，，，，是一个位置一个 kernel，，，，，因此需要检测框或者NMS来消除重复的实例（例如 SOLO v2 和 CondInst）。。。。。。

Part 3 让实例支解像语义支解那样简朴

此时反观语义支解，，，，，我们会发明，，，，，自全卷积网络（FCNs）提出以来，，，，，语义支解使命的解决思绪就没怎么变过，，，，，厥后的事情主要是在表征上下功夫，，，，，如PSPNet，，，，，DeepLab系列，，，，，以及种种 attention 网络等。。。。。。

其展望语义支解 mask 的焦点结构如下图所示，，，，，就是由一组 kernel 来认真语义 mask 的天生，，，，，同时由于语义支解使命的特点，，，，，我们可以让kernel数目和语义类的数目坚持一致，，，，，并让每一个 kernel 认真一个牢靠语义种别 mask 的天生。。。。。。

图片20.jpg

理论上来说，，，，，图像支解的实质就是把图片中的 pixel 分成具有差别特征的 group，，，，，对语义支解来说，，，，，一个 group 代表一个语义类型，，，，，对实例支解来说，，，，，一个 group 代表一个实例。。。。。。既然语义支解可以使用 kernel 来解决，，，，，做到一个 kernel 认真支解一个 group，，，，，实例支解能不可也用这样简朴的框架来解决呢？？？？？

看起来，，，，，我们也可以引入一组卷积核来认真 mask 的天生，，，，，只要我们限制一个 kernel 只支解一个物体，，，，，同时让每个kernel认真支解差别的物体，，，，，实例支解使命的推理似乎就完成了，，，，，顺带着全景支解也被统一到一个框架内了？？？？？

顺着这个思绪，，，，，实例支解和全景支解的模子框架就酿成了下面这样简朴：

图片21.jpg

如上图所示，，，，，在通过 backbone 和 neck 获得 2D 特征图以后，，，，，有一组可学习的 kernel 和特征图卷积获得初始的 mask 展望。。。。。。

在拿到 mask 展望和 mask 种别展望以后我们可以像 DETR 那样将 instance mask 和 ground truth masks 以 mask loss 作为 cost 举行 Bipartite matching ，，，，，匹配获得模子学习的target，，，，，然后整个模子就可以 end-to-end 举行训练推理了，，，，，详细使用的网络结构、 loss 和超参等细节可以见 paper。。。。。。

Part 4 Why now?

这个时间你着实会想：这么简朴的思绪，，，，，为什么之前各人没有想到？？？？？

缘故原由着实挺简朴的，，，，，就是 DETR 之前各人都很难想到，，，，，原来目的检测可以直接学一组数目有限的 query，，，，，然后基于 transformer + 足够久的模子训练（之前各人也没那么富足，，，，，一样平常不会训 300 个 epoch），，，，，就可以使每一个 query 学到只认真一个物体的检测框展望。。。。。。

DETR 除了使用 transformer，，，，，着实尚有使用了一个之前不受各人重视的要害手艺，，，，，那就是 Bipartite matching。。。。。。

目的检测/实例支解和其他使命纷歧样的点就在于，，，，，这个使命的 target 是一个检测框或者实例支解掩码的荟萃，，，，，而 CNN 学出来的表征是 dense 的，，，，，以是各人之前基于 dense 的 feature 都是做 dense 的 prediction，，，，，然后通过 NMS 等手段整理重复的展望。。。。。。

而 Bipartite matching 实质上解决了由一组 query 展望获得的 instance set 怎样去匹配 ground truth instances 的问题，，，，，也使得这样的一个框架不需要 NMS。。。。。。然后 DETR 用 transformer + 300 epoch 训练就把这样一套框架做 work 了。。。。。。

虽然，，，，，在 DETR 的 follow-up 事情中，，，，，Sparse R-CNN 也进一步证实晰可以直接学一组 Bounding box proposal，，，，，然后通过逐阶段 refine 来获得很高的目的检测精度。。。。。。Sparse R-CNN 在检测使命上的乐成进一步验证了哈哈(haha)体育想法，，，，，最终促使我们在这样一个时间节点去勇敢实验 K-Net。。。。。。

Part 5 Group-aware Kernels

虽然理论上一组 instance kernel 就可以获得实例支解的展望效果，，，，，但现实上我们会发明这样获得的效果效果不尽如人意。。。。。。

我们以为这现实上是由于实例支解使命对它所需要的 kernel （instance kernel）相比语义支解需要的 kernel （semantic kernel）有更高的要求，，，，，主要缘故原由有如下两点：

1.instance kernel 着实不像 semantic kernel 那样可以具备一些显式的特征来便当学习。。。。。。例如，，，，，由于每一个单独的 semantic kernel 都可以和一个唯一的语义种别（ semantic class ）绑定，，，，，因此在学习的时间它在每张图上都可以学习着去支解统一个语义种别，，，，，而 instance kernel不具备这样的特征，，，，，以是我们是通过 Bipartite matching 来做的 target assignment，，，，，这就导致了每个 kernel 在每张图上学习的目的是凭证他们目今的展望情形动态分派的。。。。。。

2.特点1就导致了，，，，，instance kernel 现实上要去区特殊观（appearance）和标准（scale）高度转变的物体，，，，，需要具备更强的判别特征（discriminative capability）。。。。。。

此时一个直观的想法就是，，，，，直接用图片里的内容来增强 kernel，，，，，让它能获取目今图片的一些信息（content-aware）。。。。。。

那么，，，，，图片里的哪些内容是这个 kernel 所需要的呢？？？？？我们以为，，，，，应该就是 kernel 和特征图响应爆发 mask 的部分，，，，，由于 mask 实质上是 kernel 对每个 pixel 是否属于它对应的 group的一种 prediction 或者 assignment，，，，，若是让 kernel 通过 mask 获取到 kernel 所对应的 pixel group 的信息，，，，，理论上新的 kernel 再去做支解的时间，，，，，获得的效果不应该比目今的支解效果要差。。。。。。

因此，，，，，我们设计了一个 Kernel Update Head 基于 mask 和特征图来将 kernel 动态化。。。。。。如下图所示，，，，，Kernel Update Head 首先获得每个 kernel 对应 pixel group 的 feature，，，，，然后以某种方法动态地更新目今的 kernel。。。。。。

为了让 kernel 还能够 modeling 全局的信息，，，，，我们增添了一个 kernel interaction �？？？？？椋�，，，，最终获得的特征可以用于分类并爆发的 dynamic kernel 来和特征图卷积获得越发准确的 mask prediction。。。。。。Adaptive Kernel Update 和 Kernel Interaction 的形式都可以用许多种，，，，，我们效仿 LSTM 设计了一种 Adaptive Kernel Update，，，，，然后为了利便再 Kernel Interaction 里用了 MultiHeadAttention。。。。。。

详细每个 component 的设计细节和 ablation study 接待各人参考哈哈(haha)体育 paper 和 code。。。。。。

图片22.jpg

我们可以添加多个 Kernel Update Head 来对 mask 和 kernel 举行 iterative 的 refine。。。。。。最终，，，，，完整的 K-Net pipeline 如下图所示。。。。。。论文中仅使用 3 个 Kernel Update Head 和 100 个instance kernel 就可以获得各个benchmark 上 state-of-the-art 的效果。。。。。。

图片23.jpg

Part 6 实验效果

我们把 K-Net 和最近的一些全景支解算法做了一些较量，，，，，在 COCO-panoptic 上以最质朴的训练方法（多标准训练 36 epoch，，，，，训一个 K-Net 只需要 16张 V100 训两天半）取得了高于其他要领的效果。。。。。。

PS：这个版本只用了 100 个 instance kernel，，，，，用的是 window size=7 （MaskFormer 用的 window size=12）的 Swin-Large backbone ，，，，，以是理论上效果还能更高，，，，，给各人留足充分的刷点空间。。。。。。

图片24.jpg

我们在实例支解上也做了一些比照，，，，，K-Net 在比之前SOLOv2/CondInst/Mask R-CNN 等算法都要快的情形下取得了更优的精度，，，，，在和 Cascade Mask R-CNN 精度持平的情形下推理速率快 60-90%。。。。。。

图片25.jpg

同时，，，，，K-Net 也可以直接和目今基于 semantic kernel 的语义支解算法组合，，，，，进一步提升他们的性能，，，，，将 FCN，，，，，PSPNet，，，，，DeepLab v3，，，，，UperNet 等算法提高了 1.1-6.6 mIoU。。。。。。纵然在 UperNet + Swin-L 的情形下，，，，，仍然能将模子提高 1.2 mIoU ，，，，，逾越了 UperNet + Swin-L。。。。。。

图片26.jpg

Part 7 讨论

7.1 和 MaskFormer，，，，，MaX-DeepLab 的区别

着实看到 MaX-DeepLab 的时间 K-Net 的实例支解部分已经完成，，，，，全景支解也调地差未几了。。。。。�？？？？？吹� MaskFormer 也已经是7月份了。。。。。。

K-Net 和 Max-DeepLab 差别照旧挺显着的，，，，，MaX-DeepLab 主要针对end-to-end 全景支解从 backbone 到 head 都用 transformer 增强了一遍，，，，，响应的 loss 设计等也都是针对全景支解的 metric，，，，，最后的推理方法也和 K-Net 不太一样，，，，，K-Net 没有拘泥于全景支解，，，，，提供了一个统一差别图像支解使命的视角，，，，，内里着实也没有 transformer 这个看法（就是不太想用）。。。。。。

而我们看到 MaskFormer 的时间有一种殊途同归的感受，，，，，K-Net 最最先是希望把实例支解做地像语义支解那样简朴，，，，，捉住的是语义支解里由一组 kernel 出一组 mask 的范式，，，，，通过这个范式统一了各个支解使命；；；；；而MaskFormer 的本意是 rethinking 语义支解，，，，，捉住 instance-level segmentation 里 mask classification 的焦点 design 来解决语义支解使命，，，，，最终也统一了差别支解使命的框架。。。。。。

两个要领最终输出 mask prediction 的实质是一样的，，，，，都是一组 kernel 支解获得一组 mask，，，，，进而对 mask 做分类，，，，，只是两个要领天生 kernel 的方法差别，，，，，一个是 Transformer 大法好，，，，，一个是 iterative refine 的头脑。。。。。。

7.2 What is next？？？？？

我们以为怎样最有用地天生具有高 discriminative ability 的 kernel 仍然是一个值得探索的问题，，，，， K-Net 只是对这一范式的一种简朴探索，，，，，许多结构着实我们都还没来得及实验。。。。。。

另外，，，，，我们视察了 K-Net 的failure case，，，，，发明了两个常见问题，，，，，一个是 mask classification 容易蜕化，，，，，尤其是具有相同纹理的种别，，，，，另一个是 mask 的 boundary 有时间还不敷好，，，，，也是在有相同纹理的地方容易支解出希奇的内容，，，，，详细可以参考 paper 的 appendix。。。。。。我们以为这可能是 Mask Classification 这类要领引入的一些新的问题，，，，，支解使命也由此有了新的挑战。。。。。。

您尚未完善信息

完善信息后，，，，，即可下载资料

完善信息跳过，，，，，继续浏览

您尚未登录

您还未登录，，，，，登录方可继续

登录跳过，，，，，继续浏览

请选择您以为需要刷新的地方：

导航欠好用，，，，，不利便找到感兴趣的内容
产品先容信息不敷周全
产品先容信息禁止易懂
页面翻开速率烦懑，，，，，页面浏览不流通/有卡顿
页面不敷雅观
售后效劳欠好找，，，，，体验欠好

跳过下一个

您是否能够抵达本次网站的会见目的？？？？？

是
否
仍在举行中

下一个

您对商汤官网的知足度怎样？？？？？

1
2
3
4
5
6
7
8
9
10

很是不知足很是知足

提交

已收到您对商汤官网的评价和建议！

谢谢您的耐心反响~

关闭

产品试用

填写此简朴表格，，，，，我们将尽快联系您！

把您的需求发给我们相识所有产品

商务相助

400 900 5986

周一至周五 9:00-12:00，，，，，13:00-18:00

business@sensetime.com

相助同伴招募

成为相助同伴

您还未登录，，，，，登录方可继续

登录跳过，，，，，继续浏览

您尚未完善信息

完善信息后，，，，，即可下载资料

完善信息跳过，，，，，继续浏览

商务相助

400 900 5986
( 周一至周五 9:00-12:00, 13:00-18:00 )
business@sensetime.com
媒体相同: pr@sensetime.com
投资者关系联络: ir@sensetime.com

社交媒体

微信公众号

【网站地图】【sitemap】