焦点手艺: 以原创手艺系统为基本，，，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，，，结构多领域、多偏向前沿研究，，，，，，，，
快速买通AI在各个笔直场景中的应用，，，，，，，，向行业赋能。。。。。。。。

CVPR 2023 Highlight | Consistent-Teacher：半监视目的检测超强SOTA

2023-09-30

半监视目的检测的现状总结

目的检测是盘算机视觉领域的焦点问题之一，，，，，，，，其主要性不可忽视。。。。。。。。然而，，，，，，，，要实现准确的目的检测，，，，，，，，需要大宗标记的数据，，，，，，，，这也是该领域的一个要害问题。。。。。。。。唬唬唬唬换句话说，，，，，，，，数据标注是目的检测算法的基础，，，，，，，，缺乏足够的标记数据将会极大地限制算法的性能和应用规模。。。。。。。。因此，，，，，，，，解决数据标注问题是实现准确、高效目的检测的须要条件。。。。。。。。

半监视学习（SSL）是一种使用少量有标签数据和大宗无标签数据举行训练以提高模子性能的机械学习要领。。。。。。。。在图像分类、目的检测等领域，，，，，，，，SSL已经被普遍应用。。。。。。。。在目的检测领域，，，，，，，，半监视目的检测（SSOD）能够有用使用大宗无标注数据举行训练，，，，，，，，具有主要的应用价值。。。。。。。。

SSOD的基本模式是Teacher-Student[4,5,6,7]模式。。。。。。。。该要领首先使用少量已标注数据对初始模子举行训练，，，，，，，，同时使用西席模子对大宗未标注数据举行推断，，，，，，，，并将推断效果作为伪标签加入训练集。。。。。。。。期望学生模子能够准确检测这些伪标签，，，，，，，，并对增强后的输入样本做出一致的展望。。。。。。。。

我们首先先容这篇论文的基线模子Mean-Teacher，，，，，，，，利便读者对这篇论文有更好的明确。。。。。。。。

如图所示，，，，，，，，Mean-Teacher[1]是一种半监视目的检测框架。。。。。。。。它使用有标签数据和无标签数据举行训练，，，，，，，，其中Teacher模子天生伪标签，，，，，，，，并给Student模子作为监视信号。。。。。。。。Teacher模子的参数由是Student模子参数的指数滑动平均（Exponential Moving Average）获得。。。。。。。。相对应，，，，，，，，Student模子在举行过增强的未标注样本上举行训练，，，，，，，，使用Teacher模子推断获得的伪标签举行监视。。。。。。。。通过这种方法，，，，，，，，Mean-teacher实现多视角一致的自监视训练。。。。。。。。

在Mean-Teacher的基础上，，，，，，，，现有半监视目的检测要领通过种种要领提高伪标签的准确性，，，，，，，，但由于缺乏足够的标注数据，，，，，，，，训练历程中经常泛起伪标签界线框质量较差的问题，，，，，，，，这会导致模子的不稳固性和性能的下降。。。。。。。。

本文对伪标签质量较差的缘故原由举行系统性的剖析，，，，，，，，发明要害问题在于伪标签的不稳固性与纷歧致性，，，，，，，，从而给予Student模子不稳固以及纷歧致的伪监视信号。。。。。。。。

伪标签的不稳固性：SSOD的阿喀琉斯之踵

在半监视目的检测中，，，，，，，，天生的伪标签保存不稳固（Inconsistency）的问题，，，，，，，，这不但影响伪标签的准确性，，，，，，，，也会导致模子训练的不稳固和性能下降。。。。。。。。

主流的半监视目的检测器天生伪标签时是基于目今时刻的Teacher模子的展望。。。。。。。。与全监视训练时的静态标签（在训练历程中不会转变）差别，，，，，，，，一个无标签图像中一个物体的伪标签可能在训练历程中某个时间点泛起，，，，，，，，一直转变，，，，，，，，直至最后稳固或消逝。。。。。。。。在使用这种极不稳固的伪标签监视下举行训练会导致一系列问题，，，，，，，，如模子性能下降、难以抵达理想效果等。。。。。。。。我们枚举了三种不稳固性爆发的缘故原由如下：

分派纷歧致

目今主流的两阶段（Two-stage）或者单阶段（Single-stage）目的检测网络都使用基于IoU阈值的静态anchor分派要领，，，，，，，，这种要领关于伪标签框中的噪声很是敏感。。。。。。。。纵然伪标签框中只有细小的噪声，，，，，，，，伪标签的不稳固性也会导致anchor分派的差别。。。。。。。。

本文通过下图说明在Mean-Teacher框架下RetinaNet[2]检测器中，，，，，，，，伪标签不稳固性会导致的问题。。。。。。。。绿色和红色的界线框是北极熊的现实界线框和伪界线框，，，，，，，，红点是伪标签的锚定框。。。。。。。。热图显示了西席模子展望的麋集置信度得分。。。。。。。。

在Mean-Teacher中，，，，，，，，由于Teacher天生伪标签的不稳固性，，，，，，，，在使用伪标签对Student举行伪监视训练时，，，，，，，，Student会时时地将anchor assign到旁边的木板上。。。。。。。。由于这种纷歧致的标签，，，，，，，，Student模子最终会过拟合噪声并导致周围的木板被检测到并过失地分类为北极熊。。。。。。。。

本文同时展示了一个anchor box 在训练历程中动态转变的动图。。。。。。。。如下图(a)为Mean-Teacher，，，，，，，，使用基于IOU阈值的静态anchor分派要领，，，，，，，，随着训练举行，，，，，，，，由于Teacher天生伪标签的不稳固性，，，，，，，，在使用伪标签对Student举行伪监视训练时，，，，，，，，Student会时时的将anchor assign到旁边的木板上。。。。。。。。而本文提出的Consistent-Teacher，，，，，，，，如下图(b)则可以稳固一连的定位到准确的远景物体并分派准确的分派anchor。。。。。。。。

(a) Mean-Teacher

(b) Consistent-Teacher

这种对噪声的过拟条约样可以在分类损失图中看到，，，，，，，，纷歧致的伪目的会导致分类分支过拟合，，，，，，，，而回归损失则难以收敛（如下图）。。。。。。。。

使命纷歧致

在主流的半监视目的检测要领中，，，，，，，，分类与回归使命的纷歧致也是导致不稳固性的一个主要缘故原由。。。。。。。。

为了筛选高质量的伪标签，，，，，，，，通常唬唬唬唬会使用分类置信度作为指标，，，，，，，，并设置阈值来筛除低置信度的伪标签框。。。。。。。。然而，，，，，，，，一个伪标签框的分类置信度优劣并纷歧定能反应其定位准确度的崎岖。。。。。。。。

因此，，，，，，，，使用分类置信度举行伪标签筛选的要体会进一步加剧伪标签在训练历程中的不稳固性。。。。。。。。如下图(a)所示，，，，，，，，Mean-Teacher中保存大宗分类置信度高可是回归禁绝确（与GT的IOU较低）的定位框。。。。。。。。

(a) 使命纷歧致

(b) 时序纷歧致

时序纷歧致

牢靠阈值筛选伪标签的要领同样会导致纷歧致性。。。。。。。。在半监视目的检测中，，，，，，，，为了筛选高质量的伪标签举行训练，，，，，，，，经常接纳一个牢靠的阈值对分类的置信度举行筛选。。。。。。。。然而，，，，，，，，这种要体会导致在训练差别阶段的纷歧致性。。。。。。。。

在训练初期，，，，，，，，由于模子对展望效果不敷自信，，，，，，，，牢靠的阈值会导致过少的伪标签框被筛选，，，，，，，，而随着模子的一直训练，，，，，，，，每张图的伪标签框数目会逐渐增多，，，，，，，，直到训练后期过多。。。。。。。。

这种伪标签框数目的纷歧致同样会导致Student网络训练的纷歧致。。。。。。。。如上图(b)，，，，，，，，差别threshold的Mean-Teacher均会泛起“伪标签框数目随着训练逐渐增多”的纷歧致征象。。。。。。。。

Consistent Teacher

在剖析现有半监视目的检测伪标签的偏移问题与不稳固性后，，，，，，，，本文提出了一种新的半监视目的检测要领Consistent-Teacher，，，，，，，，整体如下图。。。。。。。。

Consistent-Teacher设计了三种�？？？？？槔唇饩錾鲜鑫侍�，，，，，，，，包括自顺应的标签分派（ASA），，，，，，，，3D特征对齐（FAM-3D）和基于高斯混淆模子的自顺应阈值（GMM-based Threshold）。。。。。。。。

Consistent-Teacher包括一个Teacher模子和一个Student模子，，，，，，，，其中西席模子的参数是学生模子参数的指数滑动平均（EMA）。。。。。。。。

在训练的每一个iteration，，，，，，，，学生模子一方面在有标签数据上举行有监视训练；；；；；另一方面，，，，，，，，西席模子对无标签数据举行标注，，，，，，，，获得伪标签框，，，，，，，，并在对无标签数据举行了强数据增强后，，，，，，，，训练学生模子。。。。。。。。

在这个西席-学生模子的基础上，，，，，，，，本文提出三种�？？？？？槔唇饩錾鲜鑫北昵┓灼缰挛侍�。。。。。。。。

自顺应的标签分派（ASA）

上文提到静态anchor分派由于使用IoU阈值支解来分派anchor，，，，，，，，略微转变就会导致分派的差别。。。。。。。。本文则提出接纳自顺应的标签分派 (ASA）。。。。。。。。

与静态anchor分派差别，，，，，，，，ASA为每一对anchor-真实值界线框盘算一个匹配损失，，，，，，，，然后选择匹配损失最小的若干对anchor-真实值界线框作为最终的anchor分派。。。。。。。。

3D特征对齐 (FAM-3D)

其次，，，，，，，，为相识决上文提到的分类与回归使命之间保存的纷歧致问题，，，，，，，，本文提出3D特征对齐�？？？？？� (FAM-3D)，，，，，，，，通过使分类特征自顺应地检索到最佳回归特征，，，，，，，，以执行回归使命。。。。。。。。以此，，，，，，，，FAM-3D乐成地将分类和回归特征举行了对齐。。。。。。。。

详细而言，，，，，，，，FAM-3D在检测头中特殊增添一个分支，，，，，，，，用于展望最优回归特征位置的偏移量。。。。。。。。FAM-3D中的“3D”意味着这个位置偏移量不但在x和y维度上展望回归特征的偏移量，，，，，，，，同时还展望特征金字塔中举行跨层的偏移量展望。。。。。。。。

我们使用盘算出偏移量对分类特征举行重排，，，，，，，，即可获得与分类特征对齐的最优回归特征。。。。。。。。这个偏移量是通过端到端优化回归特征位置头获得的，，，，，，，，而不需要手工标注的监视。。。。。。。。

最后模子使用分类特征举行分类，，，，，，，，并使用对齐的回归特征回归检测框。。。。。。。。

基于高斯混淆模子的自顺应阈值（GMM-based Threshold）

最后，，，，，，，，为相识决硬阈值选择伪标签带来的纷歧致问题，，，，，，，，本文提出使用动态的阈值。。。。。。。。它随着训练历程中的模子能力转变，，，，，，，，调解伪标签的阈值。。。。。。。。

为了动态的调解伪标签框筛选的阈值，，，，，，，，Consistent-Teacher将伪标签框筛选的历程看作是一个二分类历程，，，，，，，，即正样本类为筛选获得的高质量伪标签框，，，，，，，，负样本类为要筛除的低质量标签框。。。。。。。。

本文接纳高斯混淆模子（GMM）对这个二分类举行建模。。。。。。。。将正样本种别和负样本种别划分看作两个高斯漫衍，，，，，，，，通过Expectation-Maximum（EM）算法迭代求解高斯混淆模子的最优参数，，，，，，，，通过高斯混淆模子获得分类阈值（区分正样本和负样本）。。。。。。。。

在训练中，，，，，，，，Consistent-Teacher维持一个class-wise的行列存储用于建模GMM的的样本，，，，，，，，并在训练历程中一直通过GMM获得动态更新的阈值举行自顺应的筛选样本。。。。。。。。

验证SSOD的纷歧致性

首先本文画出了伪标签的准确性，，，，，，，，以及伪标签一致性随着训练一直举行的转变图。。。。。。。。本文通过伪标签与真实标签的mAP来权衡伪标签的准确性，，，，，，，，并通过两个一连的checkpoint对统一个样本展望的一致性作为伪标签的一致性权衡标准。。。。。。。。

如下图，，，，，，，，Mean-Teacher的伪标签纷歧致性远高于 Consistent-Teacher ；；；；；随着训练举行一直增添，，，，，，，，Mean-Teacher的伪标签的mAP也远低于Consistent-Teacher。。。。。。。。

下左图和中心的图显示，，，，，，，，随着训练的举行，，，，，，，，Mean-Teacher的伪标签框数目逐渐增多，，，，，，，，会导致训练的纷歧致性。。。。。。。。而本文提出的Consistent-Teacher通过GMM动态的调解并缓慢提高阈值，，，，，，，，可以维持差别训练阶段中，，，，，，，，伪标签框数目相对稳固。。。。。。。。

在上右图中，，，，，，，，Mean-Teacher展望了许多分类置信读高可是定位禁绝确的伪标签框（左边红色框）。。。。。。。。而本文提出的Consistent-Teacher展望的大大都是分类置信读高且定位准确的伪标签框，，，，，，，，这说明本文提出的要领可以很好的对齐分类与回归的特征并且展望更为准确的伪标签框。。。。。。。。

实验效果

与SOTA的较量

本文在MS-COCO 2017以及PASCAL VOC数据集上举行实验。。。。。。。。

在MS-COCO 2017差别比例的有标签的数据上，，，，，，，，Consistent-Teacher均获得了远超SOTA的效果。。。。。。。。如下图可见，，，，，，，，Consistent-Teacher在1%、2%、5%以及10%的比例（有标注数据的比例）上划分获得了25.30、30.40、36.10以及40.00的mAP，，，，，，，，这个效果稳固地比之前的SOTA Dense Teacher[3]横跨3个mAP。。。。。。。。

在COCO-Addition（使用所有的MS-COCO 2017作为有标注数据，，，，，，，，并使用特另外COCO未标注数据）上本文同样获得了惊人的效果。。。。。。。。如下图Table2，，，，，，，，Consistent-Teacher获得了47.20的超强性能，，，，，，，，比SOTA高1个mAP。。。。。。。。在VOC的实验上本文提出的Consistent-Teacher同样获得了SOTA的效果。。。。。。。。

以上实验很好地说明，，，，，，，，通过解决纷歧致问题，，，，，，，，本文提出的Consistent-Teacher可以有用的提升半监视检测模子的性能。。。。。。。。

消融实验

本文进一步举行消融实验说明本文提出的三个�？？？？？榈挠杏眯�。。。。。。。。

上图Table 5中可见，，，，，，，，FAM-2D可以带来0.6的提升，，，，，，，，而FAM-3D可以进一步带来0.4个点的提升。。。。。。。。

在Figure 7和8中，，，，，，，，通过在差别比例的有标签数据上举行训练，，，，，，，，及比照差别牢靠阈值的模子，，，，，，，，GMM可以带来稳固的0.5个点的提升。。。。。。。。

传送门

论文地点

https://arxiv.org/abs/2209.01589

Code地点

https://github.com/Adamdad/ConsistentTeacher

项目主页

https://adamdad.github.io/consistentteacher/

References：

[1] Tarvainen A, Valpola H. Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised deep learning results[J]. Advances in neural information processing systems, 2017, 30.

[2] Lin T Y, Goyal P, Girshick R, et al. Focal loss for dense object detection[C]//Proceedings of the IEEE international conference on computer vision. 2017: 2980-2988.

[3] Zhou H, Ge Z, Liu S, et al. Dense teacher: Dense pseudo-labels for semi-supervised object detection[C]//Computer Vision–ECCV 2022: 17th European Conference, Tel Aviv, Israel, October 23–27, 2022, Proceedings, Part IX. Cham: Springer Nature Switzerland, 2022: 35-50.

[4] Xu M, Zhang Z, Hu H, et al. End-to-end semi-supervised object detection with soft teacher[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021: 3060-3069.

[5] Jeong J, Lee S, Kim J, et al. Consistency-based semi-supervised learning for object detection[J]. Advances in neural information processing systems, 2019, 32.

[6] Sohn K, Zhang Z, Li C L, et al. A simple semi-supervised learning framework for object detection[J]. arXiv preprint arXiv:2005.04757, 2020.

[7] Liu Y C, Ma C Y, He Z, et al. Unbiased teacher for semi-supervised object detection[J]. arXiv preprint arXiv:2102.09480, 2021.

您尚未完善信息

完善信息后，，，，，，，，即可下载资料

完善信息跳过，，，，，，，，继续浏览

您尚未登录

您还未登录，，，，，，，，登录方可继续

登录跳过，，，，，，，，继续浏览

请选择您以为需要刷新的地方：

导航欠好用，，，，，，，，不利便找到感兴趣的内容
产品先容信息不敷周全
产品先容信息禁止易懂
页面翻开速率烦懑，，，，，，，，页面浏览不流通/有卡顿
页面不敷雅观
售后效劳欠好找，，，，，，，，体验欠好

跳过下一个

您是否能够抵达本次网站的会见目的？？？？？

是
否
仍在举行中

下一个

您对商汤官网的知足度怎样？？？？？

很是不知足很是知足

提交

已收到您对商汤官网的评价和建议！

谢谢您的耐心反响~

关闭

产品试用

填写此简朴表格，，，，，，，，我们将尽快联系您！

把您的需求发给我们相识所有产品

商务相助

400 900 5986

周一至周五 9:00-12:00，，，，，，，，13:00-18:00

business@sensetime.com

相助同伴招募

成为相助同伴