商汤研究始终坚持原创，，，，，一直突破立异。。。。。。。具有人工智能领域深挚的学术积累，，，，，具备健全的人才作育机制，，，，，已与海内外五十余所一流高校和科研院所建设了深度相助关系，，，，，并与众多行业同仁同心共建AI生态圈。。。。。。。

焦点手艺: 以原创手艺系统为基本，，，，，SenseCore商汤AI大装置为焦点基座，，，，，结构多领域、多偏向前沿研究，，，，，
快速买通AI在各个笔直场景中的应用，，，，，向行业赋能。。。。。。。

< 返回论文解读

ECCV 2022 Oral | 无需标注！将CLIP直接用于支解

2022-09-18

Part 1 古板的微调要领破损了CLIP的开放集能力

正如导读中所提到的，，，，，我们发明CLIP在麋集展望使命上保存重大潜力：同时识别多个目的、明确目的间关系、目的不局限于牢靠词搜集。。。。。。。因此，，，，，我们选定语义支解作为目的使命，，，，，对CLIP睁开探索。。。。。。。

一个自然而简朴的想法就是，，，，，将CLIP的图像编码器的权重加载到主干网络，，，，，同时将目的物体的单词输入到CLIP的文字编码器中获得词向量，，，，，并用这些词向量生因素类器。。。。。。。以DeepLab为例：

Part 2 无需训练的MaskCLIP

有了前车之鉴，，，，，我们转而阻止引入新的参数并只管坚持CLIP原有的特征空间稳固。。。。。。。让我们重新仔细检视一下CLIP的图像编码器，，，，，特殊是它奇异的全局注重力池化层（类似于Transformer的注重力层）：

Part 3 使用MaskCLIP的展望作为伪标签训练支解模子

虽然MaskCLIP阻止了对CLIP举行大幅修改从而包管了视觉-语言关联的完整性且不需要任何训练，，，，，可是由于CLIP的图像编码器并不是为语义支解设计的（例如ResNet的32倍降采样），，，，，大大限制了MaskCLIP的性能。。。。。。。因此我们进而提出MaskCLIP+，，，，，如上图所示，，，，，其焦点头脑为将MaskCLIP的展望用作伪标签，，，，，训练更适合支解使命的模子（例如DeepLab）。。。。。。。�？？？？？？梢栽て诘氖�，，，，，MaskCLIP+的性能在训练历程中会凌驾MaskCLIP，，，，，这时再使用MaskCLIP提供监视性能将不会继续提升。。。。。。。因此，，，，，一旦视察到这种征象，，，，，我们在后续的训练中将使用MaskCLIP+为自己提供伪标签，，，，，即自学习。。。。。。。

MaskCLIP+可以被自然地用到零样本语义支解使命上：关于提供标签的种别使用标签监视，，，，，关于无标签种别，，，，，用MaskCLIP提供的伪标签监视。。。。。。。因此，，，，，我们提供了与现有SOTA的比照，，，，，并发明MaskCLIP+远超现有SOTA，，，，，甚至险些抵达全监视模子的水平。。。。。。。

Part 4 实验效果

以上测试图片均来自于网络。。。。。。。我们在不使用任何标注的情形下，，，，，测试了MaskCLIP(+)关于诸如：颜色、模糊度、卡通人物、汽车品牌等目的的支解性能。。。。。。。

我们在这张表格中将MaskCLIP+与现有的零样天职割SOTA要领在PASCAL VOC、COCO-Stuff、PASCAL Context上举行了比照。。。。。。。ST为Self-Training的缩写。。。。。。。

相关资料

?项目地点:

https://www.mmlab-ntu.com/project/maskclip

?论文链接:

https://arxiv.org/abs/2112.01071

?开源代码：

https://github.com/chongzhou96/MaskCLIP

您尚未完善信息

完善信息后，，，，，即可下载资料

完善信息跳过，，，，，继续浏览

您尚未登录

您还未登录，，，，，登录方可继续

登录跳过，，，，，继续浏览

请选择您以为需要刷新的地方：

导航欠好用，，，，，不利便找到感兴趣的内容
产品先容信息不敷周全
产品先容信息禁止易懂
页面翻开速率烦懑，，，，，页面浏览不流通/有卡顿
页面不敷雅观
售后效劳欠好找，，，，，体验欠好

跳过下一个

您是否能够抵达本次网站的会见目的？？？？？？？

是
否
仍在举行中

下一个

您对商汤官网的知足度怎样？？？？？？？

很是不知足很是知足

提交

已收到您对商汤官网的评价和建议！

谢谢您的耐心反响~

关闭

产品试用

填写此简朴表格，，，，，我们将尽快联系您！

把您的需求发给我们相识所有产品

商务相助

400 900 5986

周一至周五 9:00-12:00，，，，，13:00-18:00

business@sensetime.com

相助同伴招募

成为相助同伴