以原创手艺系统为基本，，，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，，，结构多领域、多偏向前沿研究，，，，，，，，快速买通AI在各个笔直场景中的应用，，，，，，，，向行业赋能。。。。。。

商汤研究始终坚持原创，，，，，，，，一直突破立异。。。。。。具有人工智能领域深挚的学术积累，，，，，，，，具备健全的人才作育机制，，，，，，，，已与海内外五十余所一流高校和科研院所建设了深度相助关系，，，，，，，，并与众多行业同仁同心共建AI生态圈。。。。。。

商汤大装置AI云 SenseCore

建设高效率、低本钱、规模唬�；；；� AI 云基础设施，，，，，，，，打造专业的深度学习平台及算法模子系统，，，，，，，，引领AI立异，，，，，，，，助力工业界及学术界探索 AI 界线。。。。。。

焦点手艺: 以原创手艺系统为基本，，，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，，，结构多领域、多偏向前沿研究，，，，，，，，
快速买通AI在各个笔直场景中的应用，，，，，，，，向行业赋能。。。。。。

< 返回论文解读

ICLR 2024 Spotlight | 自蒸馏引发CLIP模子的检测支解能力

2024-10-12

剖析CLIP模子的区域表征

我们使用COCO数据集上的区域物体框，，，，，，，，让CLIP模子对这些物体框举行分类，，，，，，，，盘算分类的准确度（mAcc）。。。。。。

我们划分接纳两种方法使用CLIP模子对物体框举行处置惩罚：

一种是将整个图像使用CLIP模子提取图像特征，，，，，，，，再凭证物体框的坐标信息通过局部区域的池化操作（RoIAlign）获得区域麋集特征（dense feature），，，，，，，，下游的目的检测和图像支解使命需要接纳这种方法获得局部物体的感知；；；；；

另一种是先将物体框区域从原图裁剪获得的小图像（image crop），，，，，，，，再接纳CLIP预训练相同的方法，，，，，，，，将整个小图像送入CLIP模子提取图像层级的特征。。。。。。

图1. CLIP模子剖析

只管基于ViT的CLIP模子在全图分类上展现出很好的效果（图1(a)），，，，，，，，但如图1(b)所示，，，，，，，，CLIP ViT的dense feature的效果不佳，，，，，，，，不可被用于很好地识别物体。。。。。。图1(c)中的Kmeans可视化效果也批注ViT的局部特征相关于CNN疏散嘈杂。。。。。。

这是由于ViT不具有CNN的平移等变性和局部性等特点，，，，，，，，而预训练只在图像层级对齐了视觉语言的表征，，，，，，，，从而缺乏提取优异区域特征的能力。。。。。。

我们进一步对更多主流的CLIP模子的区域麋集特征举行剖析，，，，，，，，在差别的原图标准上统计物体框的分类精度。。。。。。

如图2所示，，，，，，，，种种CLIP ViT模子的Dense feature对物体框的分类均不如Image crop的图像层级特征。。。。。。并且，，，，，，，，随着图像输入尺寸的增大，，，，，，，，CLIP ViT dense feature的能力并没有随之提升，，，，，，，，这将倒运于下游的目的检测和图像支解使命举行区域识别。。。。。。

图2. CLIP模子的区域分类精度

要领

为提升CLIP ViT的区域表征，，，，，，，，一个自然的做法是结构区域文本对（region-text pairs），，，，，，，，直接学习区域表征和文本表征之间的对齐。。。。。。

然而，，，，，，，，人工标注区域文本对数据本钱重大。。。。。。因此现有的要领（如RegionCLIP）剖析图像的caption获得物体名词（object nouns），，，，，，，，同时使用预训练的区域天生网络（RPN）天生region proposals吗，，，，，，，，再匹配两者获得区域文本对。。。。。。

由于匹配效果准确度有限，，，，，，，，这种区域文本对提供的监视噪声极大。。。。。。因此，，，，，，，，本文提出CLIPSelf以解决上述问题。。。。。。

受图1、2中Image Crop的高分类精度启发，，，，，，，，我们试图用CLIP高质量的图像特征（teacher）监视其区域特征（student），，，，，，，，使用自监视的方法来提升CLIP ViT的麋集表征。。。。。。

CLIPSelf通过最小化CLIP ViT的dense feature（student）和对应的Image crop特征（teacher）的cosine距离，，，，，，，，来优化CLIP的局部特征。。。。。。

如图3所示，，，，，，，，CLIPSelf可以不依赖RPN网络提供region proposals，，，，，，，，仅将图像匀称划分成MxN个patch即可获得self-distillation所需的图像区域。。。。。。训练历程中，，，，，，，，对每一张图片，，，，，，，，我们从{2，，，，，，，，3，，，，，，，，4，，，，，，，，5，，，，，，，，6}中随机采样获得M和N。。。。。。