? ? ?

手艺能力

以原创手艺系统为基本，，，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，，，结构多领域、多偏向前沿研究，，，，，，，，快速买通AI在各个笔直场景中的应用，，，，，，，，向行业赋能。。。。。

相识所有案例

商汤研究

商汤研究始终坚持原创，，，，，，，，一直突破立异。。。。。具有人工智能领域深挚的学术积累，，，，，，，，具备健全的人才作育机制，，，，，，，，已与海内外五十余所一流高校和科研院所建设了深度相助关系，，，，，，，，并与众多行业同仁同心共建AI生态圈。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤大装置AI云 SenseCore

建设高效率、低本钱、规�；；；；；；；；� AI 云基础设施，，，，，，，，打造专业的深度学习平台及算法模子系统，，，，，，，，引领AI立异，，，，，，，，助力工业界及学术界探索 AI 界线。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤日日新大模子 SenseNova

商汤日日新大模子 SenseNova，，，，，，，，可以提供自然语言处置惩罚、图片天生、自动化数据标注、自界说模子训练等多种大模子及能力。。。。。

申请试用

相识所有案例

相识所有产品效劳

水星智能移动终端平台 SenseME

哈哈(haha)体育SenseME 水星智能移动终端平台提供包括SDK、AI传感器和ISP芯片等全套产品，，，，，，，，能够支持诸多物联网装备，，，，，，，，以增进感知智能和内容增强

申请试用

相识所有案例

相识所有产品效劳

火星混淆现实平台 SenseMARS

SenseMARS平台通过对物理天下的数字重修、虚拟化身和软件智能体，，，，，，，，创立全新的陶醉式和交互式的元宇宙体验

申请试用

相识所有案例

相识所有产品效劳

晶识智能零售平台 SenseGalaxy

基于商汤SKU商品识别大模子，，，，，，，，用AI赋能智能结算、库存盘货、纯净度审核等营业场景并快速拓展至智慧商流与智慧物流领域。。。。。

申请试用

相识所有案例

相识所有产品效劳

焦点手艺: 以原创手艺系统为基本，，，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，，，结构多领域、多偏向前沿研究，，，，，，，，
快速买通AI在各个笔直场景中的应用，，，，，，，，向行业赋能。。。。。

< 返回论文解读

CVPR 2022 Oral | TCFormer：基于动态token聚类的transformer

2022-09-14

要领念头

近年来，，，，，，，，Transformer网络被普遍应用到了盘算机视觉领域，，，，，，，，并获得了许多惊艳的效果。。。。。Transformer网络在处置惩罚图片时，，，，，，，，往往需要将图片转换为一组视觉令牌（vision token）。。。。。如下图（a）所示，，，，，，，，现有的要领大多使用基于网格的划分方法，，，，，，，，将图片转化为视觉令牌。。。。。即：将图片划分为标准的网格区域，，，，，，，，且每一个网格用一个令牌体现。。。。。

然而，，，，，，，，基于网格的划分方法忽视了图片的语义信息。。。。�；；；；；；；；谕竦幕址椒ń鼋銎局た占涔叵当⑹泳趿钆�，，，，，，，，单个令牌可能需要代表具有差别语义信息的多个物体，，，，，，，，倒运于令牌特征的提取。。。。。我们以为应当凭证图片语义信息划分令牌，，，，，，，，将具有相近语义信息的图片区域用统一个令牌体现。。。。。

另外，，，，，，，，基于网格的划分方法也忽视了差别区域之间的差别。。。。。好比，，，，，，，，在以人体为中心的视觉使命中，，，，，，，，人体区域往往比配景区域越发主要，，，，，，，，应当使用更多的令牌来体现。。。。。并且，，，，，，，，一些区域（如人脸、人手区域）比其他区域（如躯干区域）包括更多的细节信息，，，，，，，，应当接纳更细腻的令牌体现。。。。。

基于上述视察，，，，，，，，我们提出了一种基于特征聚类的视觉令牌天生方法，，，，，，，，能够动态地调解视觉令牌的形状、巨细和位置，，，，，，，，从而更好地提取图像特征。。。。。

要领先容

下图展示了TCFormer的整体框架。。。。。TCFormer接纳了多阶段（stage）的网络框架，，，，，，，，共由4个差别的阶段组成，，，，，，，，每个阶段又由多个串联的transformer模�？？？？？樽槌伞�。。。。将图片输入TCFormer后，，，，，，，，我们首先通过卷积层提取图像特征图，，，，，，，，并将特征图中的每一个像素看成一个视觉令牌，，，，，，，，从而获得初始的视觉令牌。。。。。在相邻的两个阶段之间，，，，，，，，我们通过令牌融合的方法镌汰令牌数目，，，，，，，，并增添令牌特征的通道数。。。。。最后，，，，，，，，我们通过一个多阶段令牌特征聚合模�？？？？？椋∕TA）融合各个阶段的令牌特征。。。。。

Transformer模�？？？？？�

下图展示了 TCFormer中使用的transformer模�？？？？？椤�。。。。在标准的transformer模�？？？？？榈幕∩�，，，，，，，，我们模拟PVT[1] 加入了空间缩减模�？？？？？椤�。。。。该模�？？？？？橥ü砘�，，，，，，，，镌汰了作为key、value的令牌的数目，，，，，，，，从而镌汰了注重力模�？？？？？榈呐趟阒仄蟆�。。。。另外，，，，，，，，我们受到 CVT[2]等事情的启发，，，，，，，，在transformer模�？？？？？橹屑尤肓酥鹜ǖ赖木砘�，，，，，，，，从而更好地抽取局部图像特征。。。。。

基于特征聚类的令牌融合模�？？？？？� （Clustering-based Token Merge, CTM）

基于特征聚类的令牌融合模�？？？？？椋–TM）是TCFormer的焦点模�？？？？？�，，，，，，，，我们在下图展示了它的结构。。。。。输入前一阶段的视觉令牌后，，，，，，，，CTM首先凭证令牌特征举行聚类。。。。。随后，，，，，，，，CTM凭证聚类效果，，，，，，，，将统一类的视觉令牌融合成一个新的视觉令牌，，，，，，，，从而镌汰视觉令牌的数目。。。。。融合后的视觉令牌的特征是融合前令牌特征的加权平均，，，，，，，，视觉令牌的对应区域则是融合前令牌对应区域的并集。。。。。最后，，，，，，，，我们将融合后的视觉令牌作为query，，，，，，，，将融合前的视觉令牌作为key和value，，，，，，，，输入到一个transformer模�？？？？？橹�，，，，，，，，进一步增强从融合前令牌到融合后令牌的信息转达。。。。。

多阶段令牌特征聚合模�？？？？？� （Multi-stage Token Aggregation, MTA）

大大都视觉使命需要对多个阶段的图像特征举行聚合，，，，，，，，以获得更好的效果。。。。。之前的要领大多先把视觉令牌转换成差别区分率的特征图，，，，，，，，再对特征图举行融合。。。。。然而，，，，，，，，如下图所示，，，，，，，，TCFormer 天生的视觉令牌具有无邪的巨细和形状。。。。。若是将下图（b）中的视觉令牌转换成图（c）所示的高区分率特征图，，，，，，，，能够很好地保存视觉令牌中的细节信息，，，，，，，，可是会造成过大的空间重漂后。。。。。但若是将视觉令牌转换成图（d）所示的低区分率特征图，，，，，，，，又会造成细节信息的丧失。。。。。

为了在包管效率的条件下保存视觉令牌中的细节信息，，，，，，，，我们设计了一种基于transformer的多阶段令牌特征聚合模�？？？？？椋∕TA），，，，，，，，它的结构如下图所示。。。。。MTA 模�？？？？？榈恼褰峁褂刖涞腇PN模�？？？？？閇3]类似。。。。。如下图（a）所示，，，，，，，，我们提出了一种动态令牌的上采样方法。。。。。在举行令牌融适时，，，，，，，，我们纪录并生涯了融合前后的视觉令牌之间的对应关系。。。。。而在举行视觉令牌的上采样时，，，，，，，，我们则凭证先前纪录的关系，，，，，，，，将融合后的令牌特征赋值给对应的融合前的视觉令牌。。。。。这一历程可以类比图像处置惩罚中的最近点上采样。。。。。

MTA 模�？？？？？榇拥�4阶段的令牌特征最先，，，，，，，，首先上采样令牌特征，，，，，，，，将其与第3阶段的令牌特征相加，，，，，，，，再将效果输入到transformer模�？？？？？�，，，，，，，，从而将阶段4的令牌特征聚合到阶段3的令牌中。。。。。这一历程被重复多轮，，，，，，，，直到所有阶段的特征都被聚合到阶段1的令牌中。。。。。最后，，，，，，，，我们将输出的视觉令牌转换成高区分率的特征图，，，，，，，，以便于后续的处置惩罚。。。。。

实验效果

我们首先在COCO-WholeBody[4]这一数据集上测试了TCFormer在人体全身要害点检测使命上的效果。。。。。如下表所示，，，，，，，，TCFormer取得了最先进的效果，，，，，，，，并在如人手、人脸要害点的细节重修精度上，，，，，，，，取得了显着的提升。。。。。这一效果证实晰TCFormer在图像细节信息提取上的优势。。。。。

下图展示了TCFormer在各个阶段的视觉令牌漫衍，，，，，，，，相同颜色的区域由统一个令牌体现。。。。。TCFormer能够将更多的令牌分派到人体区域上，，，，，，，，并使用空间精度更高的令牌来体现细节区域。。。。。

我们也在ImageNet图像分类使命上测试了TCFormer的效果。。。。。如下表所示，，，，，，，，在和人体无关的、需要提取全局图像特征的使命上，，，，，，，，TCFormer的动态视觉令牌也同样具有资助。。。。。

我们还在三维人体网格重修和人脸要害点预计等使命上测试了TCFormer的效果，，，，，，，，更多的实验效果和可视化效果拜见论文。。。。。

结语

在视觉transformer领域，，，，，，，，注重力机制获得了普遍的研究，，，，，，，，而视觉令牌自己却并没有受到足够的关注。。。。。本文提出了一种transformer网络——TCFormer。。。。。TCFormer接纳了一种基于特征聚类的动态令牌天生方法，，，，，，，，和一种基于transformer的特征聚合模�？？？？？椤�。。。。TCFormer在基于图像的人体全身要害点预计、人脸要害点预计和人体三维网格重修使命上都获得了最先进的效果，，，，，，，，并在人体细节的重修精度上取得了显着的提升。。。。。我们希望这项事情能够启发后续的相关研究。。。。。

传送门

论文地点

https://arxiv.org/abs/2204.08680

项目主页

https://github.com/zengwang430521/TCFormer

References

[1] Wang, Wenhai, et al. "Pyramid vision transformer: A versatile backbone for dense prediction without convolutions." Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.

[2] Wu, Haiping, et al. "Cvt: Introducing convolutions to vision transformers." Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.

[3] Lin, Tsung-Yi, et al. "Feature pyramid networks for object detection." Proceedings of the IEEE conference on computer vision and pattern recognition. 2017.

[4] Jin, Sheng, et al. "Whole-body human pose estimation in the wild." European Conference on Computer Vision. Springer, Cham, 2020.

您尚未完善信息

完善信息后，，，，，，，，即可下载资料

完善信息跳过，，，，，，，，继续浏览

您尚未登录

您还未登录，，，，，，，，登录方可继续

登录跳过，，，，，，，，继续浏览

请选择您以为需要刷新的地方：

导航欠好用，，，，，，，，不利便找到感兴趣的内容
产品先容信息不敷周全
产品先容信息禁止易懂
页面翻开速率烦懑，，，，，，，，页面浏览不流通/有卡顿
页面不敷雅观
售后效劳欠好找，，，，，，，，体验欠好

跳过下一个

您是否能够抵达本次网站的会见目的？？？？？？

是
否
仍在举行中

下一个

您对商汤官网的知足度怎样？？？？？？

很是不知足很是知足

提交

已收到您对商汤官网的评价和建议！

谢谢您的耐心反响~

关闭

产品试用

填写此简朴表格，，，，，，，，我们将尽快联系您！

把您的需求发给我们相识所有产品

商务相助

400 900 5986

周一至周五 9:00-12:00，，，，，，，，13:00-18:00

business@sensetime.com

相助同伴招募

成为相助同伴