焦点手艺: 以原创手艺系统为基本，，，，，SenseCore商汤AI大装置为焦点基座，，，，，结构多领域、多偏向前沿研究，，，，，
快速买通AI在各个笔直场景中的应用，，，，，向行业赋能。。。。。。

CVPR 2021 | 商汤提出最强时序行动提名修正网络：TCANet

2021-08-10

本文主要先容商汤科技都会盘算研发团队揭晓在 CVPR 2021 上的事情，，，，，提出了一种基于时序上下文聚合的行动提名修正网络（TCANet）。。。。。。现有要领普遍缺乏一种细腻且高效的时序依赖建模方法，，，，，并且没有对提名的界线信息举行充分的使用，，，，，导致天生的界线概率序列具有局部/全局的噪声，，，，，从而使得提名的界线质量不佳。。。。。。实验效果批注，，，，，TCANet 在 HACS, ActivityNet-1.3 和 THUMOS14 等三个主流果真数据集上都获得了很是显著的性能提升。。。。。�；；；；；诟靡�，，，，，我们在 CVPR 2020-HACS 挑战赛中的时序行动检测使命榜单上排名第一。。。。。。

图片 1.png

Part 1 使命配景

时序行动提名天生旨在从一段未修剪的长视频当中天生包括可能保存人类行动的视频片断，，，，，其团结详细的行动种别标签即组成时序行动检测使命。。。。。。现在的要领大多致力于天生无邪准确的时序界线与可靠的提名置信度，，，，，可是仍然受限于匮乏的视频时序依赖和行动界线建模，，，，，导致了充满噪声的候选提名界线和质量欠佳的置信度分数。。。。。。

现在主流的时序行动提名天生要领主要分为两步，，，，，首先对输入的视频特征序枚举行简朴的时序信息融合，，，，，然后使用基于界线展望的要领或者是基于预界说锚点框回归的要领天生可能包括人体行动的大宗候选时序提名。。。。。。

Part 2 要领先容

图片 1.png

本文提出了一个用于时序行动提名修正的端到端框架。。。。。。该要领主要针对现有主流时序行动提名天生要领中的两办法划分举行刷新：

1. 在第一步中，，，，，现有要领大多使用堆叠的1D时序卷积举行简朴的时序信息融合，，，，，然而，，，，，1D卷积在盘算差别时序点之间的位置关系时，，，，，受限于卷积核的形状和尺寸，，，，，虽然可以较好地建模短期的时序依赖，，，，，可是关于无邪多变的上下文关系则瞠乎其后。。。。。。部分步伐选择了全局融合的方法实现了对全局特征的捕获，，，，，可是直接使用全局池化之后的特征拼接到整个视频特征序列上的每一个时刻位置，，，，，导致每一个时刻获得的全局信息都是相同的，，，，，由此捕获的时序依赖关系相对牢靠，，，，，缺乏多样性和区分度，，，，，无法充分建模多样的长时序依赖关系。。。。。。

2. 在第二步中，，，，，基于预界说锚点框回归的要领可以提供基于提名全局特征的可靠置信度分数，，，，，然而直接使用提名的全局特征关于其局部界线的准确位置不敷敏感，，，，，况且预界说标准和比例的提名时序长度往往很是受限，，，，，不敷无邪，，，，，无法天生恣意长度的候选提名。。。。。�；；；；；诮缦哒雇囊焓褂媒缦叩木植刻卣髋卸弦桓鍪奔涞闶欠袷粲谛卸缦�，，，，，对行动的起止边沿较量敏感，，，，，并且使用界线匹配机制来天生大宗无邪的行动提名，，，，，获得较高的召回率。。。。。。由于缺乏客观的提名特征，，，，，其置信度不敷可靠，，，，，导致其准确率较低。。。。。。

该要领主要针对现有手艺的缺陷举行了响应的刷新：

1. 针对时序建模不敷充分的问题，，，，，对各个时序点的特征接纳通道分组战略举行高效建模，，，，，以多头自注重力的方法同时对时序上的每一个点划分求取局部和全局的多样化时序依赖关系。。。。。。

2. 为了提高界线特征的使用效率，，，，，使用基于界线展望的要领和基于预界说锚点框回归的要领二者之间的互补特征，，，，，提出使用提名的起始和竣事界线上下文特征来展望待优化提名的起始点和竣事点偏移，，，，，同时使用提名的全局特征来展望待优化提名的中心位置和时序长度偏移。。。。。。对这两种方法获得的回归后的提名举行平均融合，，，，，获得越发准确的提名界线。。。。。。

3. 为了端到端的举行两种回归方法的团结优化从而逐步地提高提名的界线质量，，，，，接纳级联的方法对输入的候选提名举行多阶段的修正，，，，，通过由粗到细的正负样本划分方法，，，，，将输入的待优化提名依次通过三个级联的提名优化模浚�？？？？？�，，，，，实验批注每一个提名优化模浚�？？？？？槎伎梢灾鸩降靥岣咛崦慕缦咧柿俊！�。。。。

本手艺计划的目的在于设计一个能够同时捕获局部和全局上下文信息的时序行动提名优化模子。。。。。。整个框架主要解决了两个主要的子使命：基于局部全局的鲁棒且多样化的时序依赖建模和对候选提名由粗到细的多阶段修正。。。。。。整体框架流程如下图所示。。。。。。

图片 1.png

本计划主要包括以下2个模浚�？？？？？椋�

1、局部-全局时序特征编码器 (LGTE)

图片 1.png

该模浚�？？？？？橹饕糜诙允淙氲氖毙蛱卣魍本傩芯植亢腿值氖毙蛞览倒叵挡痘瘛！�。。。。该模浚�？？？？？榈慕沟阃纺允�，，，，，首先对输入的时序特征对通道维度划分举行三次差别的线性变换之后，，，，，沿通道偏向分成 8 个组，，，，，其中4组特征用来对每一时刻位置举行全局的时序自注重力建模（GTE），，，，，相当于是对全局时序特征划分举行一次动态的关系编码，，，，，然后剩下的四组特征则用来对每一时刻位置举行局部的时序自注重力编码（LTE），，，，，目的是建模每个时刻的周围特征关系，，，，，捕获局部细微的时序转变。。。。。。

通过上述要领，，，，，局部-全局特征编码器实现了对局部和全局特征依赖关系的并行盘算，，，，，经由训练优化之后可以天生鲁棒而多样化的时序特征表达用于后续的提名天生和优化网络。。。。。。

2、互补时序界线回归器(TBR)

该模浚�？？？？？榈闹饕康氖俏送沤峄谠そ缢悼蚧毓楹突诰植啃畔⒌钠鹬菇缦叩阏雇攘街痔崦焐苹挠湃醯�，，，，，获得既能准确定位界线，，，，，又能天生可靠置信度得分的提名界线回归器。。。。。。

图片 1.png

详细来说，，，，，如模浚�？？？？？橥妓�，，，，，在将提名从经由局部-全局时序编码后的原长特征序列上举行采样之后，，，，，进一步将一个提名的时序特征分成三个部分，，，，，划分为起始点的局部特征，，，，，提名的中心特征以及竣事点的局部特征。。。。。。和被用往返归待优化提名的起始点和竣事点的偏移量，，，，，,和则用于团结回归提名的中心点和提名长度的偏移量。。。。。。使用上述两种计划都可以获得一个新的提名界线，，，，，最后将新的提名界线举行融合，，，，，即可获得最终的提名效果和置信度分数。。。。。。

由于 TCANet 不需要大宗时序提名即可实现高效的训练，，，，，因此在训练历程中对特征的采样可以直接在输入的原始视频特征上举行，，，，，这种采样方法相比于在统一的标准上举行采样，，，，，可以带来更少的量化特征损失，，，，，从而有用提高特征的质量。。。。。。

Part 3 模子训练

1、用于训练的待优化提名选择

在本要领的训练阶段，，，，，不使用其他要领（例如 BMN 等）输出的所有候选提名用于训练，，，，，为了提高训练效率，，，，，首先使用 Soft-NMS 去除大宗冗余的时序提名，，，，，最后选择置信度分数在 Top-100 的提名用于优化器训练。。。。。。

2、训练标签分派

在训练 TBR 的历程中，，，，，只有和真值的 IoU 大于一定阈值的提名被界说为正样本，，，，，与真值的 IoU 小于一定阈值的提名则被界说为负样本，，，，，而位于两个阈值之间的提名被界说为不完全样本。。。。。。在训练的历程中，，，，，通过在线的随机采样包管这三种样本之间的数目比例为 1:1:1，，，，，实现训练历程中正负样本的平衡。。。。。。由于在多阶段训练历程中，，，，，为了实现由粗到细的界线优化，，，，，提升模子收敛的效率，，，，，接纳了差别的正负样本划分阈值。。。。。。

3、损失函数

本计划需要对提名的置信度展望和界线回归的偏移量同时举行监视，，，，，将这两部分的损失函数划分界说为和，，，，，划分为：

图片 1.png

其中：

图片 1.png

最后，，，，，总的损失函数为：

Part 6 实验效果

在 HACS 数据集上，，，，，我们以复现的 BMN 要领作为基准，，，，，实验效果批注，，，，，TCANet 可以比 BMN 提高至少 4 个点的平均 mAP，，，，，仅靠单模子就可以逾越 CVPR 2020-HACS 榜单的第二名计划。。。。。。

图片 1.png

在 ActivityNet-v1.3 和 THUMOS14 数据集上也都有显着的效果提升，，，，，取得了现阶段最佳的时序行动检测效果：

图片 1.png

凭证视察发明，，，，，在时序行为检测使命中，，，，，孝顺最终检测性能 mAP 主要取决于打分靠前的若干提名，，，，，因此不但注重提名的多样性，，，，，更注重提名的准确性。。。。。。TCANet 在对候选提名的举行优化后，，，，，主要提高了 AR@1 和 AR@10 的效果，，，，，因此关于时序行为检测性能的提升很是显着，，，，，排名靠前的提名质量也更高，，，，，关于该使命的营业应用落地有很是主要的意义。。。。。。

局部-全局时序编码模浚�？？？？？樵诮缦吒怕收雇男Ч墒踊缦滤�，，，，，可见在仅是有全局时序编码时，，，，，容易爆发较多的全局噪声，，，，，且关于行动界线的响应较低。。。。。。P.S. 在我们之前的事情（BSN++）中曾指出，，，，，仅使用堆叠的 1D 卷积举行界线展望时也会爆发较多的界线噪声，，，，，导致精度较低。。。。。。

图片 1.png

我们接着对 TCANet 的各个模浚�？？？？？榫傩辛诵势饰�，，，，，如下表所示：

图片 1.png

关于多阶段时序界线回归模浚�？？？？？榈挠呕Ч缦峦妓荆�

图片 1.png

别的，，，，，TCANet不但可以用来提升已有要领天生提名的总体质量，，，，，也可以在随机输入（例如，，，，，一系列的滑动窗口）时天生高质量的提名，，，，，且实验批注在这种情形下也可取得SOTA的效果。。。。。。关于TCANet要领的模浚�？？？？？橄谑笛楹筒畋鹨焯崦淙胧钡穆嘲粜圆馐砸约靶什馐�，，，，，接待关注后续论文链接！

Part 7 结语

本文首先提出了用于同时聚合局部-全局信息的时序特征编码模浚�？？？？？�，，，，，在主流大型视频数据集上均取得了显著的效果提升，，，，，证实了长时序建模关于视频明确使命的主要性。。。。。。同时，，，，，基于界线特征和提名特征的互补界线回归进一步提高了定位的准确性。。。。。。在要领的实现细节部分涉及了较多的 insight，，，，，为该使命的后续生长提供了参考的偏向。。。。。。

论文地点

https://arxiv.org/abs/2103.13141

您尚未完善信息

完善信息后，，，，，即可下载资料

完善信息跳过，，，，，继续浏览

您尚未登录

您还未登录，，，，，登录方可继续

登录跳过，，，，，继续浏览

请选择您以为需要刷新的地方：

导航欠好用，，，，，不利便找到感兴趣的内容
产品先容信息不敷周全
产品先容信息禁止易懂
页面翻开速率烦懑，，，，，页面浏览不流通/有卡顿
页面不敷雅观
售后效劳欠好找，，，，，体验欠好

跳过下一个

您是否能够抵达本次网站的会见目的？？？？？？？

是
否
仍在举行中

下一个

您对商汤官网的知足度怎样？？？？？？？

很是不知足很是知足

提交

已收到您对商汤官网的评价和建议！

谢谢您的耐心反响~

关闭

产品试用

填写此简朴表格，，，，，我们将尽快联系您！

把您的需求发给我们相识所有产品

商务相助

400 900 5986

周一至周五 9:00-12:00，，，，，13:00-18:00

business@sensetime.com

相助同伴招募

成为相助同伴