焦点手艺: 以原创手艺系统为基本，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，结构多领域、多偏向前沿研究，，，，，，
快速买通AI在各个笔直场景中的应用，，，，，，向行业赋能。。。。。。。。

AAAI 2021 | 商汤提出BSN++: 时序行动提名天生网络

2021-08-10

在 AAAI 2021 上，，，，，，商汤科技都会盘算研发团队提出了基于互补界线回归和标准平衡交互建模的时序行动提名天生网络（BSN++），，，，，，针对现有要领保存大宗界线噪声、缺乏提名之间的关系建模以及行动一连长度不平衡等问题举行了刷新，，，，，，能够高效地给大宗麋集漫衍的候选提名天生高精度的界线展望和可靠的置信度分数。。。。。。。。实验效果批注，，，，，，BSN++ 在两个著名的果真数据集上均有显著的性能和效率提升。。。。。。。。唬�；；；；诟靡欤�，，，，，我们在 CVPR19 - ActivityNet Challenge 的时序行动检测使命榜单上排名第一。。。。。。。。

Part 1 使命界说和挑战

时序行动提名使命旨在从一段未修剪的长视频中天生包括行动爆发区间（从起始到竣事）的候选片断。。。。。。。。通常以为高质量的时序行动提名应当具备两个要害特征：

（1）天生的行动提名能够在时序上完整地笼罩行动爆发的区域，，，，，，并且包管有足够高的召回和时序重叠

（2）提名的质量应当被准确地评估，，，，，，从而提供一个可靠的置信度分数用于后续的检索排序。。。。。。。。

为了知足这两个条件同时实现高质量的行动提名天生，，，，，，现有的时序行动提名天生要领大多遵照两个范式。。。。。。。。第一种是“自顶向下”的方法，，，，，，候选提名大多基于滑动窗口或者是预先界说好标准和比例且匀称漫衍的锚点框来举行界线回归，，，，，，然后接纳一个二分类器来评估提名的置信度分数。。。。。。。。然而，，，，，，这种方法天生的提名纵然经由了多阶段的界线修正，，，，，，也很难获得十分准确的界线。。。。。。。。在这种情形下，，，，，，以BSN[1]（界线敏感网络）为首的基于界线概率展望的要领开创了“自底向上”范式的先河，，，，，，在近年来吸引了许多学者的关注。。。。。。。。其将输入视频以一种细粒度的方法举行界线概率评估，，，，，，并通过组合高概率的候选起止点天生恣意长度的候选行动提名，，，，，，既实现了界线的准确性也突破了锚点框关于长度的限制。。。。。。。。然而，，，，，，只管BSN在性能和效率上相比于前人的要领都取得了显著的领先，，，，，，我们发明它仍然保存一些误差：

(1) 在举行界线展望时只依赖局部的上下文信息，，，，，，忽视了对整段视频长时序的依赖，，，，，，造成了许多界线噪声，，，，，，从而精度较低。。。。。。。。

(2) 提名的评估历程相对自力，，，，，，缺乏对相似提名之间的关系建模，，，，，，保存严重的误差。。。。。。。。

(3) 相同/差别行动之间都保存严重的正负样本/一连长度的不平衡征象，，，，，，长尾效应严重，，，，，，典范数据漫衍如下图所示。。。。。。。。

(4) 效率低下。。。。。。。。BSN通过多阶段的方法划分完成界线展望、提名天生和提名评估等历程，，，，，，性能上相互制约，，，，，，且效率上缺乏团结优化，，，，，，倒运于现实应用的线上安排。。。。。。。。

Part 2 要领先容

针对上述问题，，，，，，我们提出了一个全新的时序行动提名天生框架（BSN++）。。。。。。。。与BSN的多阶段历程差别，，，，，，BSN++实现了在一个统一框架内完成提名图（proposal map）的天生。。。。。。。。为了获得该提名图，，，，，，BSN++划分天生了一张界线图和置信度图用来体现大宗麋集漫衍提名的界线信息和置信度分数。。。。。。。。如下图所示，，，，，，BSN++主要包括三个主要的模浚�？？？？椋夯∧？？？？？？椤⒒ゲ菇缦咛焐骱吞崦叵到Ｄ？？？？？？�。。。。。。。。

1. 基础模浚�？？？？�

基础模浚�？？？？椋˙ase Module）旨在处置惩罚经由双流网络提取好的视频特征序列，，，，，，用于举行时序关系的起源建模。。。。。。。。同时该模浚�？？？？榈氖涑龌肿魑笮礁龇种У氖淙�。。。。。。。。详细来说，，，，，，该模浚�？？？？橹饕闪讲愦� ReLU 激活函数的 1D 卷积组成，，，，，，卷积核巨细为 3，，，，，，数目为 256，，，，，，且步长为 1。。。。。。。。由于输入视频的长度纷歧，，，，，，我们将输入视频截断为一系列牢靠长度的滑动窗口。。。。。。。。

2. 互补界线天生器

互补界线天生器（Complementary Boundary Generator）主要源于受到 U-Net[3] 结构应用在医学图像支解上的启发，，，，，，我们以为关于时序界线天生这种麋集展望（dense prediction）的使命同样可以通过一维的编码-解码器结构举行高层级全局时序信息和低层级局部时序信息的建模。。。。。。。。如下图所示，，，，，，左下部分中的每个圆圈划分代表一个带有 512 个卷积核且核巨细为3的一维时序卷积层，，，，，，并划分接着一个批归一化层（BN）和 ReLU 激活函数。。。。。。。。为了减小过拟合的征象，，，，，，我们只添加了两层下采样层来增大时序的感受野，，，，，，并接着接纳同样数目的上采样层来恢复到原始的时序区分率。。。。。。。。别的，，，，，，为了加速网络的收敛速率，，，，，，特殊在中心层施加了监视信号（deep supervision）（该操作关于后续的模子剪枝同样有资助）。。。。。。。。同时，，，，，，通过跳层毗连来缩小编码器息争码器之间的语义鸿沟。。。。。。。。值得一提的是，，，，，，我们发明起始界线分类器和竣事界线分类器之间保存自然的互补性。。。。。。。。即当视频经由反向输入到网络时，，，，，，起始界线分类器（从配景到远景）可以看作是一个伪竣事界线分类器（从远景到配景）。。。。。。。。因此，，，，，，很自然地想到使用双向的模子展望效果举行融合：

为了在训练历程中增强模子关于界线的鲁棒性，，，，，，我们实现了并行的编解码优化历程，，，，，，并在两侧的中心层输出特殊施加了一致性约束，，，，，，实验发明该战略可以显著提升最终的界线展望精度，，，，，，抑制了界线噪声的泛起。。。。。。。。最终，，，，，，将获得的两个界线概率序列构建成一张界线图（boundary map），，，，，，用于表征所有麋集漫衍提名的界线信息，，，，，，其中T和D划分代表特征序列的长度和提名的最大一连时间：

3. 提名关系建模模浚�？？？？�

提名关系建模模浚�？？？？椋╬roposal relation block）的目的是为了高效地评估麋集漫衍候选提名的置信度分数。。。。。。。。BMN[2] 提出了界线匹配（boundary-matching）机制来实现一次性为所有候选提名举行置信度评估。。。。。。。。然而，，，，，，只管 BMN 在天生的提名特征图上接纳了 3x3 的 2D 卷积举行局部的提名关系建模，，，，，，但这显然缺乏以挖掘相似行动提名之间的关系（尤其是真值 IoU 相同但行动种类/一连长度差别的行动提名），，，，，，使得提名的评估历程仍然相对自力。。。。。。。。只是为 BSN 的提名评估模浚�？？？？樘峁┝烁咝У难盗贩椒ǎ�，，，，，并没有从实质上解决提名评估问题。。。。。。。。针对该问题，，，，，，BSN++ 设计了一个提名关系建模模浚�？？？？槔椿执犹崦恢貌忝妫ㄎ恢酶兄⒅亓δ？？？？？？椋┖屯ǖ辣碚鞑忝妫ㄍǖ栏兄⒅亓δ？？？？？？椋┚傩辛肆礁霾畋鹞鹊慕换バ畔⒔＃�，，，，，详细历程如下图所示。。。。。。。。最终，，，，，，三个子分支划分举行监视训练和测试效果融合，，，，，，从而抵达最佳的置信度图展望质量（其中，，，，，，置信度图中像素点 (i,j) 代表一个起始点为，，，，，，一连时间为的候选提名对应的置信度分数）。。。。。。。。

4. 两阶段重采样

长尾数据集中的数据不平衡问题可以严重影响到模子的训练精度和泛化性能。。。。。。。。本文回首了数据集中的正负样天职布以及行动一连长度的漫衍情形，，，，，，并针对性的设计了用于提名置信度展望的重采样战略，，，，，，旨在提升在长尾数据集中的模子训练体现。。。。。。。。详细来说，，，，，，BSN++设计了两阶段的采样战略，，，，，，不但针对训练历程中提名的正负样本数目举行平衡，，，，，，同时思量了对正样本提名中提名的时序长度举行二次平衡。。。。。。。。

基于 IoU 平衡的采样战略。。。。。。。。如文章开头的数据漫衍示意图可以视察到，，，，，，正负样本的批损失漫衍保存较大的差别，，，，，，这种征象无疑会导致严重的训练模子误差。。。。。。。。先前的事情通常设计了一个正负样本的采样器来平衡差别 IoU 区间的样本。。。。。。。。然而，，，，，，我们发明正负样本的一连时间同样不遵照通例的匀称漫衍。。。。。。。。因此，，，，，，有须要思量继续对行动提名的长度进一步平衡。。。。。。。。

标准平衡重采样。。。。。。。。为了缓解长尾标准的问题，，，，，，我们在IoU平衡采样的基础上提出了一个正负样本标准重采样战略。。。。。。。。详细来说，，，，，，假设为正样本提名中一连长度为的数目，，，，，，而则为其占总提名数目的比例：

其中，，，，，，为预先界说的归一化标准规模（例如，，，，，，[0-0.3, 0.3-0.7, 0.7-1.0]）。。。。。。。。通过一个正样本比例采样函数，，，，，，获得采样比例，，，，，，且当小于 λ（凭证履历设为 0.15）时，，，，，，该采样比例将大于原始采样比例。。。。。。。。因此，，，，，，我们将更新后的归一化采样比例作为某个特定提名长度区间的采样概率，，，，，，并以此为基准构建批数据举行模子训练。。。。。。。。至于负样本，，，，，，接纳相同的采样历程。。。。。。。。

Part 3 实验效果

1. 时序行动提名天生

我们首先在 ActivityNet-1.3 上评估了 BSN++ 天生的时序行动提名质量，，，，，，如下表所示。。。。。。。。BSN++ 相比于之前的要领取得了更高的 AUC 指标，，，，，，尤其在 AR@1 和 AR@100 指标上（Top-1/Top-100候选提名下的平均召回）相比于 BSN 提升最为显着。。。。。。。。浚�？？？？杉�，，，，，BSN++ 在包管高召回的条件下也提升了候选提名的整体检索质量。。。。。。。。

接着在 THUMOS14 上比照评估了 BSN++ 在差别输入特征下的行动提名质量，，，，，，如下表所示。。。。。。。。浚�？？？？杉�，，，，，BSN++ 关于差别的数据集和差别的特征提取器都具有很好的鲁棒性。。。。。。。。

同时，，，，，，在下表中还对 BSN++ 的各个模浚�？？？？榫傩辛讼晗傅钠饰鍪笛椋�，，，，，充分验证各个模浚�？？？？榈挠杏眯院突ゲ剐�。。。。。。。。并且从评估效果中我们可以总结出以下几点结论：

(1) 编码-解码器结构同样可以对一维时序信息举行“局部到全局”的充分建模，，，，，，从而相比于之前只依赖于局部信息的要领有更准确的界线展望效果；；；；；；

(2) 双向匹配机制进一步验证了未来信息关于界线调解决议的主要性；；；；；；

(3) 与先前要领自力评估提名差别，，，，，，BSN++ 接纳的提名关系建模模浚�？？？？榭梢蕴峁└苋奶卣饔糜谇趾推拦佬卸崦唬�；；；；

(4) 标准平衡的重采样战略可以使得模子抵达平衡优化的目的；；；；；；

(5) 通过将各个模浚�？？？？榧傻揭桓龆说蕉说目蚣埽�，，，，，BSN++ 可以获得有竞争力的效果提升；；；；；；

(6) 同时，，，，，，BSN++ 包管了总体的效率优势。。。。。。。。

2. 时序行动检测

与两阶段图像目的检测相似，，，，，，我们以为时序行动提名的质量会直接影响到时序行动检测的性能。。。。。。。。因此，，，，，，我们将BSN++ 天生的时序行动提名效果直接付与现有视频分类器的分类标签，，，，，，即可获得最终的时序行动检测效果，，，，，，并用于评估模子的检测精度（mAP）。。。。。。。。我们划分在 ActivityNet-1.3 和 THUMOS14 数据集上举行了实验，，，，，，效果划分如下表所示。。。。。。。。浚�？？？？杉�，，，，，BSN++ 在检测精度上显著提升了现有算法的水平。。。。。。。。

最后，，，，，，我们划分在两个数据集上随机挑选了两个视频样例及其模子展望效果举行可视化，，，，，，如下图所示。。。。。。。。其中第一行为 THUMOS14 中的视频，，，，，，第二行为 ActivityNet-1.3 数据集中的视频。。。。。。。。

Part 4 结语

本文的主要孝顺在于针对现有 BSN 系列的要领保存的几点问题举行了针对性的解决，，，，，，并提出了进阶版本 BSN++。。。。。。。。通过互补界线匹配融合的要领实现高精度的界线展望。。。。。。。。同时，，，，，，着重解决了现有要领忽略的麋集漫衍提名关系建模和标准不平衡等问题，，，，，，显著提升了关于麋集漫衍候选提名的置信度评估质量。。。。。。。。实验效果批注，，，，，，BSN++ 在主流数据集上的算法性能和效率上均取得了一致的提升。。。。。。。。

论文链接

https://arxiv.org/pdf/2009.07641v4.pdf

References

[1] Lin, T.; Zhao, X.; Su, H. BSN: Boundary sensitive network for temporal action proposal generation. In European Conference on Computer Vision (ECCV), 2018.

[2] Lin, T.; Liu, X.; Li, X.; Ding, E.; and Wen, S. BMN: Boundary-Matching Network for Temporal Action Proposal Generation. In International Conference on Computer Vision (ICCV), 2019.

[3] Zhou, Z.; Siddiquee, M. M. R.; Tajbakhsh, N.; and Liang, J. UNet++: A Nested U-Net Architecture for Medical Image Segmentation. MICCAI.

您尚未完善信息

完善信息后，，，，，，即可下载资料

完善信息跳过，，，，，，继续浏览

您尚未登录

您还未登录，，，，，，登录方可继续

登录跳过，，，，，，继续浏览

请选择您以为需要刷新的地方：

导航欠好用，，，，，，不利便找到感兴趣的内容
产品先容信息不敷周全
产品先容信息禁止易懂
页面翻开速率烦懑，，，，，，页面浏览不流通/有卡顿
页面不敷雅观
售后效劳欠好找，，，，，，体验欠好

跳过下一个

您是否能够抵达本次网站的会见目的？？？？？？

是
否
仍在举行中

下一个

您对商汤官网的知足度怎样？？？？？？

很是不知足很是知足

提交

已收到您对商汤官网的评价和建议！

谢谢您的耐心反响~

关闭

产品试用

填写此简朴表格，，，，，，我们将尽快联系您！

把您的需求发给我们相识所有产品

商务相助

400 900 5986

周一至周五 9:00-12:00，，，，，，13:00-18:00

business@sensetime.com

相助同伴招募

成为相助同伴