焦点手艺: 以原创手艺系统为基本，，，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，，，结构多领域、多偏向前沿研究，，，，，，，，
快速买通AI在各个笔直场景中的应用，，，，，，，，向行业赋能。。。。。

AAAI 2021 | 视频超分中的可变形对齐解读

2021-08-10

在 AAAI 2021，，，，，，，，南洋理工大学 S-Lab、香港中文大学-商汤科技团结实验室和中科院深圳先进手艺研究院等对视频超区分率中的可变形对齐作出剖析。。。。�？？？？？？？杀湫尉砘畛跏俏秤ぞ叩募负巫涠岢龅模�，，，，，，最近在视频使命中对齐多帧时体现出精彩的性能，，，，，，，，越来越多地用于视频超区分率。。。。。只管具有精彩的性能，，，，，，，，但各人对其对齐的基本机制却没有深入的研究。。。。。在这项研究中，，，，，，，，本文展现可变形对齐和光流对齐的配合点，，，，，，，，并证实它们的偏移多样性是带来效果差别的要害点。。。。。凭证探讨效果，，，，，，，，本文进一步提出了 offset-fidelity loss，，，，，，，，该损失可以通过光流来指导偏移的学习。。。。。实验批注，，，，，，，，offset-fidelity loss 乐成地阻止了偏移量的过大，，，，，，，，并减轻了可变形对齐训练不稳固的问题。。。。。

论文名称: Understanding Deformable Alignment in Video Super-Resolution

Part 1 问题和挑战

在视频超分中，，，，，，，，怎样有用地使用相邻帧的信息是一个要害的问题。。。。。通常�；；；；；；峤幽啥云氲姆椒ɡ慈诤舷嗔谥〉男畔�。。。。。在早期的事情中[1]，，，，，，，，通常使用光流把相邻帧的信息对齐到中心�。。。。。�，，，，，，再使用对齐后的图片作为输入，，，，，，，，重修中心帧。。。。。近年的要领[2,3] 引入了可变形卷积作为对齐，，，，，，，，从而更高效地使用了相邻帧的信息。。。。。

只管可变形对齐有一定的效果，，，，，，，，我们对它却明确甚少。。。。。这导致我们无法对可变形对齐举行更深入的研究。。。。。另外，，，，，，，，在可变卷积参数的训练中会泛起不稳固情形，，，，，，，，导致无法学习有用的偏移量，，，，，，，，进而影响最终效果。。。。。

Part 2 可变形对齐与光流对齐之间的关系

让我们从变形卷积的表述最先：

从这里看来, 变形卷积跟光流没有直接联系，，，，，，，，可是对变形卷积剖析，，，，，，，，可以得出以下关系：

1) 使用作空间扭曲：

2) 关于举行卷积：

从上面的剖析可以明确到，，，，，，，，可变形对齐与光流对齐类似，，，，，，，，也接纳了空间扭曲。。。。。等效地，，，，，，，，我们可以说可变形对齐和光流的区别就是偏移量（offsets）的几多。。。。。现在来看一个特例：把 n 设为 1。。。。。我们可以看到，，，，，，，，可变形对齐就是先对特征举行扭曲，，，，，，，，然后举行卷积。。。。。

Part 3 偏移量的可视化

基于上面的剖析，，，，，，，，我们体贴在 n=1 这个特例中，，，，，，，，可变形对齐学习到的偏移量跟光流是不是很靠近？？？？？？？现在我们就来较量一下。。。。。我们使用 EDVR-M 作为 baseline，，，，，，，，并把 n 设为 1。。。。。然后我们使用 PWC-Net 的光流作为较量，，，，，，，，可视化的效果如下：

我们看到，，，，，，，，EDVR-M 的偏移量确实跟光流很是靠近。。。。。我们进一步举行定量实验，，，，，，，，它们的 L1 距离，，，，，，，，发明 80％以上的距离小于 1：

接着的问题很自然就是：那 n > 1 的时间的偏移量是怎样？？？？？？？我们上面的剖析使我们可以对偏移量作出跟更深入的剖析：我们可以把 n2 换成恣意的整数 N，，，，，，，，这样我们消除了可变形卷积的约束(即偏移数必需即是卷积核的平方)。。。。。现在，，，，，，，，我们来看看 N＝15 时的偏移量：

我们发明：

(1) 仍然有很大部分的偏移量跟光流靠近；；；；；；；

(2) 有部分偏移量跟光流差别很是大，，，，，，，，但它们的划分只在偏向（颜色），，，，，，，，整体形状却是很是靠近。。。。。这说明物体运动在可变形对齐中仍然是很是主要的。。。。。

另外，，，，，，，，我们盘算偏移量的标准误差, 发明在物体界线和图像界线（对齐相对难题的地方），，，，，，，，偏移量的标准误差是普遍较大的。。。。。这个发明也诠释了为什么可变形对齐优于比光流对齐：差别的偏移量是相互增补的。。。。。它们允许网络聚合来自差别位置的信息。。。。。这在光流欠好的区域特殊有用。。。。。

Part 4 可变形对齐的优点

如上面提及，，，，，，，，在物体界线和图像界线，，，，，，，，也是较量难对齐的地方，，，，，，，，可变形对齐的偏移量的多样性会更大，，，，，，，，这关于特微对齐有着很显著的作用，，，，，，，，如下图所示：

由于旋转的缘故原由，，，，，，，，光流未能找到对应的地方，，，，，，，，导致深色（数值即是0）部分的泛起。。。。。相反地，，，，，，，，当 N＝15 时，，，，，，，，网络可以从特征的其他地方获守信息，，，，，，，，对齐后的特征也较量连贯。。。。。更好地对齐也为超分效果带来提升：

从上图我们可以看出：

(1) 当把偏移量的数目增添，，，，，，，，其多样性也会增添；；；；；；；

(2) PSNR 和多样性呈正相关；；；；；；；

(3) 当 N 增添到某个数目时，，，，，，，，PSNR 和多样性都会抵达饱和。。。。。

从以上实验我们可以看到，，，，，，，，偏移量的多样性是为可变形对齐带来效果提升的主要缘故原由，，，，，，，，但现实上我们需要选择一个适合的数目，，，，，，，，不然会为网络带来不须要的盘算量。。。。。

Part 5 变形组的孝顺

除了增添偏移量的数目，，，，，，，，多样性还可以通过增添变形组的数目来实现。。。。。假设有 G 个变形组，，，，，，，，channel 数是 C。。。。。我们首先会把 feature 分成 G 组，，，，，，，，每一组学习 N 个偏移量。。。。。这样一来，，，，，，，，就会学习共 GxN 个偏移量。。。。。我们发明，，，，，，，，上述的剖析也适用于 G：

如右上图显示，，，，，，，，无论通过增添 G 或是 N 来提升多样性，，，，，，，，都会泛起饱和的情形。。。。。

Part 6 可变形卷积中的Modulation mask

在调制可变形卷积（又称为DCNv2）[4] 中，，，，，，，，学习了特另外 modulation mask 以进一步增强使用空间支持区域的能力：

在现有的可变形对齐中，，，，，，，，都是使用了 modulation mask。。。。。我们接下来看看 modulation mask 的详细作用。。。。。

从上图可以得出，，，，，，，，mask 关于每个偏移量学习一个权重，，，，，，，，较靠近光流的偏移量权重较大，，，，，，，，相反则较小。。。。。

从上图的定量实验也可以看出，，，，，，，，跟光流差别较大的，，，，，，，，权重会较低。。。。。另外，，，，，，，，当偏移量的数目增添后，，，，，，，，大部份的权重量有着很是小的值，，，，，，，，侧面诠释了体现饱和的情形。。。。。

Part 7 Offset-Fidelity Loss

我们可以看到可变形对齐的优点，，，，，，，，但训练可变形对齐尤其是在大模子中，，，，，，，，是极端不稳固的。。。。。在此情形下，，，，，，，，偏移量会变得很是大，，，，，，，，导致网络无法从相邻帧获得有用信息，，，，，，，，酿成一个单帧超分网络。。。。。

基于哈哈(haha)体育剖析，，，，，，，，光流和偏移量的关系使我们能够使用光流有用地对偏移量作出约束。。。。。最简朴的要领就是使用 L1 或 L2 loss 限制光流和偏移量的距离。。。。。可是这个要领无可阻止地镌汰了偏移量的多样性，，，，，，，，而哈哈(haha)体育剖析证实晰这些多样性是很是主要的。。。。。以是，，，，，，，，我们做了一个简朴而有用的操作：只对显着跟光流差别的偏移量作出限制，，，，，，，，而和光流靠近的不给予限制。。。。。这个操作能够使用单位阶跃函数来体现：

这里的 H 是单位阶跃函数，，，，，，，，i 和 j 是空间坐标，，，，，，，，x 和 y 是偏移量和光流。。。。。L 是原来的损失，，，，，，，，例如跟 GT 的 L2 损失。。。。。

通过这个损失，，，，，，，，我们限制偏移量的同时坚持多样性，，，，，，，，稳固了可变形对齐的训练稳固性。。。。。下面的定性和定量较量显示了 offset-fidelity loss 的有用性：

若是没有 offset-fidelity loss，，，，，，，，偏移量变得很是大。。。。。相反，，，，，，，，我们可以看到，，，，，，，，加上 loss，，，，，，，，偏移量变得可诠释，，，，，，，，并且同时跟光流有着显着的差别。。。。。

从 loss curve 我们可以看到 offset-fidelity loss 能够有用地稳固训练，，，，，，，，实现较小的损失值。。。。。

Part 8 结语

可变形对齐在视频超区分率中的乐成引起了极大关注。。。。。在这项研究中，，，，，，，，我们发明了变形对齐和光流对齐之间在看法和行为上的内在联系。。。。。关于光流对齐，，，，，，，，哈哈(haha)体育事情放宽了可变形卷积对偏移数目的约束。。。。。它提供了一种越发无邪的要领来增添光流对齐中的偏移量多样性，，，，，，，，从而改善了输出质量。。。。。至于可变形对齐，，，，，，，，哈哈(haha)体育研究使我们能够相识其潜在机制，，，，，，，，从而有可能引发新的对齐要领。。。。。凭证哈哈(haha)体育剖析，，，，，，，，我们提出了 offset-fidelity loss，，，，，，，，以减轻训练历程中的稳固性问题。。。。。

另外, 各人也可以关注一下我们 2020 年在图像和视频超分的新事情~

GLEAN: https://ckkelvinchan.github.io/projects/GLEAN/

BasicVSR: https://ckkelvinchan.github.io/projects/BasicVSR/

论文链接

https://arxiv.org/abs/2009.07265

作者先容

陈焯杰 (Kelvin C.K. Chan) | 南洋理工大学 S-Lab 和 MMLab 三年级博士生。。。。。导师是吕健勤 (Chen Change Loy) 副教授。。。。。目今主要研究兴趣为图像和视频还原，，，，，，，，主要包括超区分率和去模糊等。。。。。

小我私家主页：

https://ckkelvinchan.github.io/

References

[1] Xue, Tianfan, et al. "Video enhancement with task-oriented flow." International Journal of Computer Vision 127.8 (2019): 1106-1125.

[2] Tian, Yapeng, et al. "Tdan: Temporally-deformable alignment network for video super-resolution." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020.

[3] Wang, Xintao, et al. "Edvr: Video restoration with enhanced deformable convolutional networks." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. 2019.

[4] Zhu, Xizhou, et al. "Deformable convnets v2: More deformable, better results." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019.

您尚未完善信息

完善信息后，，，，，，，，即可下载资料

完善信息跳过，，，，，，，，继续浏览

您尚未登录

您还未登录，，，，，，，，登录方可继续

登录跳过，，，，，，，，继续浏览

请选择您以为需要刷新的地方：

导航欠好用，，，，，，，，不利便找到感兴趣的内容
产品先容信息不敷周全
产品先容信息禁止易懂
页面翻开速率烦懑，，，，，，，，页面浏览不流通/有卡顿
页面不敷雅观
售后效劳欠好找，，，，，，，，体验欠好

跳过下一个

您是否能够抵达本次网站的会见目的？？？？？？？

是
否
仍在举行中

下一个

您对商汤官网的知足度怎样？？？？？？？

很是不知足很是知足

提交

已收到您对商汤官网的评价和建议！

谢谢您的耐心反响~

关闭

产品试用

填写此简朴表格，，，，，，，，我们将尽快联系您！

把您的需求发给我们相识所有产品

商务相助

400 900 5986

周一至周五 9:00-12:00，，，，，，，，13:00-18:00

business@sensetime.com

相助同伴招募

成为相助同伴