焦点手艺: 以原创手艺系统为基本，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，结构多领域、多偏向前沿研究，，，，，，
快速买通AI在各个笔直场景中的应用，，，，，，向行业赋能。。。。。

CVPR 2021 Oral | VRCNet：变分关联点云补全网络

2021-08-10

在 CVPR 2021 上，，，，，，南洋理工大学 S-Lab 与商汤 IRDC 团队相助提出变分关联点云补全网络 (VRCNet)。。。。。如 Fig.1(a) 所示，，，，，，VRCNet 首先展望出简陋形状框架 (PMNet)，，，，，，再增强关联性形状细节天生 (RENet)。。。。。比照之前要领，，，，，，VRCNet 天生的完整点云有显著的质量提升 (见Fig.1(b))。。。。。更进一步地，，，，，，Fig.1(c) 中的补全效果显示，，，，，，VRCNet 可以基于视察到的差别的残弱点云，，，，，，团结关系性架构推测天生合理而差别的完整点云。。。。。别的，，，，，，本文还建设了一个大规模多视角的残弱点云 (MVP) 数据集，，，，，，可以应用于包括残弱点云分类、支解和配准等多个点云学习使命的研究。。。。。

图片 1.png

Figure 1 VRCNet 点云补全要领框架和主要优点总览

Part 1 问题和挑战

点云补全是 3D 感知中的一个主要并且基础的使命，，，，，，它旨在基于扫描获得的片面且不完全的点云形状展望和恢复完整的3D模子。。。。。现实生涯中，，，，，，由于遮挡等问题造成只能视察到残破的点云形状，，，，，，而许多使命很依赖感知到完整的 3D 形状。。。。。好比，，，，，，抓取机械人需要相识完整的物体形状以稳妥地抓取物体。。。。。别的，，，，，，完整的点云形状尚有助于深度学习对 3D 物体的语义感知和检测。。。。。点云补全问题约莫可以分为以下三个条理：

1. 点云补全需要能感知并区别差别但类似的点云形状（辨识）

2. 点云补全需要能从结构关系上剖析和明确点云形状（推断）

3. 点云补全需要对完整点云形状有一定的先验知识（天生）

3D 深度学习的生长使得点云补全也取得了显著的希望。。。。。然而，，，，，，许多现有的要领都只停留在“辨识”层面上，，，，，，也就是可以从已知的形状中获取与片面视察最相似的形状。。。。。�？？？？？？墒�，，，，，，新补全的部分和视察到的部分之间缺少关系约束，，，，，，并且对学习中未见过的新形状缺少推理和天生的能力，，，，，，甚至难以保存已视察到的形状细节特征。。。。。

Part 2 要领先容

鉴于此，，，，，，我们提出了一个新颖并且综合性的点云补全网络（VRCNet，，，，，，如Fig. 2所示）。。。。。它由概率模子网络（PMNet）和关系增强网络（RENet）两个子网络级联组成。。。。。首先，，，，，，PMNet基于残弱点云天生一个简陋的点云形状框架，，，，，，然后再由RENet团结前阶段天生的简陋框架和残弱点云视察，，，，，，推测具有相关性的结构，，，，，，以实现最后天生点云细节特征的增强。。。。。

图片 1.png

Figure 2 VRCNet网络架构：PMNet（浅蓝色）和RENet（浅黄色，，，，，，细节见Figure 4）

1. 概率模子网络（PMNet）

念头：

由于点云的形状残破，，，，，，也导致了其空间漫衍上的网格缺失，，，，，，从而影响了全局意义上局部形状细节的天生。。。。。为了缓解和阻止这个问题，，，，，，我么提出并设计了 PMNet，，，，，，旨在先从点云的全局特征和漫衍出发，，，，，，先天生一个简陋的全局点云框架结构，，，，，，再以此辅助其形状细节增强。。。。。

要领：

PMNet（如Fig. 2浅蓝色框所示）是一个双通道的网络架构，，，，，，包括一个重修通道和一个补全通道。。。。。重修通道对完整的点云形状做自编码息争码以恢复完整形状，，，，，，而补全通道通过相似的网络做编码息争码以补全完整形状。。。。。两个通道间有多个共享模�？？？？？？�。。。。。在训练时，，，，，，重修通道在网络梯度和形状漫衍两个层面上指导补全通道的学习和收敛。。。。。在测试时，，，，，，重修通道不再使用，，，，，，网络只输入残弱点云。。。。。

训练时使用到的损失函数如下:

其中体现重修通道的损失函数，，，，，，而代表的是补全通道的损失函数。。。。。这里代表 E 对应函数的期望，，，，，，是对应数据的真实漫衍，，，，，，X 是残弱点云，，，，，，Y 是完整点云，，，，，，KL 代表 Kullback–Leibler 散度。。。。。重修通道和补全通道的损失函数都包括有两个部分：1）漫衍之间的散度较量；；；；；；；2）天生的形状与真实数据形状的较量。。。。。差别的是，，，，，，重修通道的编码漫衍向先验的高斯漫衍靠近，，，，，，而补全通道的编码漫衍向重修通道的编码漫衍靠近。。。。。

2. 关系增强网络（RENet）

念头：

通过 PMNet，，，，，，我们编码天生了简陋的点云形状框架，，，，，，可是缺少了许多细节信息。。。。。理想的点云补全不但应当能保存视察到的点云细节信息，，，，，，还应当凭证关联性的结构（好比，，，，，，人造物体的对称，，，，，，阵列，，，，，，以及平滑外貌）推测未知的点云的细部特征。。。。。于是，，，，，，我们综合思量天生的简陋点云形状框架和残弱点云，，，，，，以进一步增强天生完整点云的细节特征。。。。。启发于 2D 图像中基于自注重力的操作可以有用学习图像特征的关联，，，，，，我们也致力于探索种种基于自注重力的操作关于点云特征的学习。。。。。

要领：

基于提出的多个新颖且强力的点云学习模�？？？？？？�，，，，，，诸如 PSA，，，，，，PSK 和 R-PSK 模�？？？？？？椋ḿ鸉ig. 3），，，，，，我们构建了 RENet（Fig. 4）网络架构。。。。。PSA 模�？？？？？？槭褂玫阍频淖宰⒅亓�，，，，，，自顺应地学习点云局部相近点之间的关联。。。。。PSK 模�？？？？？？橥ü⒘喔霾畋鸨曜嫉� PSA 模�？？？？？？�，，，，，，可以自顺应地选取由差别标准感受野编码获得的特征。。。。。别的，，，，，，通过特殊添加的残差链接，，，，，，我们获得最终的 R-PSK 模�？？？？？？�，，，，，，而它是 RENet 的基本运算块。。。。。

图片 1.png

Figure 3 RENet 中使用到的各个基于关系的点云特征学习模�？？？？？？�

各个点云模�？？？？？？榈南晗冈怂悖�

PSA 模�？？？？？？榈南晗冈怂阏故宅诠剑�3）和公式（4）中。。。。。其中，，，，，，代表点所有征采到的 K-NN 邻近点的特征, β , γ , σ 和 ξ 都代表了线性变换运算，，，，，，而 δ 代表了特征向量的链接操作（concatenation）。。。。。

PSK 模�？？？？？？榈脑怂憧梢杂霉剑�5）表述。。。。。其中和是由两个差别标准的 PSA 模�？？？？？？楸嗦牖竦玫牡阍铺卣�；；；；；；；W，，，，，，A 和 B，，，，，，是展望的权重矩阵；；；；；；；是全毗连层；；；；；；；V 是最后融合获得的点云特征。。。。。

Figure 4 RENet 的详细网络架构

基于我们构建的多种模�？？？？？？�，，，，，，我们沿用 U-Net[1] 的思绪搭建起多层级的 RENet 网络。。。。。别的，，，，，，RENet 还使用了 EFE[2] 模�？？？？？？橐灾С侄嘀智致实耐暾阍铺焐�。。。。。

3. 损失函数

损失函数主要有三个部分：重修通道损失函数，，，，，，补全通道损失函数和关系增强网络的损失函数。。。。。和都包括两个损失函数项：公式（6）中的Kullback–Leibler（KL）散度项和公式（7）中的 Chamfer Distance （CD）损失函数；；；；；；；只包括CD损失函数。。。。。于是，，，，，，整体的损失函数界说如公式（8）所示，，，，，，其中，，，，，，和是对应的权重参数。。。。。

Part 3 MVP 数据集

念头：

为了建设一个更统一并且综合性的残弱点云数据集，，，，，，我们天生了 MVP 数据集。。。。。比照之前的残弱点云数据集，，，，，，好比 PCN[3] 和 C3D[4]，，，，，，MVP 有许多吸引人的特征（见Table 1）。。。。。

Figure 5 MVP 数据集数据天生和质量比照

主要优点：

MVP 主要的优点有：1）匀称漫衍的虚拟相机视角爆发了多样化的残弱点云；；；；；；； 2）更大数目和更高质量的点云数据；；；；；；； 3）富厚的点云种类。。。。。由 Fig. 5(a) 和 Fig. 5(b) 可以看出，，，，，，关于统一个完整 CAD 飞机模子，，，，，，我们使用了26个匀称漫衍的虚拟相机，，，，，，从而收罗到富厚且各异的高质量残破飞机点云。。。。。Fig. 5(c) 比照了差别区分率下天生的残弱点云质量，，，，，，MVP 使用高区分率也获得了更高质量的残弱点云。。。。。差别采样要领天生的完整点云质量比照展示在 Fig. 5(d)中。。。。。相较量之前要领使用的匀称采样（US），，，，，，MVP 使用的泊松采样（PDS）天生磷泣高质量的完整点云。。。。。

Part 4 实验效果

1. 点云补全效果质量比照

Fig. 6是在 MVP 数据集上的差别要领点云补全的效果图比照。。。。。VRCNet 的效果相较量之前的点云补全要领主要有两方面的优势：1）可以天生更匀称清静滑漫衍的高质量完整点云；；；；；；；2）可以有用地捕获到关联性结构并对缺失部分实现合理的天生和补全。。。。。

图片 1.png

Figure 6 差别要领在MVP数据集上的点云补全效果展示

2. 真实点云补全效果展示

我们进一步在现实收罗到的残弱点云上磨练 VRCNet 的补万能力。。。。。在 Fig. 7 中，，，，，，残破的汽车点云源于 Kitti 数据集（激光雷达收罗），，，，，，而残破的桌子和椅子点云源于 ScanNet 数据集（深度相机收罗），，，，，，它们都没有对应的完整的点云。。。。。 VRCNet 通过学习和展望多种对称性，，，，，，可以较好地天生高质量的完整点云。。。。。

图片 1.png

Figure 7 在现实收罗的残弱点云的补全效果比照

3. 点云补全效果数值比照

与之条件出的要领比照，，，，，，VRCNet 在 MVP (见 Table 4)和 C3D (见 Table 3)数据集上取得更优的体现，，，，，，并有着显着的提升。。。。。差别的区分率下的点云补全实验(见 Table 2) 进一步彰显出 VRCNet 的优越性。。。。。

与之条件出的要领比照，，，，，，VRCNet 在 MVP (见 Table 4)和 C3D (见 Table 3)数据集上取得更优的体现，，，，，，并有着显着的提升。。。。。差别的区分率下的点云补全实验(见 Table 2) 进一步彰显出 VRCNet 的优越性。。。。。

Part 5 结语

在本文中，，，，，，我们提出了 VRCNet，，，，，，一个变分关联性点云补全网络。。。。。VRCNet 可以通过学习关联性结构来展望完整点云。。。。。别的，，，，，，我们还提出了多个新颖并且强力的基于自注重力的点云学习模�？？？？？？�，，，，，，如 PSA 和 PSK，，，，，，它们也可以很便捷地被运用到其他的点云学习使命中。。。。。特殊地，，，，，，我们孝顺了一个大规模的点云数据集 MVP，，，，，，可以应用于多个点云学习使命，，，，，，好比残弱点云分类和配准。。。。。我们强烈推荐研究职员在后续的点云研究中实验我们提出的点云学习模�？？？？？？楹褪菁�。。。。。

项目主页

https://paul007pl.github.io/projects/VRCNet

论文地点

https://arxiv.org/abs/2104.10154

代码地点

https://github.com/paul007pl/VRCNet

实验室主页

https://www.mmlab-ntu.com/

接待有兴趣实习/深造的学生关注官网，，，，，，联系NTU@MMLab~

Reference

[1] Ronneberger, O., Fischer, P., & Brox, T. (2015, October). U-net: Convolutional networks for biomedical image segmentation. In International Conference on Medical image computing and computer-assisted intervention (pp. 234-241). Springer, Cham.

[2] Pan, L. (2020). ECG: Edge-aware Point Cloud Completion with Graph Convolution. IEEE Robotics and Automation Letters, 5(3), 4392-4398.

[3] Yuan, W., Khot, T., Held, D., Mertz, C., & Hebert, M. (2018, September). Pcn: Point completion network. In 2018 International Conference on 3D Vision (3DV) (pp. 728-737). IEEE.

[4] Tchapmi, L. P., Kosaraju, V., Rezatofighi, H., Reid, I., & Savarese, S. (2019). Topnet: Structural point cloud decoder. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 383-392).

您尚未完善信息

完善信息后，，，，，，即可下载资料

完善信息跳过，，，，，，继续浏览

您尚未登录

您还未登录，，，，，，登录方可继续

登录跳过，，，，，，继续浏览

请选择您以为需要刷新的地方：

导航欠好用，，，，，，不利便找到感兴趣的内容
产品先容信息不敷周全
产品先容信息禁止易懂
页面翻开速率烦懑，，，，，，页面浏览不流通/有卡顿
页面不敷雅观
售后效劳欠好找，，，，，，体验欠好

跳过下一个

您是否能够抵达本次网站的会见目的？？？？？？？

是
否
仍在举行中

下一个

您对商汤官网的知足度怎样？？？？？？？

很是不知足很是知足

提交

已收到您对商汤官网的评价和建议！

谢谢您的耐心反响~

关闭

产品试用

填写此简朴表格，，，，，，我们将尽快联系您！

把您的需求发给我们相识所有产品

商务相助

400 900 5986

周一至周五 9:00-12:00，，，，，，13:00-18:00

business@sensetime.com

相助同伴招募

成为相助同伴