? ? ?

手艺能力

以原创手艺系统为基本，，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，，结构多领域、多偏向前沿研究，，，，，，，快速买通AI在各个笔直场景中的应用，，，，，，，向行业赋能。。。。。。。

相识所有案例

商汤研究

商汤研究始终坚持原创，，，，，，，一直突破立异。。。。。。。具有人工智能领域深挚的学术积累，，，，，，，具备健全的人才作育机制，，，，，，，已与海内外五十余所一流高校和科研院所建设了深度相助关系，，，，，，，并与众多行业同仁同心共建AI生态圈。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤大装置AI云 SenseCore

建设高效率、低本钱、规模唬�；；；；；；� AI 云基础设施，，，，，，，打造专业的深度学习平台及算法模子系统，，，，，，，引领AI立异，，，，，，，助力工业界及学术界探索 AI 界线。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤日日新大模子 SenseNova

商汤日日新大模子 SenseNova，，，，，，，可以提供自然语言处置惩罚、图片天生、自动化数据标注、自界说模子训练等多种大模子及能力。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

水星智能移动终端平台 SenseME

哈哈(haha)体育SenseME 水星智能移动终端平台提供包括SDK、AI传感器和ISP芯片等全套产品，，，，，，，能够支持诸多物联网装备，，，，，，，以增进感知智能和内容增强

申请试用

相识所有案例

相识所有产品效劳

火星混淆现实平台 SenseMARS

SenseMARS平台通过对物理天下的数字重修、虚拟化身和软件智能体，，，，，，，创立全新的陶醉式和交互式的元宇宙体验

申请试用

相识所有案例

相识所有产品效劳

晶识智能零售平台 SenseGalaxy

基于商汤SKU商品识别大模子，，，，，，，用AI赋能智能结算、库存盘货、纯净度审核等营业场景并快速拓展至智慧商流与智慧物流领域。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

焦点手艺: 以原创手艺系统为基本，，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，，结构多领域、多偏向前沿研究，，，，，，，
快速买通AI在各个笔直场景中的应用，，，，，，，向行业赋能。。。。。。。

< 返回论文解读

CVPR 2021 | ShapeInversion: 基于GAN逆映射的无监视点云补全要领

2021-08-10

在CVPR 2021上，，，，，，，商汤科技-南洋理工大学团结 AI 研究中心 S-Lab 提出了基于GAN逆映射的无监视点云补全要领：ShapeInversion。。。。。。。与已有的全监视要领相比，，，，，，，ShapeInversion首次将天生对抗网络(GAN)逆映射引入到点云补全中。。。。。。。使用GAN提供的先验知识，，，，，，，ShapeInversion不但在已有的基线上媲美众多有监视要领，，，，，，，还展示了显著的泛化能力，，，，，，，对真实天下的残破扫描和种种形式的残破输入以及不完整水平给出了鲁棒的效果。。。。。。。同时，，，，，，，ShapeInversion提供一系列特另外功效，，，，，，，例如对有歧义的残弱点云提供合理的多解，，，，，，，以及对给定完整点云的编辑。。。。。。。

论文名称: Unsupervised 3D Shape Completion through GAN Inversion

Part 1 问题和挑战

点云补全使命是基于一个物体的残弱点云预计物体的完整形状。。。。。。。点云补全对诸多下游使命至关主要，，，，，，，例如三维场景明确，，，，，，，机械人导航等。。。。。。。大大都点云补全要领在很洪流平上依赖于成对的残破-完整点云，，，，，，，并以全监视方法举行学习。。。。。。。只管它们在域内数据上的体现令人印象深刻，，，，，，，但泛化到其他形式的残弱点云或现实天下的残破扫描时，，，，，，，由于域的差别（如下图a-d），，，，，，，往往无法获得令人知足的效果。。。。。。。另外，，，，，，，给定一个残弱点云，，，，，，，这些训练要领往往只输出唯一的完整点云，，，，，，，纵然该残弱点云可能对应多个合理的完整形状（如下图e）。。。。。。。

图片 1.png

Part 2 要领先容

针对以上提出的问题，，，，，，，我们提出了一个新颖的框架ShapeInversion, 首次在点云补全使命中引入GAN逆映射。。。。。。。该要领充分使用预训练的GAN中的先验知识，，，，，，，并且不受残弱点云的域影响。。。。。。。如下图所示，，，，，，，一个潜码通过预训练的GAN天生一个完整点云，，，，，，，再通过一个三维降采样模�？？？？镸转化为一个残弱点云，，，，，，，进而与输入的残弱点云盘算损失函数。。。。。。。该框架使用梯度下降的要领反传损失函数来更新潜码并且微调预训练的GAN，，，，，，，从而使天生的完整点云与输入的残弱点云在课间部分最靠近。。。。。。。

图片 1.png

该框架乐成点要害在于怎样应对3D数据固有的特征所带来的挑战：

1. 提高点云匀称度- PatchVariance

念头：差别于2D图片里牢靠的像素位置，，，，，，，3D点云数据具有极其非结构化的特征。。。。。。。因此，，，，，，，GAN天生的点云往往具有很差的匀称度，，，，，，，即点云不可匀称的漫衍在物体外貌上。。。。。。。这种不匀称性可能引起一些朴陋，，，，，，，进而影响点云的完整性。。。。。。。

要领：

我们提出一个新的匀称度损失函数，，，，，，，PatchVariance，，，，，，，用来GAN 预训练阶段提高点云的匀称度：我们在物体外貌上随机选取n个点，，，，，，，使用k邻近形成n个patch，，，，，，，再盘算这n个patch密度的方差作为损失函数。。。。。。。

图片 1.png

以tree-GAN为例，，，，，，，如下图所示，，，，，，，PatchVariance可以有用的提高天生点云的匀称度，，，，，，，从而获得更高质量的点云。。。。。。。

图片 1.png

2. k-Mask – 三维的降采样模�？？？？�

念头：

类比GAN逆映射在2D 图像修复使命中的应用，，，，，，，我们需要一个降采样的mask把天生的完整点云转化成与输入点云对应的残弱点云。。。。。。。然而，，，，，，，点云不规则和无序的特征使得点云补全使命与图像修复有显著区别。。。。。。。在2D 图片修复中，，，，，，，图片之间的像素对应关系显而易见，，，，，，，以是我们可以很容易盘算出可见部分的损失函数。。。。。。。而在点云补全使命中，，，，，，，获得两个点云的之间点的对应关系通常较量难题，，，，，，，由于两个物体的对应区域很有可能处在三维空间中的差别位置，，，，，，，这给三维中的降采样模�？？？？樵鎏砹颂粽健�。。。。。。另外，，，，，，，这种对应关系往往较量模糊，，，，，，，并且因差别点云而异。。。。。。。

要领：

我们因此提出了k-Mask来动态的获得输入的残弱点云和恣意输出的完整点云的对应关系。。。。。。。详细而言，，，，，，，关于残弱点云中的每一个点，，，，，，，我们使用欧几里得距离找到该点在给定完整点云中的k个对应点—来解决点对应关系模糊的问题。。。。。。。由此，，，，，，，残弱点云中所有点的k个对应点的合集就组成了与输入残弱点云对应的输出残弱点云：

如下图所示，，，，，，，比照基于预设阈值的基线要领，，，，，，，如voxel-Mask和 t-mask, k-Mask可以提供准确而鲁棒的三维降采样。。。。。。。

图片 1.png

Part 3 实验效果

ShapeInversion在众多场景下却的了精彩的体现。。。。。。。

首先，，，，，，，在ShapeNet基准上，，，，，，，ShapeInversion优于SOTA无监视要领，，，，，，，并可与用配对数据学习的有监视要领相媲美，，，，，，，如下表所示：

图片 1.png

第二，，，，，，， ShapeInversion在真实天下的数据和多种残破的形式下体现了很好的泛化能力。。。。。。。如下图体现的真实天下下的效果：

图片 1.png

第三，，，，，，，当输入物体太过残破因而爆发不确定性，，，，，，，ShapeInversion可以提供多解，，，，，，，并且包管每个解都合理的反应残破物体的可见部分：

图片 1.png

第四，，，，，，，由于GAN的引入，，，，，，，ShapeInversion 能够很好的实现对已知点云形状的编辑，，，，，，，如下面两图的扰动和差值：

图片 1.png

Part 4 总结

在本文中，，，，，，，我们提供了点云补全的无监视新框架ShapeInversion。。。。。。。该框架能够充分使用预训练中GAN的先验知识，，，，，，，并在多种残弱点云的域，，，，，，，包括真实残弱点云下取得令人知足的效果和泛化能力。。。。。。。由于预训练GAN的加入，，，，，，，ShapeInversion自然地实现了一系列特另外能力，，，，，，，例如为一个歧义的残破输入爆发多个合理的完整点云，，，，，，，以及对给定完整点云的编辑。。。。。。。

Part 5 作者先容

张俊哲，，，，，，，新加坡南洋理工大学 S-Lab 和 MMLab@NTU 三年级博士生。。。。。。。师从吕健勤 (Chen Change Loy) 副教授和 Chai Kiat Yeo 副教授。。。。。。。目今主要研究兴趣包括三维重修和天生，，，，，，，点云补全等。。。。。。。

小我私家主页：https://junzhezhang.github.io/

项目主页

https://junzhezhang.github.io/projects/ShapeInversion/

arXiv

https://arxiv.org/abs/2104.13366

代码地点

https://github.com/junzhezhang/shape-inversion

实验室主页

https://www.mmlab-ntu.com/

接待有兴趣实习/深造的学生关注官网，，，，，，，联系NTU@MMLab~

您尚未完善信息

完善信息后，，，，，，，即可下载资料

完善信息跳过，，，，，，，继续浏览

您尚未登录

您还未登录，，，，，，，登录方可继续

登录跳过，，，，，，，继续浏览

请选择您以为需要刷新的地方：

导航欠好用，，，，，，，不利便找到感兴趣的内容
产品先容信息不敷周全
产品先容信息禁止易懂
页面翻开速率烦懑，，，，，，，页面浏览不流通/有卡顿
页面不敷雅观
售后效劳欠好找，，，，，，，体验欠好

跳过下一个

您是否能够抵达本次网站的会见目的？？？？？

是
否
仍在举行中

下一个

您对商汤官网的知足度怎样？？？？？

很是不知足很是知足

提交

已收到您对商汤官网的评价和建议！

谢谢您的耐心反响~

关闭

产品试用

填写此简朴表格，，，，，，，我们将尽快联系您！

把您的需求发给我们相识所有产品

商务相助

400 900 5986

周一至周五 9:00-12:00，，，，，，，13:00-18:00

business@sensetime.com

相助同伴招募

成为相助同伴