? ? ?

手艺能力

以原创手艺系统为基本，，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，，结构多领域、多偏向前沿研究，，，，，，，快速买通AI在各个笔直场景中的应用，，，，，，，向行业赋能。。。。。。

相识所有案例

商汤研究

商汤研究始终坚持原创，，，，，，，一直突破立异。。。。。。具有人工智能领域深挚的学术积累，，，，，，，具备健全的人才作育机制，，，，，，，已与海内外五十余所一流高校和科研院所建设了深度相助关系，，，，，，，并与众多行业同仁同心共建AI生态圈。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤大装置AI云 SenseCore

建设高效率、低本钱、规模唬唬唬�；� AI 云基础设施，，，，，，，打造专业的深度学习平台及算法模子系统，，，，，，，引领AI立异，，，，，，，助力工业界及学术界探索 AI 界线。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤日日新大模子 SenseNova

商汤日日新大模子 SenseNova，，，，，，，可以提供自然语言处置惩罚、图片天生、自动化数据标注、自界说模子训练等多种大模子及能力。。。。。。

申请试用

相识所有案例

相识所有产品效劳

水星智能移动终端平台 SenseME

哈哈(haha)体育SenseME 水星智能移动终端平台提供包括SDK、AI传感器和ISP芯片等全套产品，，，，，，，能够支持诸多物联网装备，，，，，，，以增进感知智能和内容增强

申请试用

相识所有案例

相识所有产品效劳

火星混淆现实平台 SenseMARS

SenseMARS平台通过对物理天下的数字重修、虚拟化身和软件智能体，，，，，，，创立全新的陶醉式和交互式的元宇宙体验

申请试用

相识所有案例

相识所有产品效劳

晶识智能零售平台 SenseGalaxy

基于商汤SKU商品识别大模子，，，，，，，用AI赋能智能结算、库存盘货、纯净度审核等营业场景并快速拓展至智慧商流与智慧物流领域。。。。。。

申请试用

相识所有案例

相识所有产品效劳

焦点手艺: 以原创手艺系统为基本，，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，，结构多领域、多偏向前沿研究，，，，，，，
快速买通AI在各个笔直场景中的应用，，，，，，，向行业赋能。。。。。。

< 返回论文解读

CVPR 2023 Award Candidate | 真实高精三维物体数据集OmniObject3D

2023-06-16

配景先容

面向真实 3D 物体的感知、明确、重修与天生是盘算机视觉领域一直倍受关注的问题，，，，，，，也在近年来取得了飞速的希望。。。。。。然而，，，，，，，由于社区中恒久缺乏大规模的实采 3D 物体数据库，，，，，，，大部别离艺要领仍依赖于 ShapeNet[1] 等仿真数据集。。。。。。再者，，，，，，，仿真数据与真实数据之间的外观和漫衍差别重大，，，，，，，这大大限制了它们在现实生涯中的应用。。。。。。

为相识决这一难题，，，，，，，近年来也有一些优异的事情如 CO3D[2] 等从视频/多视角图片中追求突破点，，，，，，，并使用 SfM 的方法重修 3D 点云，，，，，，，然而这种方法获得的点云往往难以提供完整、清洁、精准的 3D 外貌和纹理。。。。。。因此，，，，，，，社区迫切需要一个大规模且高质量的真实天下 3D 物体扫描数据集，，，，，，，这将有助于推进许多3D视觉使命和下游应用。。。。。。

仿真数据与真实扫描数据的比照：仿真数据的纹理和几何往往较量简朴且失真。。。。。。

微信截图_20240913121458.png

多视角图片重修点云与真实扫描数据的比照。。。。。。重修点云往往含有噪声，，，，，，，且无法恢复细腻的外貌与纹理，，，，，，，在没有拍摄到的位置保存大面积朴陋。。。。。。

数据集特点

OmniObject3D 为每一个物体提供了四种模态信息，，，，，，，包括：带纹理的高精模子、点云、多视角渲染图像、实景拍摄的围绕视频。。。。。。关于每个拍摄的视频，，，，，，，我们平均抽取了 200 帧，，，，，，，并提供远景掩码和 SfM 重修的相机位姿和希罕点云。。。。。。

微信截图_20240913121538.png

模态示例

微信截图_20240913121604.png

文件层级

数据集的整体种别内物体数目呈长尾漫衍，，，，，，，与 ImageNet[3]、COCO[4]、LVIS[5] 和 ShapeNet[1] 等热门 2D 及 3D 数据集中的常见种别有高度共享。。。。。。

每个种别内物体数目漫衍图

下游应用

OmniObject3D 为学界带来了普遍的探索空间，，，，，，，在本文中，，，，，，，我们选取了四个下游使命举行评估与剖析。。。。。。

使命一：

点云分类鲁棒性（Point Cloud Classification Robustness）

物体点云分类是 3D 感知中最基本的使命之一。。。。。。在本节中，，，，，，，我们展示了 OmniObject3D 怎样通过解耦 out-of-distribution styles & out-of-distribution corruptions 来实现更周全的点云分类的鲁棒性剖析。。。。。。

OmniObject3D 提供了一个清洁的真实天下物体点云数据集，，，，，，，使得能够针对 OOD styles & OOD corruptions 的鲁棒性举行细粒度剖析。。。。。。

详细来说，，，，，，，1）CAD 模子与真实扫描模子之间的差别引入了 OOD styles；；；；；2）常见点云破损因子爆发了 OOD corruptions。。。。。。

在之前的研究事情中，，，，，，，含噪的真实物体数据集如 ScanObjectNN[6] 将两种情形藕合起来，，，，，，，无法实现解耦剖析；；；；；自动加入破损因子的仿真数据集如 ModelNet-C[7] 则仅仅反应了第二种情形。。。。。。OmniObject3D 则具备将两种情形解耦剖析的要素。。。。。。

我们对十种最常见的点云分类模子举行了测试，，，，，，，并展现了其与 ModelNet-C 数据集中结论的异同。。。。。。在应对这两个挑战时，，，，，，，怎样实现一个真正鲁棒的点云感知模子仍需越发深度的探索。。。。。。

点云分类鲁棒性实验效果

使命二：

新视角合成（Novel View Synthesis）

自 NeRF[8] 提出以来，，，，，，，新视角合成一直是领域内的一个热门偏向。。。。。。

我们在 OmniObject3D 上研究了两种赛道下的新视角合成要领：

1）使用麋集视角图片输入，，，，，，，对简单场景举行优化训练；；；；；

2）挖掘数据集中差别场景之间的先验，，，，，，，探索类 NeRF 模子的泛化能力。。。。。。

首先，，，，，，，关于单场景优化的模子，，，，，，，我们视察到基于体素的要体会越发善于建模高频纹理信息，，，，，，，而基于隐式模子的方规则相对更能对抗外貌凹陷或弱纹理等容易爆发几何歧义的情形。。。。。。

数据集中物体多变而重大的形状和外观为这项使命提供了一个全新的评估基准。。。。。。

多个常见要领的单场景优化效果示例

相关于拟合的单个场景的模子，，，，，，，跨场景可泛化框架在本数据集上的体现则更令人期待。。。。。。网络从许多同种别、甚至跨类别的数据中学习到可以泛化的信息，，，，，，，即可关于一个全新场景的希罕视角输入做出新视角展望。。。。。。

实验批注，，，，，，，作为一个几何和纹理信息富厚的数据集，，，，，，，OmniObject3D 有助于促使模子学到对新物体或甚至新类别的泛化能力。。。。。。

泛化性模子效果示例

使命三：

外貌重修（Surface Reconstruction）

除了新视角合成外，，，，，，，若是能恢复物体的显式外貌，，，，，，，将越发有助于下游应用的开发。。。。。。同时，，，，，，，哈哈(haha)体育数据具备精准且完整的三维外貌，，，，，，，能够充分支持外貌重修精度的评测需要。。。。。。

类似的，，，，，，，我们也为外貌重修使命设置了两条赛道：

1）浓密视角采样下的外貌重修；；；；；

2）希罕视角采样下的外貌重修。。。。。。

浓密视角下外貌重修效果展示了数据集内几何形状的显著多样性。。。。。。精准的扫描使得我们能够使用 Chamfer Distance 作为重修精度的怀抱。。。。。。将种别划分为三个“难度”品级，，，，，，，可以视察到所有要领在差别品级上的效果保存显着的差别。。。。。。

与仅包括 15 个场景的标准 DTU[9] 基准相比，，，，，，，哈哈(haha)体育数据集在这项使命上提供了更周全的评估效果。。。。。。

浓密视角外貌重修示例

希罕视图外貌重修是一个更具挑战性的使命，，，，，，，在所有要领的效果中我们都视察到了显着瑕疵，，，，，，，均未抵达能够知足现实应用的水平。。。。。。

除了专为希罕视角外貌重修设计的要领外，，，，，，，我们还评估了前面提到的泛化性新视角合成模子的几何恢复能力——数据集提供的精准 3D Ground Truth 在评测中再次施展了优势，，，，，，，然而他们的体现同样无执法人知足。。。。。。

综上所述，，，，，，，这个问题的探索空间仍然重大，，，，，，，而 OmniObject3D 为该领域进一步的研究提供了扎实的数据基础。。。。。。

浓密和希罕视角外貌重修效果示例

使命四：

3D 物体天生（3D Object Generation）

除了重修之外，，，，，，，OmniObject3D 还可以用来训练真实 3D 物体的天生模子。。。。。。我们接纳 GET3D[10] 框架同时天生形状和纹理，，，，，，，并实验使用单个模子从数据集中同时学习多种类别的天生。。。。。。

带纹理的3D物体天生

通过在隐空间插值，，，，，，，可以视察到天生模子跨种别转变的特征。。。。。。我们在文章中还着重探讨了由于训练数据不平衡导致的天生语义漫衍失衡特点，，，，，，，详细请参考论文。。。。。。

形状和纹理低维隐码插值效果

未来事情

关于数据集自己，，，，，，，我们会致力于一直扩大和更新数据集以知足更普遍的研究需求。。。。。。除了现有的应用，，，，，，，我们还妄想进一步生长其他下游使命，，，，，，，如2D/3D物体检测和6D姿态预计等。。。。。。除了感知和重修使命外，，，，，，，在AIGC时代，，，，，，，我们信托OmniObject3D能够在推动真实感3D天生方面施展至关主要的作用。。。。。。

传送门

Project page

https://omniobject3d.github.io/

Paper

https://arxiv.org/abs/2301.07525

Github

https://github.com/omniobject3d/OmniObject3D/tree/main

Dataset Download

https://opendatalab.com/OpenXD-OmniObject3D-New/download

References：

[1] Angel X Chang, Thomas Funkhouser, Leonidas Guibas, Pat Hanrahan, Qixing Huang, Zimo Li, Silvio Savarese, Manolis Savva, Shuran Song, Hao Su, et al. Shapenet: An information-rich 3d model repository. arXiv.org, 1512.03012, 2015.

[2] Jeremy Reizenstein, Roman Shapovalov, Philipp Henzler, Luca Sbordone, Patrick Labatut, and David Novotny. Common objects in 3d: Large-scale learning and evaluation of real-life 3d category reconstruction. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pages 10901–10911, 2021.

[3] Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai Li, and Li Fei-Fei. Imagenet: A large-scale hierarchical image database. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 248–255, 2009.

[4] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Doll?ar, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In Proceedings of the European Conference on Computer Vision (ECCV), pages 740–755, 2014.

[5] Agrim Gupta, Piotr Dollar, and Ross Girshick. LVIS: A dataset for large vocabulary instance segmentation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 5356–5364, 2019.

[6] Mikaela Angelina Uy, Quang-Hieu Pham, Binh-Son Hua, Thanh Nguyen, and Sai-Kit Yeung. Revisiting point cloud classification: A new benchmark dataset and classification model on real-world data. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pages 1588–1597, 2019.

[7] Jiawei Ren, Liang Pan, and Ziwei Liu. Benchmarking and analyzing point cloud classification under corruptions. In Proceedings of the International Conference on Machine learning (ICML), 2022.

[8] Ben Mildenhall, Pratul P Srinivasan, Matthew Tancik, Jonathan T Barron, Ravi Ramamoorthi, and Ren Ng. Nerf: Representing scenes as neural radiance fields for view synthesis. In Proceedings of the European Conference on Computer Vision (ECCV), pages 405–421, 2020.

[9] Henrik Aan?s, Rasmus Ramsb?l Jensen, George Vogiatzis, Engin Tola, and Anders Bjorholm Dahl. Large-scale data for multiple-view stereopsis. International Journal of Computer Vision (IJCV), 120(2):153–168, 2016.

[10] Jun Gao, Tianchang Shen, Zian Wang, Wenzheng Chen, Kangxue Yin, Daiqing Li, Or Litany, Zan Gojcic, and Sanja Fidler. Get3d: A generative model of high quality 3d textured shapes learned from images. In Advances in Neural Information Processing Systems (NIPS), 2022.

您尚未完善信息

完善信息后，，，，，，，即可下载资料

完善信息跳过，，，，，，，继续浏览

您尚未登录

您还未登录，，，，，，，登录方可继续

登录跳过，，，，，，，继续浏览

请选择您以为需要刷新的地方：

导航欠好用，，，，，，，不利便找到感兴趣的内容
产品先容信息不敷周全
产品先容信息禁止易懂
页面翻开速率烦懑，，，，，，，页面浏览不流通/有卡顿
页面不敷雅观
售后效劳欠好找，，，，，，，体验欠好

跳过下一个

您是否能够抵达本次网站的会见目的？？？？？？？？

是
否
仍在举行中

下一个

您对商汤官网的知足度怎样？？？？？？？？

很是不知足很是知足

提交

已收到您对商汤官网的评价和建议！

谢谢您的耐心反响~

关闭

产品试用

填写此简朴表格，，，，，，，我们将尽快联系您！

把您的需求发给我们相识所有产品

商务相助

400 900 5986

周一至周五 9:00-12:00，，，，，，，13:00-18:00

business@sensetime.com

相助同伴招募

成为相助同伴