焦点手艺: 以原创手艺系统为基本，，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，，结构多领域、多偏向前沿研究，，，，，，，
快速买通AI在各个笔直场景中的应用，，，，，，，向行业赋能。。。。。。。

ICLR 2021 | 点云网络也能量化了？？？？？？？北航、商汤、UCSD 提出首个点云二值网络 BiPointNet

2021-08-10

近年来，，，，，，，神经网络量化被视为一种有用的模子压缩和加速手段，，，，，，，受到深度学习研究职员的普遍关注。。。。。。。克日，，，，，，，机械学习顶会 ICLR 2021 吸收论文效果已经正式宣布，，，，，，，至少有 12 项事情展示了神经网络量化偏向的相关希望。。。。。。。本文将先容首个应用二值量化的要领设计的高效点云深度学习模子 BiPointNet，，，，，，，这项研究事情由北京航空航天大学刘祥龙教授团队、商汤新加坡研究团队和加州大学圣迭戈分校配合完成。。。。。。。

随着点云应用的一直演进，，，，，，，用于点云的深度学习模子需要被安排在种种离线边沿场景，，，，，，，如自动驾驶装备和手持移动装备等，，，，，，，这给模子的推理、存储、传输等环节带来了重大挑战。。。。。。。怎样让点云模子在边沿装备上“又轻又快”，，，，，，，是工业界和学术界配合关注的主要问题。。。。。。。

哈哈(haha)体育文章旨在解决边沿装备上运行点云应用时的资源限制问题，，，，，，，并提出了第一个点云深度学习二值化模子 BiPointNet。。。。。。。BiPointNet 的准确率体现险些可以媲美全精度网络，，，，，，，并在边沿装备上带来了14.7 倍的超高加速比和 18.9 倍的存储节约，，，，，，，从模子量化的视角翻开了点云模子硬件安排优化的新思绪。。。。。。。

Part 1 配景及概述

随着深度神经网络模子能够直接处置惩罚原始点云数据，，，，，，，点云学习已经取得了很大的希望。。。。。。。在现实应用场景下，，，，，，，这类网络很是需要实时交互和快速响应，，，，，，，例如自动驾驶和增强现实等。。。。。。。可是，，，，，，，它们的安排情形通常是一些资源受限的边沿装备。。。。。。。只管研究者们已经提出了诸如 Grid-GCN，，，，，，，RandLA-Net 和 PointVoxel 之类的新颖的算法来加速点云网络的处置惩罚，，，，，，，可是它们照旧依赖于腾贵的浮点运算。。。。。。。模子二值化要领受益于轻量的二值化参数和高效的按位操作，，，，，，，已成为最有远景的模子压缩加速要领之一，，，，，，，可是由于 2D 图像和 3D 点云之间的根天性差别，，，，，，，现有的二值化要领无法被直接迁徙到 3D 点云网络中。。。。。。。

在本文中，，，，，，，我们提出了 BiPointNet，，，，，，，将全精度的点云网络转换成高效且准确的二值化模子 (整体框架图见图 1)。。。。。。。我们研究了二值化特征的信息熵和点云聚合函数的体现之间的关系：为相识决聚合后的二值化特征保存同质化的问题，，，，，，，提出了熵最大化聚合函数 (Entropy-Maximizing Aggregation，，，，，，，EMA)；；；；；；；；提出了逐层标准恢复 (Layer-wise Scale Recovery，，，，，，，LSR) 以有用地恢复输出的标准，，，，，，，并使得标准敏感的结构可以正常运作。。。。。。。

图 1: BiPointNet 的整体框架图

哈哈(haha)体育 BiPointNet 首次实现使用二值化点云网络举行深度学习，，，，，，，并极大地逾越了现有的基于 2D 视觉的二值化算法。。。。。。。BiPointNet 的性能体现甚至可以媲美全精度的网络 (准确率相差在 1-2% 以内)，，，，，，，它可以被容易地扩展到其他主流的点云特征提取器上，，，，，，，好比 PointNet++, PointCNN, DGCNN, 和PointConv。。。。。。。BiPointNet 在多种使命上(例如分类、零件支解、语义支解)相较于基线算法都可以取得显着的性能提升。。。。。。。别的，，，，，，，我们在真实装备上对 BiPointNet 举行了现实测试，，，，，，，实现了 14.7 倍的加速和 18.9 倍存储节约。。。。。。。

Part 2 要领

点云非结构化（unstructured）的特征导致多层感知机是网络中最常见的结构，，，，，，，而二值化模子包括的是二值化的多层感知机，，，，，，，能够对轻量级的二值化权重和激活执行高效的位运算操作 (XNOR 和 Bitcount) ：

其中，，，，，，，和代表二值化激活与权重，，，，，，，体现基于位运算的向量内积。。。。。。。

2.2 熵最大化聚合函数

哈哈(haha)体育研究批注，，，，，，，由于严重的同质化征象，，，，，，，聚合函数是二值化的一个性能瓶颈。。。。。。。

理想情形下，，，，，，，二值化张量 B 应该尽可能多地保存原始张量 Y 所包括的信息。。。。。。。而当最大池化层的输入呈随机漫衍时，，，，，，，二值化输出的信息熵随着聚合元素数目n趋近于无限大而趋向于0。。。。。。。由于点的数目通常较大 (如ModelNet40 的分类使命的n为 1024 )，，，，，，，这导致岂论输入池化层的特征怎样，，，，，，，其输出特征总是高度相似的，，，，，，，如图 2 所示。。。。。。。2D 视觉中聚合函数通常用较小的核(ResNet 和 VGG-Net 中使用的池化核)，，，，，，，问题并不严重。。。。。。。因此，，，，，，，我们需要一类能够使 B 的信息熵最大化的聚合函数，，，，，，，以阻止聚合引起的特征同质化问题。。。。。。。

640 (1).png

图 2: 聚合引起的特征同质化问题

我们证实，，，，，，，理论上保存一个漫衍 Y，，，，，，，通过最大化二值张量 B 的信息熵，，，，，，，能够使得 Y 和 B 的互信息最大化，，，，，，，以尽可能地把 Y 中的信息保保存 B 中。。。。。。。唬唬�；；；；；诖宋颐翘岢鯡MA，，，，，，，一类二值化友好的聚合层，，，，，，，它基于全精度神经网络中的聚合函数，，，，，，，并进一步保存了输入经由变换后的熵。。。。。。。EMA 的界说是：

其中体现聚合函数 (例如最大池化清静均池化)，，，，，，，体现变换单位，，，，，，，可以有多种形式，，，，，，，我们发明最简朴的常数偏移已经十分有用。。。。。。。这个偏移将输入举行移位运算以最大化二值化特征 B 的信息熵。。。。。。。BiPointNet 中的变换单位可以被界说为。。。。。。。当体现最大池化时，，，，，，，目的函数的解与无关，，，，，，，从而规避了在点云应用中聚合元素数目 n 过大造成的特征同质化问题。。。。。。。

2.3 One-Scale-Fits-All: 逐层标准恢复

在本节，，，，，，，我们叙述并解决了二值化会导致特征标准失真的问题。。。。。。。

我们发明，，，，，，，当信息熵取到最大值时，，，，，，，输出特征的标准与特征通道数直接相关，，，，，，，因此造成标准的不对理放大，，，，，，，即标准失真。。。。。。。标准失真使得一些为 3D 深度学习设计的对标准较为敏感的结构失效（见图 3），，，，，，，还导致前向撒播时的激活和后向撒播时的梯度趋于饱和。。。。。。。

640 (2).png

图 3: 标准失真

为了恢复输出的标准和调解能力，，，，，，，我们提出在 BiPointNet 的二值线性层中应用 LSR。。。。。。。我们设计了一个可学习的逐层标准恢复因子，，，，，，，并通过二值线性层和全精度的输出之间的标准差来初始化:

其中，，，，，，，体现标准差。。。。。。。并且在训练历程中是可学习的。。。。。。。具有 LSR 的二值线性层的盘算办法如下:

其中，，，，，，，和划分体现 a 和 z 的梯度。。。。。。。通过在 BiPointNet 中应用 LSR，，，，，，，我们缓解了由于二值化导致输出标准失真的问题。。。。。。。

Part 3 实验

哈哈(haha)体育实验批注晰 BiPointNet 在点云学习上的强盛性能，，，，，，，部分设置下甚至媲美全精度模子。。。。。。。

表 1 中效果批注，，，，，，，同时使用EMA和LSR可以显著缩小二值化模子和全精度模子之间的性能差别；；；；；；；；在表 2 中，，，，，，，我们展示了 BiPointNet 优于其他二值化要领；；；；；；；；表 3 展示了在几种主流的点云深度学习模子中取得的提升。。。。。。。

640 (3).png

表 1: BiPointNet 在 ModelNet40 (分类)、

ShapeNet Parts (零件支解)、S3DIS (语义支解) 上的消融实验

表 2: 基于 PointNet 的二值化要领比照

640 (4).png

表 3: 在主流主干网络上应用哈哈(haha)体育要领

为了验证 BiPointNet 在真实天下的边沿设惫亓高效性，，，，，，，我们还将其安排在ARM CPU Cortex-A72 和Cortex-A53 的树莓派上。。。。。。。只管PointNet 已经是现有模子中公认的快速、轻量模子，，，，，，，BiPointNet依然带来了14.7倍的推理加速和18.9倍的存储节约。。。。。。。

640 (5).png

图 5: (a) 耗时比照；；；；；；；；(b) 存储使用比照；；；；；；；；(c) 差别二值化计划速率和准确率的关系散点图

Part 4 总结

我们提出 BiPointNet 作为第一个在点云上实现高效学习的二值化要领。。。。。。。我们为研究二值化对点云学习模子的影响建设理论基础，，，，，，，并提出了 EMA 和 LSR 要领，，，，，，，提升了模子的性能体现。。。。。。。BiPointNet 凌驾了现有的二值化要领，，，，，，，并且能够轻松地扩展到种种使命和主干模子上。。。。。。。同时，，，，，，，它在资源受限的真实装备上实现了 14.7 倍的加速和 18.9 倍的存储节约。。。。。。。哈哈(haha)体育事情证实了模子二值化的重大潜力，，，，，，，希望这个事情能够为未来的研究打下坚实的基础。。。。。。。

Part 5 作者先容

论文配合第一作者秦浩桐，，，，，，，现在在北京航空航天大学攻读博士，，，，，，，主要研究偏向为模子量化压缩与加速、硬件友好的深度学习。。。。。。。

主页：https://htqin.github.io/

论文配合第一作者蔡中昂，，，，，，，现在在新加坡商汤任算法研究员、南洋理工大学博士一年级，，，，，，，主要研究偏向为点云深度学习、虚拟数字人。。。。。。。

google scholar：

https://scholar.google.com/citations?user=WrDKqIAAAAAJ&hl=en

论文配合第一作者张明远，，，，，，，现在在新加坡商汤任算法研究员，，，，，，，主要研究偏向为多模态场景明确、重大场景天生。。。。。。。

google scholar：

https://scholar.google.com/citations?user=2QLD4fAAAAAJ&hl=en

论文第四作者丁一芙，，，，，，，北京航空航天大学大四学生，，，，，，，现在保送北航软件国家开发情形国家重点实验室直博。。。。。。。

Part 6 团队先容

北航刘祥龙教授团队近年来围绕模子低比特量化、二值量化、量化训练等偏向做出了一系列具有立异性和适用性的研究效果，，，，，，，包括国际首个二值化点云模子BiPointNet、可微分软量化DSQ、量化训练、信息保存二值网络IR-Net等，，，，，，，研究论文揭晓在ICLR、CVPR、ICCV等国际顶级聚会和期刊上。。。。。。。

主页：http://sites.nlsde.buaa.edu.cn/~xlliu/

商汤新加坡研究团队作为商汤算法研究能力出海的前哨站，，，，，，，自2020年建设以来，，，，，，，效劳海内外智慧都会、智慧文旅等多个新兴行业。。。。。。。产品研发与前沿研究并重，，，，，，，专注感知、重修与天生，，，，，，，手艺偏向包括场景明确、3D点云、虚拟数字人等。。。。。。。团队在一年内有多篇论文被 NeurIPS、ICLR、CVPR 等国际顶级聚会吸收，，，，，，，并与国际顶尖高校和着名教授告竣研究相助。。。。。。。

聚会论文

https://openreview.net/forum?id=9QLRCVysdlO

项目网址

https://htqin.github.io/Projects/BiPointNet.html

代码地点

https://github.com/htqin/BiPointNet

您尚未完善信息

完善信息后，，，，，，，即可下载资料

完善信息跳过，，，，，，，继续浏览

您尚未登录

您还未登录，，，，，，，登录方可继续

登录跳过，，，，，，，继续浏览

请选择您以为需要刷新的地方：

导航欠好用，，，，，，，不利便找到感兴趣的内容
产品先容信息不敷周全
产品先容信息禁止易懂
页面翻开速率烦懑，，，，，，，页面浏览不流通/有卡顿
页面不敷雅观
售后效劳欠好找，，，，，，，体验欠好

跳过下一个

您是否能够抵达本次网站的会见目的？？？？？？？

是
否
仍在举行中

下一个

您对商汤官网的知足度怎样？？？？？？？

很是不知足很是知足

提交

已收到您对商汤官网的评价和建议！

谢谢您的耐心反响~

关闭

产品试用

填写此简朴表格，，，，，，，我们将尽快联系您！

把您的需求发给我们相识所有产品

商务相助

400 900 5986

周一至周五 9:00-12:00，，，，，，，13:00-18:00

business@sensetime.com

相助同伴招募

成为相助同伴