? ? ?

手艺能力

以原创手艺系统为基本，，，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，，，结构多领域、多偏向前沿研究，，，，，，，，快速买通AI在各个笔直场景中的应用，，，，，，，，向行业赋能。。。。。。。

相识所有案例

商汤研究

商汤研究始终坚持原创，，，，，，，，一直突破立异。。。。。。。具有人工智能领域深挚的学术积累，，，，，，，，具备健全的人才作育机制，，，，，，，，已与海内外五十余所一流高校和科研院所建设了深度相助关系，，，，，，，，并与众多行业同仁同心共建AI生态圈。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤大装置AI云 SenseCore

建设高效率、低本钱、规�；；；；；；；；� AI 云基础设施，，，，，，，，打造专业的深度学习平台及算法模子系统，，，，，，，，引领AI立异，，，，，，，，助力工业界及学术界探索 AI 界线。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤日日新大模子 SenseNova

商汤日日新大模子 SenseNova，，，，，，，，可以提供自然语言处置惩罚、图片天生、自动化数据标注、自界说模子训练等多种大模子及能力。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

水星智能移动终端平台 SenseME

哈哈(haha)体育SenseME 水星智能移动终端平台提供包括SDK、AI传感器和ISP芯片等全套产品，，，，，，，，能够支持诸多物联网装备，，，，，，，，以增进感知智能和内容增强

申请试用

相识所有案例

相识所有产品效劳

火星混淆现实平台 SenseMARS

SenseMARS平台通过对物理天下的数字重修、虚拟化身和软件智能体，，，，，，，，创立全新的陶醉式和交互式的元宇宙体验

申请试用

相识所有案例

相识所有产品效劳

晶识智能零售平台 SenseGalaxy

基于商汤SKU商品识别大模子，，，，，，，，用AI赋能智能结算、库存盘货、纯净度审核等营业场景并快速拓展至智慧商流与智慧物流领域。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

焦点手艺: 以原创手艺系统为基本，，，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，，，结构多领域、多偏向前沿研究，，，，，，，，
快速买通AI在各个笔直场景中的应用，，，，，，，，向行业赋能。。。。。。。

< 返回论文解读

CVPR 2021 Oral | “无招胜有招”？？？？？？北航、耶鲁、商汤提出用于无数据量化的多样化样本天生

2021-08-10

近年来，，，，，，，，量化被视为一种高效适用的神经网络压缩加速要领，，，，，，，，无数据量化要领也最先被应用于数据隐私场景。。。。。。。本文将先容 CVPR 2021 oral 关于无数据量化的最新事情，，，，，，，，一种多样性的数据天生要领 DSG。。。。。。。

相比现有的 SOTA 要领，，，，，，，，DSG 对极低比特量化的性能改善显着，，，，，，，，部分场景下可以媲美甚至逾越使用真实数据的效果。。。。。。。这项研究由北京航空航天大学刘祥龙教授团队、耶鲁大学、商汤研究院工具链团队配合完成。。。。。。。

论文名称：Diversifying Sample Generation for Accurate Data-Free Quantization

图片 1.png

Part 1 配景与概述

近年来，，，，，，，，量化已经成为了一种获取高效神经网络的有用要领。。。。。。。离线量化不需要重新训练或者微调，，，，，，，，作为一种适用而有远景的计划获得了普遍研究。。。。。。。然而，，，，，，，，这种要领仍然需要真实的训练数据去校准量化后的模子。。。。。。。有时这些真实数据例如医疗或用户数据由于隐私或者清静问题难以获得。。。。。。。近期的许多事情提出了无数据的量化要领。。。。。。。

一些事情（如 ZeroQ）用全精度模子的 BN 统计量来天生最拟合BN统计量的合成数据，，，，，，，，解决了对数据的依赖问题。。。。。。。然而，，，，，，，，这些要领天生的数据保存两个显着的同质化问题。。。。。。。

首先是数据漫衍上的同质化征象：由于合成数据是去匹配批标准化(BN）统计量参数，，，，，，，，每层的特征漫衍容易过拟合，，，，，，，，而真实的数据通常具有越发多样的漫衍（见图1(a)）。。。。。。。

其次是样本层面上的同质化征象：合成数据的所有样本都是通过同样的目的函数被优化的，，，，，，，，即直接将网络每层的损失累加来优化所有样本。。。。。。。这样的话，，，，，，，，样本的特征漫衍统计量会趋于中心化但真实数据往往是疏散的（见图1(b)）。。。。。。。

这两个同质化问题导致天生数据的漫衍与真实数据有很大差别，，，，，，，，从而导致了量化模子精度的下降。。。。。。。

图片 1.png

图1.天生数据的两种同质化问题

我们提出了一种多样化的样本天生方法（DSG）来解决上述两个同质化问题，，，，，，，，接纳松懈对齐漫衍（SDA）来松懈对 BN 层参数的约束，，，，，，，，接纳层级样本增强（LSE）来增强特定的天生样本对特定层的约束。。。。。。。DSG 要领适用于种种离线量化要领，，，，，，，，并且可以获得靠近用真实数据校准的模子的性能，，，，，，，，甚至在4bit 上凌驾了真实数据。。。。。。。

图片 1.png

图2.多样化样本天生（DSG）要领

Part 2 要领

Slack Distribution Alignment

我们提出了一种松懈对齐批标准化的数据漫衍的要领（SDA）。。。。。。。我们划分为激活的均值和标准差统计引入松懈量，，，，，，，，以带来富厚的漫衍转变。。。。。。。详细来说，，，，，，，，将松懈常数添加到原始的批标准化统计量损失函数中，，，，，，，，以解决漫衍同质化问题。。。。。。。第i个批标准化层的损失项变为如下形式：

松懈量和允许合成数据的统计量与批标准化层的统计参数之间保存差别。。。。。。。在特定规模内，，，，，，，，合成数据的统计量会在宽松的约束下波动。。。。。。。因此，，，，，，，，合成数据的特征漫衍变得越发多样化。。。。。。。

一个重大的挑战是在不使用真实数据的条件下确定松懈量和的值。。。。。。。真实数据的特征统计量与批标准化统计量参数之间的差别可以作为合理的参考。。。。。。。由于无法获取真实数据，，，，，，，，凭证中心极限制理，，，，，，，，我们可以使用高斯假设作为一个通用的近似值。。。。。。。因此，，，，，，，，我们使用从高斯漫衍中随机采样的合成数据来确定和。。。。。。。

首先，，，，，，，，我们从 μ=0，，，，，，，，σ=1 的高斯漫衍中采样1024个合成样本。。。。。。。然后将合成样本输入模子，，，，，，，，并生涯所有特征统计信息，，，，，，，，即均值和标准差。。。。。。。

然后盘算生涯的统计数据与响应的批标准化层的参数之间的差。。。。。。。接纳差的绝对值的分位点作为和。。。。。。。和的界说如下：

其中，，，，，，，，和是高斯漫衍中采样的合成样本在第i个批标准化层的激活值的均值和标准差。。。。。。。和划分体现和的百分位点。。。。。。。这个在0与1之间的数决议了和的取值，，，，，，，，即决议了合成数据统计量对齐批标准化统计量参数的松懈水平，，，，，，，，当该值较大时，，，，，，，，对合成数据的约束越发松散。。。。。。。

Layerwise Sample Enhancement

为解决样本之间的同质化问题，，，，，，，，我们提出了一种层级样本增强的要领（LSE）。。。。。。。

我们划分设计一个 batch 中每个合成图像的损失函数，，，，，，，，从而增强每个样本关于特定层的损失。。。。。。。详细地说，，，，，，，，关于具有 N 个批标准化层的网络，，，，，，，，我们可以提供 N 个差别的损失项，，，，，，，，并将它们中的每一个应用于特定命据样本。。。。。。。

假设每次天生 N 个图像，，，，，，，，即批巨细设置为 N，，，，，，，，和模子中的批标准化层的个数相同。。。。。。。我们界说= （）作为增强矩阵，，，，，，，，其中I是一个 N 维单位矩阵，，，，，，，，1是 N 维全1列向量，，，，，，，，L 是包括每层损失项的向量。。。。。。。那么该批次的损失函数界说为：

其中L 是 N 维列向量，，，，，，，，其第 i 个元素体现该批次中第 i 个图像的损失函数。。。。。。。因此，，，，，，，，该批次的每个样本被施加了唯一的损失项，，，，，，，，对特定层的损失项举行了增强。。。。。。。关于具有 N 个批标准化层的网络，，，，，，，，该要领可以同时批量天生种种样本，，，，，，，，每种样本在特定层上举行增强。。。。。。。我们可以将 L 替换为，，，，，，，，从而将 SDA 要领与 LSE 要领团结。。。。。。。

如图3所示，，，，，，，，通过上述两个要领，，，，，，，，我们解决了天生样本的同质化问题，，，，，，，，并增强了多样性。。。。。。。

图片 1.png

图3.真实样本和天生样本的激活值统计量漫衍

Part 3 实验

为了验证该多样化样本天生要领在差别网络架构，，，，，，，，数据集和差别量化位宽上的效果，，，，，，，，我们在 ImageNet 数据集上使用种种模子与离线量化计划举行了实验。。。。。。。

表1中效果批注，，，，，，，，在 ResNet-18 和 ResNet-50 上，，，，，，，，DSG 在种种比特设置下优于 ZeroQ，，，，，，，，尤其是在较低比特下。。。。。。。在某些设置下，，，，，，，，甚至取得了凌驾真实数据的效果。。。。。。。

表1.在ResNet-18（a）和ResNet-50（b）上的比照实验

表2效果批注，，，，，，，，接纳种种离线校准要领时，，，，，，，，DSG 相比 ZeroQ 有一致的性能提升。。。。。。。

表2.ResNet-18上接纳差别离线校准要领的实验

为了进一步验证 DSG 的有用性，，，，，，，，我们验证了使用最先进的离线量化要领（AdaRound）时的性能，，，，，，，，如表3所示。。。。。。。实验中，，，，，，，，我们也使用了 Label 以及 Image Prior 要领。。。。。。。效果批注，，，，，，，，DSG 依然带来了性能上的提升。。。。。。。

表3.在ResNet-18上使用AdaRound的实验

Part 4 总结

本文展示了一种新颖的用于准确无数据量化的样本天生要领 DSG，，，，，，，，该计划针对合成样本在漫衍和样本层面上的的同质化问题举行了剖析，，，，，，，，提出了松懈对齐批标准化层漫衍 SDA 和层级样本增强 LSE 两个要领，，，，，，，，配合增强了天生数据的多样性。。。。。。。

事实批注，，，，，，，，DSG 在种种网络训练架构和种种离线量化要领中体现精彩，，，，，，，，尤其在超低位宽条件下，，，，，，，，效果大大优于现有手艺。。。。。。。哈哈(haha)体育事情展现了现有无数据量化要领中普遍保存的问题，，，，，，，，希望能为未来的研究带来启发。。。。。。。

Part 5 作者先容

论文配合第一作者张祥国，，，，，，，，北京航空航天大学硕士二年级，，，，，，，，主要研究偏向为模子量化压缩与加速、硬件友好的深度学习，，，，，，，，以第一作者揭晓盘算机视觉顶级聚会（CVPR）一篇。。。。。。。论文配合第一作者秦浩桐，，，，，，，，北京航空航天大学博士二年级，，，，，，，，主要研究偏向为模子量化压缩与加速、硬件友好的深度学习。。。。。。。以第一作者揭晓顶级聚会、期刊（ICLR，，，，，，，，CVPR，，，，，，，，PR）共4篇。。。。。。。小我私家主页：https://htqin.github.io/

团队信息

北航刘祥龙教授团队近年来围绕模子低比特量化、二值量化、量化训练等偏向做出了一系列具有立异性和适用性的研究效果，，，，，，，，包括国际首个二值化点云模子 BiPointNet、可微分软量化 DSQ、量化训练、信息保存二值网络 IR-Net 等，，，，，，，，研究论文揭晓在 ICLR、CVPR、ICCV 等国际顶级聚会和期刊上。。。。。。。主页：http://sites.nlsde.buaa.edu.cn/~xlliu/

论文链接

https://arxiv.org/abs/2103.01049

您尚未完善信息

完善信息后，，，，，，，，即可下载资料

完善信息跳过，，，，，，，，继续浏览

您尚未登录

您还未登录，，，，，，，，登录方可继续

登录跳过，，，，，，，，继续浏览

请选择您以为需要刷新的地方：

导航欠好用，，，，，，，，不利便找到感兴趣的内容
产品先容信息不敷周全
产品先容信息禁止易懂
页面翻开速率烦懑，，，，，，，，页面浏览不流通/有卡顿
页面不敷雅观
售后效劳欠好找，，，，，，，，体验欠好

跳过下一个

您是否能够抵达本次网站的会见目的？？？？？？

是
否
仍在举行中

下一个

您对商汤官网的知足度怎样？？？？？？

很是不知足很是知足

提交

已收到您对商汤官网的评价和建议！

谢谢您的耐心反响~

关闭

产品试用

填写此简朴表格，，，，，，，，我们将尽快联系您！

把您的需求发给我们相识所有产品

商务相助

400 900 5986

周一至周五 9:00-12:00，，，，，，，，13:00-18:00

business@sensetime.com

相助同伴招募

成为相助同伴