哈哈(haha)体育

哈哈体育.(HAHA)十年运营,信誉无忧

返回新闻中心

? ? ?

手艺能力

以原创手艺系统为基本，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，结构多领域、多偏向前沿研究，，，，，，快速买通AI在各个笔直场景中的应用，，，，，，向行业赋能。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤研究

商汤研究始终坚持原创，，，，，，一直突破立异。。。。。。具有人工智能领域深挚的学术积累，，，，，，具备健全的人才作育机制，，，，，，已与海内外五十余所一流高校和科研院所建设了深度相助关系，，，，，，并与众多行业同仁同心共建AI生态圈。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤大装置AI云 SenseCore

建设高效率、低本钱、规�；；；；；� AI 云基础设施，，，，，，打造专业的深度学习平台及算法模子系统，，，，，，引领AI立异，，，，，，助力工业界及学术界探索 AI 界线。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤日日新大模子 SenseNova

商汤日日新大模子 SenseNova，，，，，，可以提供自然语言处置惩罚、图片天生、自动化数据标注、自界说模子训练等多种大模子及能力。。。。。。

申请试用

相识所有案例

相识所有产品效劳

水星智能移动终端平台 SenseME

哈哈(haha)体育SenseME 水星智能移动终端平台提供包括SDK、AI传感器和ISP芯片等全套产品，，，，，，能够支持诸多物联网装备，，，，，，以增进感知智能和内容增强

申请试用

相识所有案例

相识所有产品效劳

火星混淆现实平台 SenseMARS

SenseMARS平台通过对物理天下的数字重修、虚拟化身和软件智能体，，，，，，创立全新的陶醉式和交互式的元宇宙体验

申请试用

相识所有案例

相识所有产品效劳

晶识智能零售平台 SenseGalaxy

基于商汤SKU商品识别大模子，，，，，，用AI赋能智能结算、库存盘货、纯净度审核等营业场景并快速拓展至智慧商流与智慧物流领域。。。。。。

申请试用

相识所有案例

相识所有产品效劳

焦点手艺: 以原创手艺系统为基本，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，结构多领域、多偏向前沿研究，，，，，，
快速买通AI在各个笔直场景中的应用，，，，，，向行业赋能。。。。。。

< 返回论文解读

香港中大-商汤科技团结实验室AAAI任命论文详解：超大规模分类加速算法

2018-02-12

克日，，，，，，香港中大-商汤科技团结实验室的新论文“Accelerated Training for Massive Classification via Dynamic Class Selection”被AAAI 2018任命为Oral Presentation。。。。。。该论文着力于解决超大规模分类问题(过百万类)对模子训练带来的一系列挑战，，，，，，尤其是超大规模Softmax层造成的盘算瓶颈。。。。。。详细而言，，，，，，该论文提出了一种新型的Dynamic Selective Softmax，，，，，，能够以较低的价钱在每次迭代中凭证种别空间的结构动态选择一小部分种别加入盘算，，，，，，在包管精度基本一致的条件下，，，，，，可以很是显著地提升逊з度，，，，，，并大幅度镌汰训练历程所占用的显存。。。。。。本文中我们将详细先容该论文中提出的要领，，，，，，并先容一些可能的后续事情等。。。。。。

值得指出的是，，，，，，这项事情是由商汤科技在都会级人脸识别的场景所驱动。。。。。。而此项事情的效果也反应了在人工智能领域工业应用关于学术立异的主要意义。。。。。。

作者：张行程，，，，，，杨磊，，，，，，闫俊杰，，，，，，林达华

一个现实的问题—人脸识别

随着数据的迅速积累，，，，，，数据的种别数目也在一直增添，，，，，，大规模分类的问题受到越来越普遍的重视，，，，，，人脸识别就是其中一个主要的例子。。。。。。在先前的一些人脸识别的事情中[2]，，，，，，基于分类的训练方法因其简朴且能提供高效监视信息的特点，，，，，，为学界和工业界普遍使用。。。。。。

图1 基于分类要领的人脸识别训练流程

然而，，，，，，如下图所示，，，，，，随着种别数目急剧增添，，，，，，两个现实的问题浮出水面：1)盘算Softmax所需要的盘算量会大大增添，，，，，，使得Softmax的盘算成为制约网络逊з度的瓶颈。。。。。。2)种别数目的增添会导致分类层的参数目大大增添，，，，，，在现在GPU显存有限的情形下，，，，，，会极大制约能够加入分类的种别数目。。。。。。

图2 种别数目增添时

对应的盘算量和显存的转变

针对种别数增添时带来的盘算增添和显存增添的挑战，，，，，，本论文提出了一种全新的选择性Softmax盘算框架，，，，，，我们称之为“基于动态种别选择的Softmax”(Dynamic Selective Softmax)。。。。。。该框架可以显著镌汰训练历程中的盘算量以及显存消耗，，，，，，并且取得近似完整Softmax训练的性能。。。。。。

对两个指标的视察

我们界说了两个指标来资助我们剖析大规模分类的问题。。。。。。第一个指标叫做CP_K，，，，，，即前K累加概率和，，，，，，体现Softmax盘算出的前K大的概率的总和。。。。。。CP_K的值越概略现概率越集中在前K个的种别中。。。。。。

640.webp.jpg

进一步地，，，，，，从Softmax的梯度公式可知，，，，，，除了真实标签之外，，，，，，其它类别的梯度和概率巨细成正比。。。。。。这说明若是概率是集中在前K个种别中，，，，，，那么对应的梯度值也是集中在前K个种别中。。。。。。

因此，，，，，，我们进一步界说了一个指标NCG_K，，，，，，即前K归一化累计梯度。。。。。。这个指标权衡了梯度在前K个种别上的集中水平。。。。。。

凭证界说，，，，，，我们用一个在Ms1MCeleb上训练好的Resnet-101模子，，，，，，画出了NCG_K随着迭代轮数转变的曲线。。。。。。

从上图中我们可以获得几点主要的视察：1)在大都情形下，，，，，，一个样本只容易和一小部分的种别混淆。。。。。。2)当使用Softmax作为损失函数时，，，，，，从这一小部分种别爆发的梯度主导了所有的梯度。。。。。。3)随着训练的举行，，，，，，容易混淆的类别的荟萃会越来越小。。。。。。

图3 Softmax盘算中的“活跃种别”

如图所示，，，，，，这K个概率值最大的种别主导了Softmax盘算，，，，，，我们将其称之为“活跃种别”。。。。。。

选择性Softmax框架

基于上述视察，，，，，，我们提出了一种选择性的Softmax框架。。。。。。该框架引入了一个选择器，，，，，，该选择器通过团结目今特征和分类的权重矩阵，，，，，，能够高效且准确地挑选出分类上能够爆发较强监视信号的“活跃种别”。。。。。。凭证之前的剖析，，，，，，“活跃种别”可以近似提供和所有种别同样有用的监视信息，，，，，，因此，，，，，，关于这占整体种别比例很小的“活跃种别”，，，，，，我们可以使用一些希罕性的操作来加速整体的盘算流程。。。。。。

如下图所示，，，，，，我们将大规模分类所需要的重大的权重矩阵安排于CPU的内存中，，，，，，凭证选择器挑选出的种别，，，，，，可以从这个重大的权重矩阵中挑选出需要的权重向量，，，，，，安排到GPU的显存中。。。。。。当在GPU上盘算出对应的梯度之后，，，，，，再异步地将求出的梯度希罕更新到保存于CPU上的权重矩阵中。。。。。。

图4 选择性Softmax事情流程示意图

To Be or not to be的困局

凭证上文的先容，，，，，，选择性Softmax框架的一大焦点是“活跃种别”的选择器，，，，，，怎样找到一种高效且准确的选择器成为这个盘算框架的要害。。。。。。首先我们研究了两种最为直观的选择器。。。。。。

第一种是随机选择器。。。。。。在每一轮迭代中，，，，，，除了目今训练样本、的种别，，，，，，还会通过随机采样获得其余的种别。。。。。。该随机选择器不依赖于目今样本的特征和分类层权重矩阵的信息，，，，，，险些没有特另外时间开销，，，，，，也由于是随机选取�。。。。。�，，，，没有引入任何特殊信息，，，，，，该要领的性能可以被视为是选择器的性能下界。。。。。。

第二种是最优选择器。。。。。。在每一轮迭代中，，，，，，会凭证目今样本的特征和整个特征矩阵点乘的效果，，，，，，从中选取响应最大的种别，，，，，，用这些种别来作为“活跃种别”。。。。。。这种要领包管了每次选取出来的活跃种别都是最优的，，，，，，可是由于引入了整个权重矩阵加入盘算，，，，，，无法镌汰前传的盘算开销，，，，，，这有悖于我们镌汰盘算量的初志。。。。。。但最优选择器每次都选取了最活跃的种别，，，，，，该要领的性能可以被视为是选择器性能的上界。。。。。。

如图所示，，，，，，随机选择器虽然速率快，，，，，，可是损失了精度;最优选择器虽然包管了精度，，，，，，可是没有镌汰盘算开销。。。。。。这两种选择器都无法知足哈哈(haha)体育设计要求，，，，，，因此，，，，，，我们希望找到一种在速率和精度上都可以取得较好平衡的“活跃种别”选择器。。。。。。

哈希森林选择器

为了有一个速率和精度上可以抵达优异平衡的选择器，，，，，，我们提出了哈希森林选择器。。。。。。我们将从哈希森林的构建和哈希森林的使用两个方面来先容这一算法。。。。。。

关于哈希森林的构建，，，，，，我们首先来看一棵哈希树的构建。。。。。。关于N个种别分类的权重矩阵，，，，，，我们可以将这个权重矩阵看作是N个类别的平均特征向量，，，，，，那么我们就获得了D维空间的N个点。。。。。。首先，，，，，，我们从这N个点中随机选择2个点，，，，，，盘算出距离这两个点距离最大的超平面，，，，，，也即，，，，，，该超平面把这两个点划分在了空间的两侧。。。。。。那么，，，，，，凭证这个盘算出的超平面，，，，，，我们就可以把空间中的其它点分为两部分，，，，，，即在超平面的差别侧。。。。。。这样，，，，，，我们就把空间分成了两个子空间。。。。。。关于每一个子空间，，，，，，我们会重复上面的历程，，，，，，即每次随机选取2个点，，，，，，盘算出超平面临空间举行划分，，，，，，当子空间中点的个数不凌驾B个点时阻止继续划分。。。。。。经由若干次操作后，，，，，，当所有子空间中的点的个数都不凌驾B个点时，，，，，，构建历程竣事。。。。。。若是将每个划分的超平面视为中心节点，，，，，，将最终划分后的效果视为叶子结点，，，，，，那么构建的这个结构就可以被当成是一棵哈希树。。。。。。

从一棵哈希树的构建历程可以看出，，，，，，我们构建哈希树时接纳的是随机算法，，，，，，因此，，，，，，为了消除随机选取带来的不稳固性，，，，，，我们会同时天生L棵哈希树，，，，，，这样就组成了哈希森林。。。。。。

图5 哈希森林的构建

关于哈希森林的使用，，，，，，我们也先来看每棵哈希树对应的操作。。。。。。关于每一颗哈希树，，，，，，树上的中心节点都是一个超平面。。。。。。因此，，，，，，当一个新的特征向量来了之后，，，，，，首先会被根结点的超平面分到左子树或者右子树，，，，，，接着又会被响应子树的根节点继续往下分类，，，，，，直到落入一个叶子结点中。。。。。。那么叶子结点中所包括的种别就被以为是和这个特征向量相似的种别。。。。。。

关于森林中的每一棵树，，，，，，都会重复这个历程，，，，，，最终会获得一个类别的候选荟萃，，，，，，若是候选荟萃中的种别凌驾了我们所需的种别数目，，，，，，我们再通过盘算其余弦距离，，，，，，最终选取余弦距离最小的那些种别作为哈哈(haha)体育“活跃种别”。。。。。。

更好的平衡—动态选择性Softmax

虽然哈希森林的选择器在包管准确率的同时大大提升了哈哈(haha)体育效率，，，，，，但从之前对两个指标的视察中，，，，，，我们可以看到，，，，，，随着训练的举行，，，，，，所需要的活跃种别数越来越少，，，，，，因此我们可以针对选择器中引入的参数做动态调解，，，，，，进一步优化盘算资源的设置。。。。。。

为此，，，，，，我们引入了一个阈值，，，，，，每隔一段时间，，，，，，在验证荟萃上盘算出CP_K(前K概率累加和)，，，，，，我们选取的种别数K恰恰使得算出的CP_K凌驾界说的阈值。。。。。。相比于预先设定好采样种别数，，，，，，这种方法随着训练的举行，，，，，，K的值会越来越小�。。。。。�，，，，也即需要采样的种别数会越来越少，，，，，，这样可以进一步镌汰无用的盘算资源消耗。。。。。。

关于新引入的阈值和另外两个参数，，，，，，树的数目和更新周期。。。。。�；；；；；凇把盗烦跗诙嗍笛椴畋鸬目赡埽�，，，，训练稳固后追求更精准的选择”这一理念，，，，，，我们发明简朴的线性更新的方法就可以取得不错的效果，，，，，，也即：阈值由小到大线性增添，，，，，，树的数目由少线性增多，，，，，，更新周期由大线性减小。。。。。。

实验效果

我们在两个漫衍迥异的人脸识别数据集上来验证选择性Softmax的性能。。。。。。第一个数据集是Ms1M Celeb，，，，，，该数据集包括10万人共1000万张图，，，，，，由于原始的数据集有较量多的噪声，，，，，，我们举行了一些整理，，，，，，现适用于实验的是8.7万人约460万张图。。。。。。第二个数据集是Megaface Challenge 2的训练数据。。。。。。该数据集共有67万人约470万人。。。。。。我们在4个差别的人脸识别标准协议上测试了要领的性能，，，，，，即LFW非受限的人脸验证协议，，，，，，人脸识别协议，，，，，，IJB-A的1:1人脸验证协议以及Megaface的人脸识别协议。。。。。。

在这些差别的协议上，，，，，，哈哈(haha)体育提出的要领有着一致的性能，，，，，，在指数级别地镌汰盘算量的同时，，，，，，可以取得迫近于完整Softmax的性能。。。。。。从表图1中可以看到，，，，，，在取得相同性能的情形下，，，，，，哈希森林的时间开销比最优选择器或者完整的Softmax要小一个数目级;在相同的时间消耗下，，，，，，哈希森林的性能远超其它的一些算法。。。。。。并且可以从图中看到，，，，，，动态的哈希森林可以进一步地提升算法的性能。。。。。。

表图1. 选择性Softmax和其它要领的较量

除了在小模子上的较量实验，，，，，，我们还将Ms1MCeleb和Megaface Challenge 2两个数据荟萃并在一起，，，，，，获得一个75万分类的大数据集，，，，，，用Resnet-101在这个数据集上举行了实验。。。。。。在这个大实验中，，，，，，我们在险些不消耗性能的情形下，，，，，，可以将每轮的训练迭代时间从3.5s缩短为1.5s，，，，，，起到了60%的加速效果。。。。。。并且由于我们将重大的权重参数放到了CPU的内存中，，，，，，我们险些移除了权重矩阵所占用的所有显存。。。。。。从整体网络的显存消耗上看，，，，，，我们可以将显存开销减小24%。。。。。。

表图2. 在Resnet101上举行

75万人脸分类的训练

除了获得更好的性能，，，，，，我们也详细剖析了哈希森林中差别决议因子对最后效果的影响。。。。。。由下图可以获得几个视察：1)不管用何种选择器，，，，，，随着采样种别数目的增添，，，，，，模子的性能都会随之增添。。。。。。2)基于哈希森林的选择器在采样种别数目很小时，，，，，，就可以迫近最优选择器的性能。。。。。。3)关于哈希森林中树的数目不是特殊敏感，，，，，，在凌驾50颗树时性能就趋于稳固。。。。。。4)当哈希森林的更新周期在1个epoch内时，，，，，，对性能的影响不显著，，，，，，若是更新周期凌驾了一个1 epoch，，，，，，可能由于构建哈希森林的权重矩阵信息太过久远而造成整体性能的下降。。。。。。

表图2. 采样种别数对性能的影响

表图3. 树的数目对性能的影响

图表4. 更新周期对性能的影响

思索与最后的话

回首本文的算法，，，，，，我们针对大规模分类时Softmax带来的问题，，，，，，提出了基于动态种别层级选择的算法，，，，，，高效且准确地找到了“活跃种别”，，，，，，并且我们进一步提出了动态分派的计划来进一步充分使用盘算资源。。。。。。在差别测试集上的实验效果，，，，，，充分验证了本文要领的有用性。。。。。。另外，，，，，，除了本文中提出的哈希森林选择器，，，，，，该动态选择性Softmax的盘算框架还可以无邪引入差别的采样算法，，，，，，在现实的使用情形中，，，，，，可以凭证速率和精度的差别需求来选择差别的采样算法。。。。。。在未来，，，，，，我们希望进一步探寻该要领的界线，，，，，，当数据规模再大一个甚至几个量级时，，，，，，会不可阻止地引入更多的噪声。。。。。。当这些噪声抵达无法人工整理的规模时，，，，，，可能会对构建的动态的层级结结构成许多滋扰，，，，，，使得选择器无法准确区分“活跃种别”和“噪声种别”等信息，，，，，，怎样在这种情形下刷新哈哈(haha)体育选择性Softmax是一个值得继续探讨的问题。。。。。。

相关文献：

【1】“Accelerated Training for Massive Classification via Dynamic Class Selection”, Xingcheng Zhang, Lei Yang, Junjie Yan and Dahua Lin, AAAI 2018.

【2】“Deep learning face representation from predicting 10,000 classes”，，，，，， Sun, Yi, Xiaogang Wang, and Xiaoou Tang, CVPR 2014.

Github代码：

https://github.com/yl-1993/hfsoftmax

您尚未完善信息

完善信息后，，，，，，即可下载资料

完善信息跳过，，，，，，继续浏览

您尚未登录

您还未登录，，，，，，登录方可继续

登录跳过，，，，，，继续浏览

请选择您以为需要刷新的地方：

导航欠好用，，，，，，不利便找到感兴趣的内容
产品先容信息不敷周全
产品先容信息禁止易懂
页面翻开速率烦懑，，，，，，页面浏览不流通/有卡顿
页面不敷雅观
售后效劳欠好找，，，，，，体验欠好

跳过下一个

您是否能够抵达本次网站的会见目的？？？？？？

是
否
仍在举行中

下一个

您对商汤官网的知足度怎样？？？？？？

1
2
3
4
5
6
7
8
9
10

很是不知足很是知足

提交

已收到您对商汤官网的评价和建议！

谢谢您的耐心反响~

关闭

产品试用

填写此简朴表格，，，，，，我们将尽快联系您！

把您的需求发给我们相识所有产品

商务相助

400 900 5986

周一至周五 9:00-12:00，，，，，，13:00-18:00

business@sensetime.com

相助同伴招募

成为相助同伴

您还未登录，，，，，，登录方可继续

登录跳过，，，，，，继续浏览

您尚未完善信息

完善信息后，，，，，，即可下载资料

完善信息跳过，，，，，，继续浏览

商务相助

400 900 5986
( 周一至周五 9:00-12:00, 13:00-18:00 )
business@sensetime.com
媒体相同: pr@sensetime.com
投资者关系联络: ir@sensetime.com

社交媒体

微信公众号

【网站地图】【sitemap】