? ? ?

手艺能力

以原创手艺系统为基本，，，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，，，结构多领域、多偏向前沿研究，，，，，，，，快速买通AI在各个笔直场景中的应用，，，，，，，，向行业赋能。。。。。。。。

相识所有案例

商汤研究

商汤研究始终坚持原创，，，，，，，，一直突破立异。。。。。。。。具有人工智能领域深挚的学术积累，，，，，，，，具备健全的人才作育机制，，，，，，，，已与海内外五十余所一流高校和科研院所建设了深度相助关系，，，，，，，，并与众多行业同仁同心共建AI生态圈。。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤大装置AI云 SenseCore

建设高效率、低本钱、规模�；；；；� AI 云基础设施，，，，，，，，打造专业的深度学习平台及算法模子系统，，，，，，，，引领AI立异，，，，，，，，助力工业界及学术界探索 AI 界线。。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤日日新大模子 SenseNova

商汤日日新大模子 SenseNova，，，，，，，，可以提供自然语言处置惩罚、图片天生、自动化数据标注、自界说模子训练等多种大模子及能力。。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

水星智能移动终端平台 SenseME

哈哈(haha)体育SenseME 水星智能移动终端平台提供包括SDK、AI传感器和ISP芯片等全套产品，，，，，，，，能够支持诸多物联网装备，，，，，，，，以增进感知智能和内容增强

申请试用

相识所有案例

相识所有产品效劳

火星混淆现实平台 SenseMARS

SenseMARS平台通过对物理天下的数字重修、虚拟化身和软件智能体，，，，，，，，创立全新的陶醉式和交互式的元宇宙体验

申请试用

相识所有案例

相识所有产品效劳

晶识智能零售平台 SenseGalaxy

基于商汤SKU商品识别大模子，，，，，，，，用AI赋能智能结算、库存盘货、纯净度审核等营业场景并快速拓展至智慧商流与智慧物流领域。。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

焦点手艺: 以原创手艺系统为基本，，，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，，，结构多领域、多偏向前沿研究，，，，，，，，
快速买通AI在各个笔直场景中的应用，，，，，，，，向行业赋能。。。。。。。。

< 返回论文解读

CVPR 2022 Oral | 回归标签不平衡? 试试Balanced MSE

2022-09-14

问题和挑战

标签的不平衡是现实天下中视觉回归里常见的问题，，，，，，，，例如在年岁回归问题中，，，，，，，，可能大部分训练样本都来自于成年人，，，，，，，，老人与儿童的训练样本则相对较少。。。。。。。。常用的Mean Square Error (MSE) 损失函数在少见样本上的体现往往不尽如人意，，，，，，，，因此越来越多的研究最先重视不平衡回归，，，，，，，，大规模评测集也在最近被提出[1]。。。。。。。。相比于已经被普遍研究的不平衡分类，，，，，，，，针对不平衡回归的研究事情相对较少。。。。。。。。较早的研究试图通过天生的要领来增添少见标签的训练样本[2]，，，，，，，，但样本天生在面临图像等高维数据时可行性较低。。。。。。。。最近的研究主要接纳重加权来提高少见标签在训练集中的权重[1]，，，，，，，，但重加权在不平衡分类中已被证实效果有限[3]，，，，，，，，我们也通过实验在不平衡回归上验证了这一点。。。。。。。。因此，，，，，，，，不平衡回归问题还处于一个起步阶段，，，，，，，，现在依然缺少行之有用的要领。。。。。。。。

图1 不平衡回归示例

要领先容

为了填补不平衡回归要领的空缺，，，，，，，，我们提出了Balanced MSE损失函数，，，，，，，，从统计的视角解决标签的不平衡。。。。。。。。

1. 重新思索MSE损失函数

我们首先重新审阅了常用的MSE损失函数，，，，，，，，发明当训练数据不平衡时，，，，，，，，MSE会被标签漫衍所影响而倾向于展望常见的标签。。。。。。。。当测试集是平衡的或权衡指标是平衡的时间，，，，，，，，MSE的这一特点会导致模子在整体标签上的平均体现变差。。。。。。。。我们沿着这个思绪，，，，，，，，使用概率的要领挣脱了不平衡的标签漫衍对MSE的影响。。。。。。。。我们将刷新后的损失函数称作Balanced MSE。。。。。。。。

图2 统计视角下的MSE与Balanced MSE

2. 统一视角下的不平衡分类与回归

着实从统计的视角解决标签不平衡的思绪在不平衡分类中也被深入讨论过，，，，，，，，其中我们在NeurIPS 2020的事情Balanced Softmax [4]在长尾视觉分类上带来了显著的性能提升。。。。。。。。然而由于MSE损失函数的概率意义很少被提及，，，，，，，，这个思绪在不平衡回归问题上是首次被探讨。。。。。。。。不但云云，，，，，，，，我们也通过哈哈(haha)体育两篇事情，，，，，，，，Balanced Softmax与Balanced MSE，，，，，，，，第一次将不平衡分类与不平衡回归融入了统一的框架中讨论。。。。。。。。未来更多的不平衡分类技巧也可通过这个框架被引入不平衡回归的领域中。。。。。。。。

3. 无邪的实现

我们为Balanced MSE中关于标签漫衍的积分盘算提供了无邪的实现方法。。。。。。。。我们提出的实现中既可以使用古板的分段标签漫衍，，，，，，，，也可以使用使用高斯混淆模子拟合的标签漫衍，，，，，，，，甚至可以不依赖任何预先处置惩罚的标签漫衍。。。。。。。。这里我们着重先容不依赖预处置惩罚标签漫衍的实现方法，，，，，，，，我们称为BMC。。。。。。。。BMC从每个训练batch中预计标签漫衍信息，，，，，，，，因此不需要举行任何特另外操作即可替换常用的MSE损失函数。。。。。。。。BMC的形式也十分有趣，，，，，，，，可以等价于将训练batch中对每个标签看作种别举行分类。。。。。。。。其中，，，，，，，，分类的logit由标签与展望之间的L2距离获得，，，，，，，，很是类似自监视学习中使用的contrastive loss。。。。。。。。得益于此，，，，，，，，BMC可以简朴地通太过类中的的交织熵损失函数快速实现。。。。。。。。

图3 Balanced MSE的BMC形式不依赖标签漫衍，，，，，，，，可以通过几行代码快速实现

实验效果

我们在首先使用合成数据集对Balanced MSE举行了实验。。。。。。。。图4 展示了Balanced MSE在差别的标签漫衍下都能获得最靠近真实线性关系的效果，，，，，，，，而重加权要领的体现则随着标签漫衍越来越不平衡变得越来越差。。。。。。。。

图4 Balanced MSE在差别标签漫衍下的一维不平衡回归

图5和图6划分展示了Balanced MSE在多维不平衡回归与非线性不平衡回归中依然能取适目今最好的体现。。。。。。。。

图5 Balanced MSE适用于多维不平衡回归

图6 Balanced MSE适用于一维非线性回归

除此之外，，，，，，，，我们在三个真实数据集上验证了Balanced MSE的效果，，，，，，，，其中包括包括两个一维不平衡回归问题：年岁回归与深度回归，，，，，，，，以及一个我们提出的多维不平衡回归问题：人体mesh预计[5]。。。。。。。。哈哈(haha)体育要领均显著凌驾了目今的最优算法。。。。。。。。图7中可以看到Balanced MSE显著提升了对儿童和老人等少数群体的年岁预计体现。。。。。。。。图8显示Balanced MSE可以有用预计少见的姿态，，，，，，，，能够资助恢复出完整的行动幅度。。。。。。。。

图7 Balanced MSE在不平衡年岁回归数据集上取得的体现提升

图8 在人体mesh预计上体现比照，，，，，，，，左边为基线，，，，，，，，右边为Balanced MSE

结语

我们针对不平衡回归的问题设定，，，，，，，，从统计的视角下重新思索了常用的MSE损失函数，，，，，，，，发明MSE会受到不平衡标签漫衍的影响而做出禁绝确的展望。。。。。。。。为解决这个问题，，，，，，，，我们提出了Balanced MSE损失函数，，，，，，，，并给出了无邪的实现形式，，，，，，，，包括不需要预先盘算标签漫衍的实现。。。。。。。。Balanced MSE在一维与多维的不平衡回归问题上都凌驾了最好的现有要领。。。。。。。。团结我们之前的事情Balanced Softmax，，，，，，，，我们为不平衡分类与回归提供了一个统一的视角，，，，，，，，希望更多的不平衡分类技巧可以借此引入不平衡回归问题中。。。。。。。。

传送门

作者信息

任嘉玮 | 南洋理工大学S-Lab一年级博士生，，，，，，，，导师是Ziwei Liu助理教授，，，，，，，，以一作身份揭晓三篇顶会论文，，，，，，，，曾获得COCO 2019 全景支解挑战冠军。。。。。。。。现在研究兴趣是不平衡学习、3D表征学习和数字人。。。。。。。。

论文地点

http://arxiv.org/pdf/2203.16427

项目地点

https://sites.google.com/view/balanced-mse/home

源码地点

https://github.com/jiawei-ren/BalancedMSE

您尚未完善信息

完善信息后，，，，，，，，即可下载资料

完善信息跳过，，，，，，，，继续浏览

您尚未登录

您还未登录，，，，，，，，登录方可继续

登录跳过，，，，，，，，继续浏览

请选择您以为需要刷新的地方：

导航欠好用，，，，，，，，不利便找到感兴趣的内容
产品先容信息不敷周全
产品先容信息禁止易懂
页面翻开速率烦懑，，，，，，，，页面浏览不流通/有卡顿
页面不敷雅观
售后效劳欠好找，，，，，，，，体验欠好

跳过下一个

您是否能够抵达本次网站的会见目的？？？？？？？？

是
否
仍在举行中

下一个

您对商汤官网的知足度怎样？？？？？？？？

很是不知足很是知足

提交

已收到您对商汤官网的评价和建议！

谢谢您的耐心反响~

关闭

产品试用

填写此简朴表格，，，，，，，，我们将尽快联系您！

把您的需求发给我们相识所有产品

商务相助

400 900 5986

周一至周五 9:00-12:00，，，，，，，，13:00-18:00

business@sensetime.com

相助同伴招募

成为相助同伴