哈哈(haha)体育

哈哈体育.(HAHA)十年运营,信誉无忧

返回新闻中心

? ? ?

手艺能力

以原创手艺系统为基本，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，结构多领域、多偏向前沿研究，，，，，，快速买通AI在各个笔直场景中的应用，，，，，，向行业赋能。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤研究

商汤研究始终坚持原创，，，，，，一直突破立异。。。。。。具有人工智能领域深挚的学术积累，，，，，，具备健全的人才作育机制，，，，，，已与海内外五十余所一流高校和科研院所建设了深度相助关系，，，，，，并与众多行业同仁同心共建AI生态圈。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤大装置AI云 SenseCore

建设高效率、低本钱、规模�；；；；；；� AI 云基础设施，，，，，，打造专业的深度学习平台及算法模子系统，，，，，，引领AI立异，，，，，，助力工业界及学术界探索 AI 界线。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤日日新大模子 SenseNova

商汤日日新大模子 SenseNova，，，，，，可以提供自然语言处置惩罚、图片天生、自动化数据标注、自界说模子训练等多种大模子及能力。。。。。。

申请试用

相识所有案例

相识所有产品效劳

水星智能移动终端平台 SenseME

哈哈(haha)体育SenseME 水星智能移动终端平台提供包括SDK、AI传感器和ISP芯片等全套产品，，，，，，能够支持诸多物联网装备，，，，，，以增进感知智能和内容增强

申请试用

相识所有案例

相识所有产品效劳

火星混淆现实平台 SenseMARS

SenseMARS平台通过对物理天下的数字重修、虚拟化身和软件智能体，，，，，，创立全新的陶醉式和交互式的元宇宙体验

申请试用

相识所有案例

相识所有产品效劳

晶识智能零售平台 SenseGalaxy

基于商汤SKU商品识别大模子，，，，，，用AI赋能智能结算、库存盘货、纯净度审核等营业场景并快速拓展至智慧商流与智慧物流领域。。。。。。

申请试用

相识所有案例

相识所有产品效劳

焦点手艺: 以原创手艺系统为基本，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，结构多领域、多偏向前沿研究，，，，，，
快速买通AI在各个笔直场景中的应用，，，，，，向行业赋能。。。。。。

< 返回论文解读

CVPR 2018 | 商汤科技论文详解：基于空间特征调制的图像超区分率

2018-05-27

商汤科技在CVPR 2018揭晓论文44篇，，，，，，录取论文在以下领域实现突破：大规模漫衍式训练、人体明确与行人再识别、自动驾驶场景明确与剖析、底层视觉算法、视觉与自然语言的综合明确、物体检测、识别与跟踪、深度天生式模子、视频与行为明确等。。。。。。

以下是在底层视觉算法领域，，，，，，商汤科技提出的面向天生更自然真实纹理图像的超区分率算法。。。。。。本文为商汤科技CVPR 2018论文解读第3期。。。。。。

论文：Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform

作者：Xintao Wang, Ke Yu, Chao Dong, Chen Change Loy

论文链接：

https://arxiv.org/abs/1804.02815

Project page:

http://mmlab.ie.cuhk.edu.hk/projects/SFTGAN/

简介

单帧图像超区分率旨在基于单张低区分率图像恢复对应的高区分率图像。。。。。。卷积神经网络近年在图像超区分率使命中体现出了优异的重修效果，，，，，，可是恢复出自然而真实的纹理依然是超区分率使命中的一大挑战。。。。。。

怎样恢复出自然而真实的纹理呢?一个有用的方法是思量语义种别先验，，，，，，纵然用图像中差别区域所属的语义种别作为图像超区分率的先验条件，，，，，，好比天空、草地、水、修建、森林、山、植物等。。。。。。差别种别下的纹理拥有各自奇异的特征，，，，，，换句话说，，，，，，语义种别能够更好的约束超区分中统一低区分率图保存多个可能解的情形。。。。。。如图1中展示的修建和植物的例子，，，，，，它们的低区分率图像块很是类似。。。。。。虽然团结天生对抗式网络(GAN)举行超分回复，，，，，，若未思量图像区域的种别先验信息，，，，，，获得的效果虽然增添了纹理细节，，，，，，可是并不切合图像区域自己应该具有的纹理特点。。。。。。

图1：

差别的语义先验对

修建和植物区域图像超区分率的影响

在团结语义种别先验的历程中会遇到两个问题。。。。。。第一个问题是，，，，，，怎样表达语义种别先验，，，，，，特殊是当一个图像中保存多种语义种别时。。。。。。本文选择了语义支解概率图作为先验条件，，，，，，其能提供像素级的图像区域信息，，，，，，每个像素点的概率向量能够更细腻地调控纹理效果。。。。。。第二个问题是，，，，，，怎样有用地将语义先验团结到网络中去。。。。。。本文提出了一种新的空间特征调制层(SFT)，，，，，，它能将特另外图像先验(好比语义支解概率图)有用地团结到网络中去，，，，，，恢复出与所属语义种别特征一致的纹理。。。。。。

最终效果显示(如图2所示)和现有的SRGAN模子以及EnhanceNet模子相比，，，，，，使用空间特征调制层的超区分率网络能够天生越发自然的纹理，，，，，，恢复出的高区分率图像视觉效果更为真实。。。。。。

图2：

在4倍超区分率下，，，，，，

SRCNN、SRGAN、EnhanceNet

和本文提出SFT-GAN算法最终效果的较量

空间特征调制

本文提出的空间特征调制层受到条件BN层的启发，，，，，，可是条件BN层以及其他的特征调制层(好比FiLM)，，，，，，往往忽略了网络提取特征的空间信息，，，，，，即关于统一个特征图的差别位置，，，，，，调制的参数坚持一致。。。。。。可是超区分率等底层视觉使命往往需要思量更多的图像空间信息，，，，，，并在差别的位置举行差别的处置惩罚。。。。。。�；；；；；；谡飧隹捶�，，，，，，本文提出了空间特征调制层，，，，，，其结构如图3所示。。。。。。

图3：

空间特征调制层的结构

空间特征调制层对网络的中心特征举行仿射变换，，，，，，变换的参数由特另外先验条件(如本文中思量的语义支解概率图)经由若干层神经网络变换获得。。。。。。若以F体现网络的特征，，，，，，γ 和 β 划分体现获得的仿射变换的标准清静移参数，，，，，，那么经由空间特征调制层获得的输出特征为：

rghghh.webp.jpg

空间特征调制层可以利便地被集成至现有的超区分率网络，，，，，，如SRResNet等。。。。。。图4是本文中使用的网络结构。。。。。。为了提升算法效率，，，，，，先将语义支解概率图经由一个Condition Network获得共享的中心条件，，，，，，然后把这些条件“广播”至所有的SFT层。。。。。。本文算法模子在网络的训练中，，，，，，同时使用了perceptual loss和adversarial loss，，，，，，被简称为SFT-GAN。。。。。。

实验效果

语义支解效果

如图5所示，，，，，，目今基于深度学习的语义支解网络在低区分率数据集上举行fine-tune后，，，，，，关于大大都场景能够天生较为知足的支解效果。。。。。。

图5：

语义支解效果

SFT-GAN和其他模子的效果较量

图6展示了SFT-GAN模子和其他模子效果的较量，，，，，，可以看到基于GAN的算法模子SRGAN、EnhanceNet以及本文的SFT-GAN在视觉效果上凌驾了以优化PSNR为目的的模子。。。。。。SFT-GAN在纹理的恢复上能够天生比SRGAN和EnhanceNet更自然真实的效果(图中的动物毛发、修建物的砖块、以及水的波纹)。。。。。。

图6：

本文SFT-GAN模子

和现有超区分率模子的效果比照

在举行的人类用户评价中，，，，，，SFT-GAN模子在各个语义种别上也比之前的基于GAN的要领有着显著的提升(如图7所示)。。。。。。

图7：

人类用户评价差别算法效果

其他实验探讨

本文还可视化了语义支解概率图和特征调制层参数的关系。。。。。。图8中展示了修建和草地类别的概率图以及网络中某一层的调制参数的联系。。。。。�？？？？？？？？梢钥吹�，，，，，，调制参数和语义支解概率图有着细密的联系，，，，，，同时在调制参数中差别类别的界线依旧较量清晰。。。。。。

图8：

语义支解概率图和特征调制层参数的联系

现实场景中，，，，，，物体类别的脱离界线通常并不十明确显，，，，，，好比图9中的植物和草的区域，，，，，，它们之间的过渡是“无缝”且一连的，，，，，，而本文中使用的语义支解概率图以及调制层的参数也是一连转变的。。。。。。因此，，，，，，SFT-GAN可以更为细腻地调制纹理的天生。。。。。。

图9：

SFT层能够更为细腻地调制参数

本文还较量了其他团结先验条件的方法：

将图像和获得的语义支解概率图级联起来配合输入;
通过差别的分支处置惩罚差别的场景种别，，，，，，然后使用语义支解概率图融合起来;
不思量空间关系的特征调制要领FiLM。。。。。。

从图10中可以看到：

要领1)的效果没有SFT层有用(SFT-GAN模子中有多个SFT层能将先验条件更为细密地团结);

要领2)的效率不敷高(SFT-GAN只需要举行一次前向运算);

要领3)由于没有空间位置的关系，，，，，，导致差别种别之间的纹理相互滋扰。。。。。。

图10：

差别先验条件团结方法的效果较量

结论

本文深入探讨了怎样使用语义支解概率图作为语义先验来约束超区分率的解空间，，，，，，使天生的图像纹理更切合真实而自然的纹理特征。。。。。。�；；；；；；固岢隽艘恢中掠钡目占涮卣鞯髦撇�(SFT)来有用地将先验条件团结到现有网络中。。。。。�？？？？？？？？占涮卣鞯髦撇憧梢院拖钟械某致释缡褂猛乃鹗Ш�，，，，，，端到端地举行训练。。。。。。测试时，，，，，，整个网络可以接受恣意巨细尺寸的图像作为输入，，，，，，只需要一次前向撒播，，，，，，就能够输出团结语义种别先验的高区分率图像。。。。。。实验效果显示，，，，，，相较于现有超区分率算法，，，，，，本文SFT-GAN模子天生的图像具有越发真实自然的纹理。。。。。。

参考文献

SRGAN: C.Ledig, L.Theis, F.Husz?ar, J.Caballero, A.Cunningham, A.Acosta, A.Aitken, A.Tejani, J.Totz, Z.Wang, et al.Photo-realistic single image super-resolution using a generative adversarial network. In CVPR, 2017.
EnhanceNet: M.S.Sajjadi, B.Scholkopf, and M.Hirsch. EnhanceNet: Single image super-resolution through automated texture synthesis. In ICCV, 2017
FilM: E.Perez, F.Strub, H.de Vries, V.Dumoulin, and A.Courville. FiLM: Visual reasoning with a general conditioning layer. In AAAI 2018.

您尚未完善信息

完善信息后，，，，，，即可下载资料

完善信息跳过，，，，，，继续浏览

您尚未登录

您还未登录，，，，，，登录方可继续

登录跳过，，，，，，继续浏览

请选择您以为需要刷新的地方：

导航欠好用，，，，，，不利便找到感兴趣的内容
产品先容信息不敷周全
产品先容信息禁止易懂
页面翻开速率烦懑，，，，，，页面浏览不流通/有卡顿
页面不敷雅观
售后效劳欠好找，，，，，，体验欠好

跳过下一个

您是否能够抵达本次网站的会见目的？？？？？？？？

是
否
仍在举行中

下一个

您对商汤官网的知足度怎样？？？？？？？？

1
2
3
4
5
6
7
8
9
10

很是不知足很是知足

提交

已收到您对商汤官网的评价和建议！

谢谢您的耐心反响~

关闭

产品试用

填写此简朴表格，，，，，，我们将尽快联系您！

把您的需求发给我们相识所有产品

商务相助

400 900 5986

周一至周五 9:00-12:00，，，，，，13:00-18:00

business@sensetime.com

相助同伴招募

成为相助同伴

您还未登录，，，，，，登录方可继续

登录跳过，，，，，，继续浏览

您尚未完善信息

完善信息后，，，，，，即可下载资料

完善信息跳过，，，，，，继续浏览

商务相助

400 900 5986
( 周一至周五 9:00-12:00, 13:00-18:00 )
business@sensetime.com
媒体相同: pr@sensetime.com
投资者关系联络: ir@sensetime.com

社交媒体

微信公众号

【网站地图】【sitemap】