? ? ?

手艺能力

以原创手艺系统为基本，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，结构多领域、多偏向前沿研究，，，，，，快速买通AI在各个笔直场景中的应用，，，，，，向行业赋能。。。。。

相识所有案例

商汤研究

商汤研究始终坚持原创，，，，，，一直突破立异。。。。。具有人工智能领域深挚的学术积累，，，，，，具备健全的人才作育机制，，，，，，已与海内外五十余所一流高校和科研院所建设了深度相助关系，，，，，，并与众多行业同仁同心共建AI生态圈。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤大装置AI云 SenseCore

建设高效率、低本钱、规�；；；；；� AI 云基础设施，，，，，，打造专业的深度学习平台及算法模子系统，，，，，，引领AI立异，，，，，，助力工业界及学术界探索 AI 界线。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤日日新大模子 SenseNova

商汤日日新大模子 SenseNova，，，，，，可以提供自然语言处置惩罚、图片天生、自动化数据标注、自界说模子训练等多种大模子及能力。。。。。

申请试用

相识所有案例

相识所有产品效劳

水星智能移动终端平台 SenseME

哈哈(haha)体育SenseME 水星智能移动终端平台提供包括SDK、AI传感器和ISP芯片等全套产品，，，，，，能够支持诸多物联网装备，，，，，，以增进感知智能和内容增强

申请试用

相识所有案例

相识所有产品效劳

火星混淆现实平台 SenseMARS

SenseMARS平台通过对物理天下的数字重修、虚拟化身和软件智能体，，，，，，创立全新的陶醉式和交互式的元宇宙体验

申请试用

相识所有案例

相识所有产品效劳

晶识智能零售平台 SenseGalaxy

基于商汤SKU商品识别大模子，，，，，，用AI赋能智能结算、库存盘货、纯净度审核等营业场景并快速拓展至智慧商流与智慧物流领域。。。。。

申请试用

相识所有案例

相识所有产品效劳

焦点手艺: 以原创手艺系统为基本，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，结构多领域、多偏向前沿研究，，，，，，
快速买通AI在各个笔直场景中的应用，，，，，，向行业赋能。。。。。

< 返回论文解读

CVPR 2021 Oral｜商汤提出最新深伪评测基准 ForgeryNet：左右互搏——论火眼金睛的修炼

2021-09-14

在CVPR 2021上，，，，，，商汤通用智能通用视觉团队针对现有的人脸深度伪造手艺生长对社会清静方面造成了威胁的征象，，，，，，构建了一个现在维度最大最富厚的果真数据集和评测基准。。。。。在数据规模方面，，，，，，ForgeryNet包括了 290万张图像和221,247个视频，，，，，，15小我私家脸深度伪造操作（其中包括7个图像层面的伪造要领，，，，，，8个视频层面的伪造要领），，，，，，加入了多种扰动（36种以上的扰动）以模拟真实天下中遇到的挑战，，，，，，并包括富厚数据标注以供研究者举行探索（其中包括630万个分类标签，，，，，，290万个伪造空间定位标注和221,247个时序伪造标注）；；；；；在评测要领上，，，，，，提出了四种差别的图片级和视频级评测要领。。。。。我们希望ForgeryNet富厚的数据、标签、质量和多样性能够增进人脸伪造剖析等领域的进一步研究和立异。。。。。

这项研究由商汤通用智能通用视觉团队、北京邮电大学、北京航空航天大学、中国科学手艺大学、南洋理工大学配合完成。。。。。

论文名称：

ForgeryNet: A Versatile Benchmark for Comprehensive Forgery Analysis

Part 1 问题和挑战

逼真的人脸深度伪造手艺，，，，，，尤其是最近的深度学习的DeepFake手艺引起了普遍的社会关注，，，，，，人们担心这些手艺可能被恶意滥用以诱骗性地伪造人脸。。。。�？？？？？？？？⒂糜诿娌课痹炱饰龅目煽恳欤�，，，，，以区分图像和视频是否被使用以及在那里被使用是盘算机视觉中一个主要偏向。。。。。近年来人脸伪造的数据集已经被提出许多，，，，，，可是，，，，，，现有的数据集依然保存有局限性：

1. 数据缺乏：现在的数据集最多包括10万个伪造视频或24万张伪造图片。。。。。ForgeryNet提供了至少12万个伪造视频和上百万的伪造图片。。。。。

2. 多样性缺乏：现在的数据集最多只用了8种面部改动方法和19种后处置惩罚扰动。。。。。ForgeryNet从人脸位姿、心情、光照、场景、人脸巨细等多个维度，，，，，，网络了差别相机收罗、差别区分率的未受控原始数据，，，，，，使用了 15种差别的要领扑面部举行修改，，，，，，并将36种后处置惩罚扰动方法的多种组合应用于天生的视频/图片上。。。。。

3. 性能饱和：现在很基础的深度学习模子，，，，，，就可以在目今数据集上抵达很是好的效果。。。。。这是由于现有的数据集场景较为简朴，，，，，，和真实的场景有差别。。。。。

4. 数据标注和使命多样性缺乏：现有的数据集往往只关注于视频/图片是否被使用的二分类效果中，，，，，，较少提供其他的标注信息。。。。。在这个数据集中，，，，，，我们不但提供了真实和伪造的2分类标签，，，，，，还提供了详细伪造的要领、伪造的空间位置的掩码和时间拼接的标签信息。。。。。同时，，，，，，为了富厚伪造剖析的维度，，，，，，我们还提出了四个伪造剖析的使命，，，，，，划分是图片分类、视频分类、空间定位和时间定位。。。。。

Part 2 数据集富厚的数据和标注

我们从四个数据集中网络角度、心情、身份、照明、场景等种种维度的原始数据。。。。。ForgeryNet 包括了 290 万张图像和221,247个视频，，，，，，15小我私家脸深度伪造操作（其中包括7个图像层面的伪造要领，，，，，，8个视频层面的伪造要领），，，，，，扰动（36种以上的扰动）和数据标注（其中包括630万个分类标签，，，，，，290万个伪造空间定位标注和221,247个时序伪造标注），，，，，，种种伪造的数据漫衍，，，，，，如图2所示。。。。。与种种伪造数据集举行较量，，，，，， ForgeryNet在规模和多样性方面均凌驾任何其他数据集。。。。。它提供视频和图像两种数据，，，，，，伪造数据是通过2大类中的15种使用要领构建的，，，，，，详细的要领将在后面先容。。。。。

图 1 与其他基准的比照

图 2 视频及图片伪造数据漫衍图

Part 3 伪造要领先容

图 3 伪造要领分类

3.1 身份信息保存的伪造方法

图 3（a）中的身份保存伪造要领保存了的身份，，，，，，并且以的对应属性驱动改变了的心情、嘴、头发和姿势等与身份无关的内容。。。。。我们接纳八种伪造要领，，，，，，将其分为两个子类型：

1）通过面部行动重现的使用方法，，，，，，(i,a)保存了其身份，，，，，，可是其固有属性如姿势、嘴巴行动和心情受到了属性源的使用并形成了使用，，，，，，其中指a体现属性。。。。。

2）通过面部编辑的使用方法，，，，，，(i,a)的外下属性爆发了转变，，，，，，例如面部毛发、年岁、性别和种族，，，，，，以获得。。。。。

3.2 身份信息修改的伪造方法

图3（b）中的身份转变的伪造要领将的身份信息替换为的身份信息。。。。。我们接纳了7种伪造要领，，，，，，共分为三种类型：

1）人脸迁徙将身份有关的内容和身份无关的内容（例如心情和姿态）都从转移到。。。。。

2）身份交流仅将s身份从源交流到目的，，，，，，这意味着身份无关的内容由保存。。。。。

3）人脸客栈使用指的是一连对视频/图片举行保立足份和修改身份的使用行为。。。。。

Part 4 伪造的流程

我们划分从换脸、面部编辑、行动重现的三个种别共15种要领对网络的数据举行面部伪造，，，，，，整个天生的办法如图4所示。。。。。

图片 1.png

图 4 图像使用示意图

(a)~(c) ,目的图像始终由体现，，，，，，而面部伪造的驱动源?则有多种条件的名堂，，，，，，如图像、图像序列、草图、人脸五官剖析的掩码、音频、标签，，，，，，甚至是噪声。。。。。我们首先在这一步中对举行裁剪和对齐目的人脸，，，，，，然后将目的人脸和源数据转换为中心体现形式，，，，，，例如 UV 贴图、特征向量、3DMM参数等。。。。。

(d) 通过15种差别的面部伪造要领（它们划分基于编码器-解码器结构、对抗天生网络结构、循环神经网络结构等）对处置惩罚过的脸图举行伪造脸图天生。。。。。

(e-f) 为了获得完整的伪造目的图像，，，，，，将伪造目的人脸重新渲染回目的完整图像，，，，，，以获得。。。。。特殊地，，，，，，1) 可以是如图 4 (e-1) 所示的面部，，，，，，其中包括从眉毛到下巴的区域。。。。。2) 也可以是一个面部界线框，，，，，，如图 4 (e-2,3) 所示，，，，，，凭证差别的伪造程序，，，，，，该界线框与原始目的面部坚持相同的界线框。。。。。

(g) 为了更好地反应现实天下中的数据漫衍，，，，，，我们对伪造数据施加了包括36种类型的摄动扰动。。。。。我们遵照图像和视频质量评估中的通例做法，，，，，，模拟了压缩、传输、捕获、色彩会失真，，，，，，同时还提供了组合两种以上扰动的多重扰动。。。。。

Part 5 评测标准

5.1 伪造图片分类

在给定伪造图像的情形下，，，，，，我们提供了三种类型的伪造标签，，，，，，即用于2分类（真实/伪造），，，，，，3分类（真实，，，，，，使用身份替换伪造要领，，，，，，使用伪造且保立足份的伪造要领）和n分类（n=16，，，，，，真实和15种伪造要领）分类使命。。。。。这些标签使探索差别的伪造类型或要领之间的相关性成为可能。。。。。

在图片分类使命中，，，，，，我们提出了两个评测计划：

计划1：伪造要领内部评估。。。。。在伪造要领内部评估中，，，，，，训练集中的所有真实数据和伪数据都用于训练模子，，，，，，而验证集用于评估。。。。。在 ForgeryNet 中凭证我们提供的标注，，，，，，可以完成伪造的2分类(真/假)、3分类(真/身份信息保存的伪造方法/f身份信息修改的伪造方法)、n分类（n=16, 真和15种伪造要领）。。。。。

计划2：交织伪造要领评估。。。。。为了进一步使用哈哈(haha)体育数据评估训练的泛化能力，，，，，，我们通过使用一种特定类型的操作训练评估的取证要领并与其他类型的测试举行交织伪造评估。。。。。伪造类型可以是某种伪造要领大类（例如，，，，，，替换身份），，，，，，也可以是特定的要领（例如，，，，，，ATVG-Net）。。。。。

我们测试了多种算法基线，，，，，，Acc分数显示，，，，，，随着种别数目的增添，，，，，，分类变得越发难题，，，，，，而mAP指标批注，，，，，，判别能力反而变得更高。。。。。这批注更多的辅助信息可能使取证模子更具区分性。。。。。

图 5 伪造图片分类剖析要领评估效果

图 6 交织伪造要领评估性能表

5.2 伪造空间定位

与分类使命相比，，，，，，空间伪造定位旨在指定伪造区域。。。。。在ForgeryNet中提供了图像及其伪造部分的掩码图用于训练空间定位模子。。。。。

我们在伪造空间定位中评估了直接回归和其他两种支解要领的性能。。。。。在图7(c)中，，，，，，很难检测到稍微的髯毛转变，，，，，，而在图7(d)中，，，，，，现实图像在操作时被误判。。。。。

5.3 伪造视频分类

同伪造图像分类一样，，，，，，我们提供了伪造要领的大类和要领标签。。。。。在ForgeryNet中凭证我们提供的标注，，，，，，可以完成伪造的2/3/n分类和跨伪造要领的泛化性测试。。。。。

5.4 伪造时序定位

图 8 伪造时序定位剖析

关于每个视频，，，，，，要评估的取证要领都有望提供伪造片断的时间界线和响应的置信度值。。。。。目的是天生高质量建议，，，，，，这些建议涵盖具有高时间重叠和召回的使用段，，，，，，我们使用主流的BSN和BMN要领对伪造的时序片断举行定位，，，，，，其性能指标如图8和表所示。。。。。

Part 6 结语

本文提出了一个越发周全的深度伪造剖析基准ForgeryNet，，，，，，为图像和视频水平的人脸伪造剖析。。。。。与现有的人脸伪造数据集相比，，，，，，ForgeryNet数据泉源普遍、伪造要领和质量多样、注释富厚，，，，，，能够增进人脸伪造剖析等领域的进一步研究和立异。。。。。关于未来的事情，，，，，，我们接待有兴趣的研究职员孝顺更多新颖的面部伪造要领，，，，，，或对数据集举行更多的伪造剖析，，，，，，以增进深度伪造领域的生长。。。。。

论文链接

https://arxiv.org/abs/2103.05630

Project

https://yinanhe.github.io/projects/forgerynet.html

您尚未完善信息

完善信息后，，，，，，即可下载资料

完善信息跳过，，，，，，继续浏览

您尚未登录

您还未登录，，，，，，登录方可继续

登录跳过，，，，，，继续浏览

请选择您以为需要刷新的地方：

导航欠好用，，，，，，不利便找到感兴趣的内容
产品先容信息不敷周全
产品先容信息禁止易懂
页面翻开速率烦懑，，，，，，页面浏览不流通/有卡顿
页面不敷雅观
售后效劳欠好找，，，，，，体验欠好

跳过下一个

您是否能够抵达本次网站的会见目的？？？？？？？？

是
否
仍在举行中

下一个

您对商汤官网的知足度怎样？？？？？？？？

很是不知足很是知足

提交

已收到您对商汤官网的评价和建议！

谢谢您的耐心反响~

关闭

产品试用

填写此简朴表格，，，，，，我们将尽快联系您！

把您的需求发给我们相识所有产品

商务相助

400 900 5986

周一至周五 9:00-12:00，，，，，，13:00-18:00

business@sensetime.com

相助同伴招募

成为相助同伴