? ? ?

手艺能力

以原创手艺系统为基本，，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，，结构多领域、多偏向前沿研究，，，，，，，快速买通AI在各个笔直场景中的应用，，，，，，，向行业赋能。。。。。

相识所有案例

商汤研究

商汤研究始终坚持原创，，，，，，，一直突破立异。。。。。具有人工智能领域深挚的学术积累，，，，，，，具备健全的人才作育机制，，，，，，，已与海内外五十余所一流高校和科研院所建设了深度相助关系，，，，，，，并与众多行业同仁同心共建AI生态圈。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤大装置AI云 SenseCore

建设高效率、低本钱、规�；；；；；� AI 云基础设施，，，，，，，打造专业的深度学习平台及算法模子系统，，，，，，，引领AI立异，，，，，，，助力工业界及学术界探索 AI 界线。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤日日新大模子 SenseNova

商汤日日新大模子 SenseNova，，，，，，，可以提供自然语言处置惩罚、图片天生、自动化数据标注、自界说模子训练等多种大模子及能力。。。。。

申请试用

相识所有案例

相识所有产品效劳

水星智能移动终端平台 SenseME

哈哈(haha)体育SenseME 水星智能移动终端平台提供包括SDK、AI传感器和ISP芯片等全套产品，，，，，，，能够支持诸多物联网装备，，，，，，，以增进感知智能和内容增强

申请试用

相识所有案例

相识所有产品效劳

火星混淆现实平台 SenseMARS

SenseMARS平台通过对物理天下的数字重修、虚拟化身和软件智能体，，，，，，，创立全新的陶醉式和交互式的元宇宙体验

申请试用

相识所有案例

相识所有产品效劳

晶识智能零售平台 SenseGalaxy

基于商汤SKU商品识别大模子，，，，，，，用AI赋能智能结算、库存盘货、纯净度审核等营业场景并快速拓展至智慧商流与智慧物流领域。。。。。

申请试用

相识所有案例

相识所有产品效劳

新闻中心

< 返回新闻中心

推理速率25fps，，，，，，，首帧延迟3.5s！商汤SekoTalk：让实时语音数字人更近一步

2025-12-10

在数字人手艺蓬勃生长的今天，，，，，，，天生效率仍是行业面临的焦点挑战。。。。。商汤科技依附在天生式 AI 与多模态交互领域的深挚积累，，，，，，，推出了实时语音驱动数字人手艺——SekoTalk。。。。。

通过多方面的立异手艺，，，，，，，SekoTalk显著提升了数字人视频的天生效率，，，，，，，在8卡效劳器上可以抵达25 fps的天生速率，，，，，，，首帧延迟低至3.5s，，，，，，，在业内率先实现了实时天生。。。。。同时，，，，，，，SekoTalk还能支持多人、多语言的口型精准匹配，，，，，，，和超长时的稳固天生。。。。。这一手艺突破了数字人生长的性能瓶颈，，，，，，，为数字人的大规模、实时应用翻开更多可能。。。。。

SekoTalk今年8月上线，，，，，，，应用在商汤Seko、影数字人等产品中，，，，，，，已助力用户创作出数十万部作品，，，，，，，并降生了全网播放量超2000万播放的爆款作品。。。。。

算法系统协同：实现极致性价比突破

天生效率是数字人走向适用化的要害，，，，，，，而实时性又是天生效率的北极星。。。。。SekoTalk通过模子蒸馏，，，，，，，模子结构优化，，，，，，，以及模子与系统的协同设计，，，，，，，在包管天生质量的条件下，，，，，，，实现推理效率的跨越式提升。。。。。

与其它计划相比，，，，，，，SekoTalk展现出卓越的性价比优势：开源模子天生一段5s视频通常凌驾十分钟，，，，，，，商用闭源模子天生5s的视频通常也需1至10分钟不等。。。。。相比之下，，，，，，，SekoTalk在8卡效劳器上可以抵达25 fps的天生速率，，，，，，，即便将SekoTalk与多模态模子相团结，，，，，，，整系一切的首帧延迟也可低至3.5s。。。。。

Phased DMD漫衍匹配蒸馏手艺，，，，，，，无限迫近base模子效果：

以往的扩散模子蒸馏履历发明，，，，，，，扩散模子低步数天生的质量受到等效模子容量的制约。。。。。而主流的SOTA视频天生模子已经证实混淆专家(MoE)手艺在扩散模子领域的重大潜力：不增添推理开销的同时，，，，，，，增大等效模子容量，，，，，，，进而导致更强的性能体现。。。。。

然而，，，，，，，MoE手艺在扩散模子蒸馏中的应用尚未获得探索。。。。。商汤科技团队发明，，，，，，，简朴地将漫衍匹配蒸馏(DMD)应用到MoE模子中，，，，，，，会导致天生视频的运动效果和指令遵照能力下降。。。。。

为相识决这一问题，，，，，，，研究团队提出了Phased DMD手艺，，，，，，，把去噪历程建模为多阶段的MoE模子。。。。。Phased DMD不但原生支持MoE模子，，，，，，，并且关于非MoE的西席模子，，，，，，，该手艺也可以将之蒸馏为MoE学生模子。。。。。

这一手艺显著提升了蒸馏模子天生的动态效果和多样性，，，，，，，使SekoTalk推理开销在降低25倍的情形下，，，，，，，仍坚持西席模子优异的肢体运动效果和情绪体现力。。。。。除了应用于SekoTalk，，，，，，，Phased DMD也对开源社区常用的基模子举行了蒸馏并孝顺回开源社区，，，，，，，相关优势也获得开源社区的认可，，，，，，，进一步证实晰Phased DMD的通用性和有用性。。。。。

LightX2V与模子协同设计，，，，，，，支持低资源安排：

LightX2V是商汤开源的行业首个能够抵达实时视频天生的推理框架。。。。。在模子和系统设计之初，，，，，，，就让它们融入低比特量化感知训练、希罕注重力等原生优化，，，，，，，配合自研“SPARSE+NVFP4+低比特通讯”高效注重力算子，，，，，，，模子训练完成后可直接低资源安排。。。。。

从测试数据来看，，，，，，，在差别GPU硬件情形下，，，，，，，LightX2V均能实现SekoTalk 的高效推理，，，，，，，为差别场景的落地提供无邪支持。。。。。

声形同步：多语言+多人场景口型精准匹配

古板数字人手艺在处置惩罚多语言、多人交互的重大场景时，，，，，，，常泛起口型与语音匹配禁绝的问题。。。。。SekoTalk通过一系列立异设计，，，，，，，实现了从单生齿形到多人互动的高度精准的声形同步。。。。。

多语言高效同步：在2D数字人天生领域，，，，，，，一些事情沿用了早期的wav2vec2系列的预训练语音编码器来驱动角色。。。。。商汤团队凭证在3D数字人语音驱动(UniTalker)中积累的算法履历，，，，，，，发明语音编码器的选择关于数字人驱动效果有极大影响。。。。。

ST1.1.png

为此，，，，，，，研究团队探讨了包括wav2vec2,hubert,wavlm,whisper等多种语音编码器在2D数字人驱动中的性能体现，，，，，，，发明若是沿用wav2vec2系列的语音编码器，，，，，，，纵然是多语言预训练的wav2vec2-large-xlsr-53，，，，，，，在英语口型驱动和多语言泛化性上的定量指标中也落伍其他编码器。。。。。

通详尽致的消融实验，，，，，，，SekoTalk使用了探讨中体现最好的音频编码器，，，，，，，通过规�；；；；；难盗罚�，，，，，，SekoTalk在中英文、多种小语种、一样平常讲话、说唱等场景中上均取得了准确的驱动效果。。。。。

音视频帧率解耦，，，，，，，杜绝细节丧失：主流视频天生模子接纳了“1+4N”时序压缩机制，，，，，，，为实现与与视频帧的严酷同步，，，，，，，SekoTalk对音频处置惩罚分支举行了细腻优化。。。。。它立异地将视频帧率(16-25fps）与语音特征帧率(50fps）解耦，，，，，，，阻止了古板下采样放到带来的口型细节丧失，，，，，，，使得音频可以和恣意帧率的视频在时序上对齐，，，，，，，包管音频与画面的高质量同步。。。。。

可支持中文/法语/日语/葡萄牙语/韩语等多语种语音驱动

多人场景高度可控：借助优异的模子泛化能力和立异的掩码注重力机制(Attention Mask)，，，，，，，SekoTalk可在多人对话场景中，，，，，，，自力、精准地控制每个角色的口型与行动，，，，，，，输出自然流通的群组互动效果，，，，，，，拓展了手艺的适用场景和应用潜力。。。。。

高效能、低本钱的语音�？？？？？椋�类似文生视频中经常借助文本条件的Classifier-Free Guidance(CFG)来提升视频天生质量，，，，，，，在数字人天生领域中，，，，，，，以往事情也借助这一做法，，，，，，，使用语音条件的CFG来提升口型驱动的准确性，，，，，，，然而这相比于单独文本条件天生视频又多出了50%的盘算开销。。。。。另一方面，，，，，，，类似于文本条件的CFG通常陪同着天生画面过饱和的问题，，，，，，，语音条件的CFG在提升口型驱动准确性的同时，，，，，，，通常也带来夸张不自然的人脸画面。。。。。商汤团队以为，，，，，，，通过更好的语音注入�？？？？？榈纳杓疲�，，，，，，可以更实质地解决这一问题。。。。。团结DiT的设计履历，，，，，，，研究团队在语音�？？？？？橹幸惨肓薃daptive Layer Normalization(AdaLN)，，，，，，，并且使用可学习参数的注入方法取代了Linear Projection，，，，，，，在坚持体现力的条件下降低了盘算开销。。。。。经由这些刷新，，，，，，，SekoTalk模子无需借助语音条件的CFG，，，，，，，就可以抵达准确的嘴形驱动。。。。。这一刷新不但降低了盘算开销，，，，，，，同时也阻止了语音条件的CFG带来的口型准确性和脸部画面自然性之间的取舍。。。。。

超长时稳固天生：离别画面漂移与人物偏移

在生生长视频时，，，，，，，画面色彩漂移和人物ID纷歧致，，，，，，，一直是行业的主要挑战。。。。。SekoTalk提出混淆参考图注入等计划，，，，，，，有用平衡行动多样性与画面稳固性。。。。。

混淆参考图注入战略，，，，，，，兼顾“段内稳固”与“段外泛化”：通过在训练阶段随机选择片断内、外的参考图，，，，，，，并辅助标记位指示参考图泉源，，，，，，，使模子同时掌握了“段内稳固”与“段外泛化”两种能力。。。。。在推理时无邪切换，，，，，，，有用兼顾了行动多样性与画面稳固性。。。。。

崎岖语义特征团结注入，，，，，，，加速模子收敛速率：接纳“高语义特征+低语义特征”的双通道注入机制，，，，，，，使用差别层级的语义信息指导模子，，，，，，，这不但增强了人物ID的一致性，，，，，，，还加速了模子的收敛。。。。。

疏散式Patchify编码，，，，，，，高保真条件注入：将加噪视频、参考图、前序帧等差别类型的特征交给自力的Patchify分支处置惩罚，，，，，，，使模子注重力更容易区分并明确多源信息。。。。。这不但增强了长视频天生中的人物一致性，，，，，，，还提升了续写的一连性与稳固性。。。。。

隐空间续写优化效率，，，，，，，包管流通续写：在效率优化上，，，，，，，SekoTalk在时序维度上引入前序帧特征，，，，，，，通过直接取用上一天生片断末尾的隐空间特征，，，，，，，阻止了古板计划中 “解码-再编码”的冗余流程，，，，，，，并团结层级化KV缓存与因果注重力机制，，，，，，，在确保续写稳固性的同时，，，，，，，大幅提升了长视频天生的推理效率。。。。。

SekoTalk的手艺价值已在实践中获得验证。。。。。其在线体验平台作为首个支持2人以上对口型、天生2分钟长视频的免费手艺体验平台，，，，，，，已天生大宗作品，，，，，，，SekoTalk模子也集成进入Seko、如影数字人等产品中使用。。。。。别的，，，，，，，SekoTalk实时版在情绪陪同、在线教育、专业咨询领域的实时交互案例，，，，，，，也展现了其推动数字人走向更自然、智能、实时的未来潜力。。。。。

免费在线体验平台：https://sekotalk.com/

更多创意样例（Project Page）可会见：http://sekotalk.com/showcase/

相关产品链接：https://seko.sensetime.com

手艺交流与相助接待前往 Github：https://github.com/OpenSenseNova/SekoTalk

LightX2V试用: https://github.com/ModelTC/LightX2V

One more thing,

SekoTalk应用到详细AI产品又会碰撞出怎样的火花？？？？？下周一（12月15日）起，，，，，，，商汤科技即将开启“2025商汤产品宣布周”，，，，，，，更多新品尽在商汤视频号~

12月15日-19日，，，，，，，我们天天见！

您尚未完善信息

完善信息后，，，，，，，即可下载资料

完善信息跳过，，，，，，，继续浏览

您尚未登录

您还未登录，，，，，，，登录方可继续

登录跳过，，，，，，，继续浏览

请选择您以为需要刷新的地方：

导航欠好用，，，，，，，不利便找到感兴趣的内容
产品先容信息不敷周全
产品先容信息禁止易懂
页面翻开速率烦懑，，，，，，，页面浏览不流通/有卡顿
页面不敷雅观
售后效劳欠好找，，，，，，，体验欠好

跳过下一个

您是否能够抵达本次网站的会见目的？？？？？

是
否
仍在举行中

下一个

您对商汤官网的知足度怎样？？？？？

很是不知足很是知足

提交

已收到您对商汤官网的评价和建议！

谢谢您的耐心反响~

关闭

产品试用

填写此简朴表格，，，，，，，我们将尽快联系您！

把您的需求发给我们相识所有产品

商务相助

400 900 5986

周一至周五 9:00-12:00，，，，，，，13:00-18:00

business@sensetime.com

相助同伴招募

成为相助同伴