? ? ?

手艺能力

以原创手艺系统为基本，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，结构多领域、多偏向前沿研究，，，，，，快速买通AI在各个笔直场景中的应用，，，，，，向行业赋能。。。。。。。。

相识所有案例

商汤研究

商汤研究始终坚持原创，，，，，，一直突破立异。。。。。。。。具有人工智能领域深挚的学术积累，，，，，，具备健全的人才作育机制，，，，，，已与海内外五十余所一流高校和科研院所建设了深度相助关系，，，，，，并与众多行业同仁同心共建AI生态圈。。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤大装置AI云 SenseCore

建设高效率、低本钱、规模�；；；；；；；� AI 云基础设施，，，，，，打造专业的深度学习平台及算法模子系统，，，，，，引领AI立异，，，，，，助力工业界及学术界探索 AI 界线。。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤日日新大模子 SenseNova

商汤日日新大模子 SenseNova，，，，，，可以提供自然语言处置惩罚、图片天生、自动化数据标注、自界说模子训练等多种大模子及能力。。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

水星智能移动终端平台 SenseME

哈哈(haha)体育SenseME 水星智能移动终端平台提供包括SDK、AI传感器和ISP芯片等全套产品，，，，，，能够支持诸多物联网装备，，，，，，以增进感知智能和内容增强

申请试用

相识所有案例

相识所有产品效劳

火星混淆现实平台 SenseMARS

SenseMARS平台通过对物理天下的数字重修、虚拟化身和软件智能体，，，，，，创立全新的陶醉式和交互式的元宇宙体验

申请试用

相识所有案例

相识所有产品效劳

晶识智能零售平台 SenseGalaxy

基于商汤SKU商品识别大模子，，，，，，用AI赋能智能结算、库存盘货、纯净度审核等营业场景并快速拓展至智慧商流与智慧物流领域。。。。。。。。

申请试用

相识所有案例

相识所有产品效劳

新闻中心

< 返回新闻中心

上海人工智能实验室团结商汤科技与高校配合宣布通用视觉手艺系统“书生”

2021-11-17

11月17日，，，，，，上海人工智能实验室团结商汤科技SenseTime、香港中文大学、上海交通大学配合宣布新一代通用视觉手艺系统“书生”（INTERN），，，，，，该系统旨在系统化解决当下人工智能视觉领域中保存的使命通用、场景泛化和数据效率等一系列瓶颈问题。。。。。。。。现在手艺报告《INTERN: A New Learning Paradigm Towards General Vision》已在arXiv平台宣布（arxiv.org/abs/2111.08687），，，，，，基于“书生”的通用视觉开源平台OpenGVLab也将在明年年头正式开源，，，，，，向学术界和工业界果真预训练模子及其使用范式、数据系统和评测基准等。。。。。。。。OpenGVLab将与上海人工智能实验室此前宣布的OpenMMLab（github.com/open-mmlab）、OpenDILab（github.com/opendilab）一道，，，，，，配合修建开源系统OpenXLab，，，，，，助力通用人工智能的基础研究和生态构建。。。。。。。。

首图-中.png

上海人工智能实验室团结商汤科技、香港中文大学、上海交通大学配合宣布新一代通用视觉手艺系统“书生”（INTERN）

使命通用和数据学习效率是制约目今人工智能生长的焦点瓶颈问题。。。。。。。。凭证相关手艺报告，，，，，，一个“书生”基模子即可周全笼罩分类、目的检测、语义支解、深度预计四大视觉焦点使命。。。。。。。。在ImageNet（www.image-net.org/challenges/LSVRC/index.php）等26个最具代表性的下游场景中，，，，，，书生模子普遍展现了极强的通用性，，，，，，显著提升了这些视觉场景中长尾小样本设定下的性能。。。。。。。。

相较于目今最强开源模子（OpenAI 于2021年宣布的CLIP），，，，，，“书生”在准确率和数据使用效率上均取得大幅提升。。。。。。。。详细而言，，，，，，基于同样的下游场景数据，，，，，，“书生”在分类、目的检测、语义支解及深度预计四大使命26个数据集上的平均过失率划分降低了40.2%、47.3%、34.8%和9.4%。。。。。。。。“书生”在数据效率方面的提升尤为令人瞩目：只需要1/10的下游数据，，，，，，就能凌驾CLIP（openai.com/blog/clip）基于完整下游数据的准确度，，，，，，例如在花卉种类识别FLOWER（www.robots.ox.ac.uk/~vgg/data/flowers/102/index.html）使命上，，，，，，每一类只需两个训练样本，，，，，，就能实现99.7%的准确率。。。。。。。。

随着人工智能赋能工业的一直深入，，，，，，人工智能系统正在从完成简单使命向重大的多使命协同演进，，，，，，其笼罩的场景也越来越多样化。。。。。。。。在自动驾驶、智能制造、智慧都会等众多的长尾场景中，，，，，，数据获取通常难题且腾贵，，，，，，研发通用人工智能模子，，，，，，关于降低数据依赖尤为主要。。。。。。。。而突破“工业应用红线”的模子，，，，，，需知足同时完成多使命、笼罩大宗长尾场景，，，，，，且基于下游小样本数据举行再训练等要求。。。。。。。。上海人工智能实验室、商汤科技、港中文以及上海交大团结推出的“书生”通用视觉手艺系统，，，，，，体现了产学研相助在通用视觉领域的全新探索，，，，，，为走向通用人工智能迈出坚实的一步。。。。。。。。借助“书生”通用视觉手艺系统，，，，，，业界可依附极低的下游数据收罗本钱，，，，，，快速验证多个新场景，，，，，，关于解锁实现人工智能长尾应用具有主要意义。。。。。。。。

“当宿世长通用视觉的焦点，，，，，，是提升模子的通用泛化能力和学习历程中的数据效率。。。。。。。。面向未来，，，，，，‘书生’通用视觉手艺将实现以一个模子完成成百上千种使命，，，，，，系统化解决人工智能生长中数据、泛化、认知和清静等诸多瓶颈问题。。。。。。。。”上海人工智能实验室主任助理乔宇体现。。。。。。。。

商汤科技研究院院长王晓刚体现，，，，，，“‘书生’通用视觉手艺系统是商汤在通用智能手艺生长趋势下前瞻性结构的一次实验，，，，，，也是SenseCore商汤AI大装置配景下的一次新手艺路径探索。。。。。。。。‘书生’承载了让人工智能加入处置惩罚多种重大使命、适用多种场景和模态、有用举行小数据和非监视学习并最终具备靠近人的通用视觉智能的期盼。。。。。。。。希望这套手艺系统能够资助业界更好地探索和应用通用视觉AI手艺，，，，，，增进AI规模�；；；；；；；涞亍�。。。。。。。”

效果图-中.png

书生（INTERN）在分类、目的检测、语义支解、深度预计四大使命26个数据集上，，，，，，基于同样下游场景数据（10%），，，，，，相较于最强开源模子CLIP-R50x16，，，，，，平均过失率降低了40.2%，，，，，，47.3%，，，，，，34.8%，，，，，，9.4%。。。。。。。。同时，，，，，，书生只需要10%的下游数据，，，，，，平均过失率就能周全低于完整（100%）下游数据训练的CLIP。。。。。。。。

蹊径式学习：七大模�？？？？榇蛟烊率忠章肪�

通用图-中.png

书生（INTERN）手艺系统可以让AI模子处置惩罚多样化的视觉使命

通用视觉手艺系统“书生”（INTERN）由七大模�？？？？樽槌桑�，，，，包括通用视觉数据系统、通用视觉网络结构、通用视觉评测基准三个基础设施模�？？？？椋�，，，，以及区分上下游的四个训练阶段模�？？？？椤�。。。。。。。

书生作为中国古代念书人的经典形象，，，，，，代表着一个通过一直学习、一直成上进而拥有各方面才华的人格化角色：从基础的知识手艺学习最先，，，，，，到对多种专业知识闻一知十，，，，，，进而生长为拥有通用知识的通才。。。。。。。。将全新的通用视觉手艺系统命名为“书生”，，，，，，意在体现其犹如书生一样平常的特质，，，，，，可通过一连学习，，，，，，闻一知十，，，，，，逐步实现通用视觉领域的融会意会，，，，，，最终实现无邪高效的模子安排。。。。。。。。

目今的AI系统开发模式下，，，，，，一个AI模子往往只擅优点理一项使命，，，，，，关于新场景、小数据、新使命的通用泛化能力有限，，，，，，导致面临千变万化的使命需求时，，，，，，须自力开发成千上万种AI模子。。。。。。。。同时，，，，，，研究职员每训练一个AI模子，，，，，，都需构建标注数据集举行专项训练，，，，，，并一连举行权重和参数优化。。。。。。。。这种低效的学习训练要领，，，，，，导致人力、时间和资源本钱居高不下，，，，，，无法实现高效的模子安排。。。。。。。。

“书生”的推出能够让业界以更低的本钱获得拥有处置惩罚多种下游使命能力的AI模子，，，，，，并以其强盛的泛化能力支持智慧都会、智慧医疗、自动驾驶等场景中大宗小数据、零数据等样本缺失的细分和长尾场景需求。。。。。。。。

架构图-中.png

通用视觉手艺系统“书生”（INTERN）由七大模�？？？？樽槌桑�，，，，包括3个基础设施模�？？？？椤�4个训练阶段模�？？？？�

一连生长：“四阶段”提升通用泛化

在“书生”（INTERN）的四个训练阶段中，，，，，，前三个阶段位于该手艺链条的上游，，，，，，在模子的表征通用性上发力；；；；；；；；第四个阶段位于下游，，，，，，可用于解决州差别的下游使命。。。。。。。。

第一阶段，，，，，，着力于作育“基础能力”，，，，，，即让其学到普遍的基础知识，，，，，，为后续学习阶段打好基础�。。。。。。。�；；；；；；；第二阶段，，，，，，作育“专家能力”，，，，，，即多个专家模子各自学习某一领域的专业知识，，，，，，让每一个专家模子高度掌握该领域手艺，，，，，，成为专家；；；；；；；；第三阶段，，，，，，作育“通用能力”，，，，，，随着多种能力的融会意会，，，，，，“书生”在各个手艺领域都展现优异水平，，，，，，并具备快速学会新手艺的能力。。。。。。。。

在循序渐进的前三个训练阶段模�？？？？椋�，，，，“书生”在蹊径式的学习历程中具备了高度的通用性。。。。。。。。当进化到第四阶段时，，，，，，系统将具备“迁徙能力”，，，，，，此时“书生”学到的通用知识可以应用在某一个特定领域的差别使命中，，，，，，如智慧都会、智慧医疗、自动驾驶等，，，，，，实现普遍赋能。。。。。。。。

产学研协同：开源共创通用AI生态

作为AI手艺的下一个重大里程碑，，，，，，通用人工智能手艺将带来倾覆性立异，，，，，，实现这一目的需要学术界和工业界的细密协作。。。。。。。。上海人工智能实验室、商汤科技、港中文以及上海交大未来将依托通用视觉手艺系统“书生”（INTERN），，，，，，施展产学研一体化优势，，，，，，为学术研究提供平台支持，，，，，，并周全赋能手艺立异与工业应用。。。。。。。。

明年年头，，，，，，基于“书生”的通用视觉开源生态OpenGVLab将正式开源，，，，，，向学术界和工业界果真预训练模子、使用范式和数据库等，，，，，，而全新建设的通用视觉评测基准也将同步开放，，，，，，推动统一标准上的公正和准确评测。。。。。。。。OpenGVLab将与上海人工智能实验室此前宣布的OpenMMLab、OpenDILab一道，，，，，，配合修建开源系统OpenXLab，，，，，，一连推进通用人工智能的手艺突破和生态构建。。。。。。。。

附：

手艺报告《INTERN: A New Learning Paradigm Towards General Vision》链接：arxiv.org/abs/2111.08687
OpenMMLab开源网址：github.com/open-mmlab
OpenDILab开源网址：github.com/opendilab

您尚未完善信息

完善信息后，，，，，，即可下载资料

完善信息跳过，，，，，，继续浏览

您尚未登录

您还未登录，，，，，，登录方可继续

登录跳过，，，，，，继续浏览

请选择您以为需要刷新的地方：

导航欠好用，，，，，，不利便找到感兴趣的内容
产品先容信息不敷周全
产品先容信息禁止易懂
页面翻开速率烦懑，，，，，，页面浏览不流通/有卡顿
页面不敷雅观
售后效劳欠好找，，，，，，体验欠好

跳过下一个

您是否能够抵达本次网站的会见目的？？？？？

是
否
仍在举行中

下一个

您对商汤官网的知足度怎样？？？？？

很是不知足很是知足

提交

已收到您对商汤官网的评价和建议！

谢谢您的耐心反响~

关闭

产品试用

填写此简朴表格，，，，，，我们将尽快联系您！

把您的需求发给我们相识所有产品

商务相助

400 900 5986

周一至周五 9:00-12:00，，，，，，13:00-18:00

business@sensetime.com

相助同伴招募

成为相助同伴