新闻中心

支持200K超长上下文、一次可读30万汉字，，，，，，，，“书生·浦语”2.0正式开源

2024-01-17

1月17日，，，，，，，，商汤科技与上海AI实验室团结香港中文大学和复旦大学正式宣布新一代大语言模子书?·浦语2.0（InternLM2）。。。。。。。InternLM2 的焦点理念在于回归语言建模的实质，，，，，，，，致力于通过提高语料质量及信息密度，，，，，，，，实现模子基座语言建模能力质的提升，，，，，，，，进而在数理、代码、对话、创作等各方面都取得长足前进，，，，，，，，综合性能抵达开源模子的领先水平。。。。。。。

InternLM2是在2.6万亿token的高质量语料上训练获得的。。。。。。。沿袭第一代书生·浦语（InternLM）的定，，，，，，，，InternLM2包括7B及20B两种参数规格及基座、对话等版本，，，，，，，，知足差别重大应用场景需求，，，，，，，，继续开源，，，，，，，，提供免费商用授权。。。。。。。

开源链接

Github：https://github.com/InternLM/InternLM

HuggingFace：https://huggingface.co/internlm

ModelScope：https://modelscope.cn/organization/Shanghai_AI_Laboratory

回归语言建模实质，，，，，，，，筑牢大模子能力基础

大模子的研究应回归语言建模实质，，，，，，，，大模子各项性能提升的基础在于语言建模能力的增强。。。。。。。为此，，，，，，，，团结团队提出了新一代的数据洗濯过滤手艺，，，，，，，，通过更高质量的语料以及更高的信息密度，，，，，，，，筑牢大模子能力基础。。。。。。。

主要生长了以下几个方面的手艺要领：

多维度数据价值评估：基于文实质量、信息质量、信息密度等维度对数据价值举行综合评估与提升；；；；；；

高质量语料驱动的数据富集：使用高质量语料的特征从物理天下、互联网以及语料库中进一步富集类似语料；；；；；；

针对性的数据补齐：针对性增补语料，，，，，，，，重点增强现实天下知识、数理、代码等焦点能力。。。。。。。

现在，，，，，，，，浦语背后的数据洗濯过滤手艺已履历三轮迭代升级。。。。。。。仅使用约60%的训练数据即可抵达使用第二代数据训练1T tokens的性能体现，，，，，，，，模子训练效率大幅提升。。。。。。。

图1 第三代数据洗濯过滤手艺大幅度提升模子训练效率.png

第三代数据洗濯过滤手艺大幅度提升模子训练效率

基于第三代数据洗濯过滤手艺，，，，，，，，InternLM2语言建模能力实现了显著增强。。。。。。。

图2 与第一代InternLM相比，，，，，，，，InternLM2在大规模高质量的验证语料上的Loss漫衍整体左移，，，，，，，，批注晰其语言建模能力的实质性增强.png

与第一代InternLM相比，，，，，，，，InternLM2在大规模高质量的验证语料上的Loss漫衍整体左移，，，，，，，，批注晰其语言建模能力的实质性增强。。。。。。。

支持200K超长上下文，，，，，，，，“大海捞针”近乎完善

长语境输入及明确能力能够显著拓展大模子应用场景，，，，，，，，好比支持大型文档处置惩罚、重大的推理演算和现实场景的工具挪用等。。。。。。。然而，，，，，，，，大模子有限的上下文长度目今仍是学界及业内面临的主要难题。。。。。。。通过拓展训练窗口巨细和位置编码刷新，，，，，，，，InternLM2支持20万 tokens的上下文，，，，，，，，能够一次性接受并处置惩罚约30万汉字（约五六百页的文档）的输入内容，，，，，，，，准确提取要害信息，，，，，，，，实现长文本中“大海捞针”。。。。。。。

参考业界规范，，，，，，，，研究职员对InternLM2举行了“大海捞针”试验：将要害信息随机插入一段长文本的差别位置并设置问题，，，，，，，，测试模子能否从中提取出要害信息。。。。。。。

图3 InternLM2“大海捞针”试验效果.png

InternLM2“大海捞针”试验效果

上图展示了InternLM2在差别长度的上下文（横轴）及上下文中差别位置（纵轴）上召回要害信息的准确率（Recall）。。。。。。。红色代表较低的召回准确率，，，，，，，，而绿色则代表较高的召回率。。。。。。。试验效果批注，，，，，，，，InternLM2在上下文长度延展到200K时依旧坚持了近乎完善的召回乐成率，，，，，，，，验证了InternLM2关于超长上下文坚实的支持能力。。。。。。。

为测试InternLM2在真实长文本处置惩罚使命中的能力，，，，，，，，研究职员将一份时长3小时的果真聚会录音转录稿输入模子中，，，，，，，，并要求InternLM2从中提取出要害信息。。。。。。。测试效果批注，，，，，，，，只管在未校对的文本中保存较多错别字，，，，，，，，但InternLM2仍从中准确提炼出了要害信息，，，，，，，，并总结了要害讲话人的看法。。。。。。。

图4 InternLM2准确总结“团结国2023年10月2日召开的团结国商业和生长聚会聚会纪录”.png

InternLM2准确总结“团结国2023年10月2日召开的团结国商业和生长聚会聚会纪录”

性能周全提升，，，，，，，，综合领先同量级开源模子

InternLM2的各项能力获得周全前进，，，，，，，，相比于初代InternLM，，，，，，，，在推理、数学、代码等方面的能力提升尤为显著，，，，，，，，综合能力领先于同量级开源模子。。。。。。。

凭证大语言模子的应用方法和用户关注的重点领域，，，，，，，，研究职员界说了语言、知识、推理、数学、代码、考试等六个能力维度，，，，，，，，在55个主流评测集上对多个同量级模子的体现举行了综合评测。。。。。。。评测效果显示，，，，，，，，InternLM2的轻量级及中量级版天性能在同量级模子中体现优异。。。。。。。

图5 InternLM2的轻量级及中量级版天性能在同量级开源模子中体现优异.png

InternLM2的轻量级及中量级版天性能在同量级开源模子中体现优异

下面的表格比照了InternLM2各版本与ChatGPT（GPT-3.5）以及GPT-4在典范评测集上的体现。。。。。。。�？？？？？梢钥吹�，，，，，，，，InternLM2只用20B参数的中等规模，，，，，，，，即在整体体现上抵达了与ChatGPT比肩的水平。。。。。。。其中，，，，，，，，在AGIEval、 BigBench-Hard（BBH）、GSM8K、MATH等对推理能力有较高要求的评测上，，，，，，，，InternLM2体现甚至优于ChatGPT。。。。。。。

图6 InternLM2与ChatGPT的评测效果比照.png

InternLM2与ChatGPT的评测效果比照

与此同时，，，，，，，，综合性能的增强，，，，，，，，带来了下游使命的全方位能力提升。。。。。。。新宣布的InternLM2提供优异的对话及创作体验，，，，，，，，支持多轮使命妄想及工具挪用，，，，，，，，并提供适用的数据剖析能力。。。。。。。

· 对话及创作：更温情、更富想象力

InternLM2不但在客观性能指标上提升显著，，，，，，，，在主观体验上也有显着改善，，，，，，，，可以为用户提供优异的对话和交互体验。。。。。。。研究测试批注，，，，，，，，InternLM2-Chat可以精准地明确和遵照用户意图，，，，，，，，具备较强的共情能力和富厚的结构化创作能力。。。。。。。下面展示几个示例：

示例一：在严酷的名堂要求下体例课程纲要

图7 InternLM2设计的课程纲要精准遵照用户要求（好比名堂、数目、内容等）.png

InternLM2设计的课程纲要精准遵照用户要求（好比名堂、数目、内容等）

示例二：以富有人文眷注的回覆开解用户

图8 InternLM2能够在对话中与用户“共情”.png

InternLM2能够在对话中与用户“共情”

示例三：睁开想象力，，，，，，，，编写《流离地球3》的剧本

图9 InternLM2设计的具备充满富厚的合理想象，，，，，，，，好比外星遗迹、量子纠缠的引入等。。。。。。。同时整个故事体现了人类面临危�；；；；；钡挠缕屯沤峋�.png

InternLM2设计的具备充满富厚的合理想象，，，，，，，，好比外星遗迹、量子纠缠的引入等。。。。。。。同时整个故事体现了人类面临危�；；；；；钡挠缕屯沤峋�。。。。。。。

对话和创立的体验前进的缘故原由，，，，，，，，一方面是基础语言能力的显著增强，，，，，，，，另一方面也得益于微调手艺的提升。。。。。。。InternLM2举行微调的历程使用了经由第三代数据洗濯过滤手艺处置惩罚的指令微调语料，，，，，，，，同时也接纳磷泣强的Online RLHF。。。。。。。研究职员在微调InternLM2的历程中，，，，，，，，对奖励模子和对话模子举行了三轮迭代更新，，，，，，，，每一轮更新均针对前一轮模子的体现更新偏好数据与提醒词。。。。。。。在奖励模子训练（RM）和近端战略优化（PPO）阶段，，，，，，，，研究职员平衡接纳种种提醒词，，，，，，，，不但提高了对话的清静性，，，，，，，，也提升了用户体验。。。。。。。

· 工具挪用：能力升级，，，，，，，，更精准的工具选用，，，，，，，，更可靠的多步妄想

基于更强盛、更具泛化性的指令明确、工具筛选与效果反思等能力，，，，，，，，InternLM2可支持重大智能体的搭建，，，，，，，，支持对工具举行多轮有用挪用及多办法妄想，，，，，，，，完成重大使命。。。。。。。团结团队针对多种使命构建了细粒度工具挪用评测集T-Eval（https://open-compass.github.io/T-Eval），，，，，，，，InternLM2-Chat-7B在该评测集上体现逾越了Claude-2.1和现在的开源模子，，，，，，，，性能靠近GPT-3.5。。。。。。。

图10 InternLM2工具挪用能力周全提升.png

InternLM2工具挪用能力周全提升

通过工具挪用，，，，，，，，使得大语言模子可通过搜索、盘算、代码诠释器等获取知识并处置惩罚更重大的问题，，，，，，，，从而拓展应用界线。。。。。。。研究职员对模子挪用工具流程实验细粒度的拆解和剖析，，，，，，，，针对妄想、推理、工具选择、明确、执行、反思等办法举行了针对性增强和优化。。。。。。。

图11 基于InternLM2通过开源智能体框架 Lagent搭建的用户助手智能体，，，，，，，，能够在一次指令回应中完成地图盘问、蹊径妄想、发邮件等使命.gif

基于InternLM2通过开源智能体框架 Lagent搭建的用户助手智能体，，，，，，，，能够在一次指令回应中完成地图盘问、蹊径妄想、发邮件等使命

· 数理推理：会做题，，，，，，，，还会可视化剖析

数学能力是大模子逻辑头脑和推理能力的主要体现。。。。。。。上海AI实验室对InternLM2的数学能力举行周全提升，，，，，，，，使其抵达目今开源模子的标杆水平。。。。。。。

基于越发科学构建的预训练语料，，，，，，，，InternLM2形成了很强的内生盘算能力。。。。。。。在不依赖盘算器等外部工具的情形下，，，，，，，，在100以内的简朴数学运算上能够做到靠近100%的准确率，，，，，，，，在1000以内抵达80%左右的运算准确率。。。。。。。在GSM8K和MATH评测中，，，，，，，，InternLM2-20B的体现凌驾了ChatGPT（GPT-3.5）。。。。。。。

图12 InternLM2在100以内的简朴数学运算上能够做到靠近100%的准确率.jpeg

InternLM2在100以内的简朴数学运算上能够做到靠近100%的准确率

为应对种种重大盘算，，，，，，，，InternLM2-Chat还可借助代码诠释器（Code-Interpreter）编写代码举行盘算，，，，，，，，或对推理的效果举行形式化验证，，，，，，，，从而解决盘算要求更高或者演算历程越发重大的问题。。。。。。。在典范的数学评测集 GSM8K 和 MATH 上，，，，，，，，配合代码诠释器，，，，，，，，InternLM2取得了更高的评测分数。。。。。。。其中关于难度更高的 MATH 数据集，，，，，，，，InternLM2的盘算精度从 32.5 大幅提升到 51.2，，，，，，，，甚至凌驾了 GPT-4 的体现。。。。。。。

图13 InternLM2与ChatGPT的数学能力评测效果比照.png