上海人工智能实验室今天对书生大模型进行重要版本升级，书生·浦语3.0（InternLM3）通过精炼数据框架，大幅提升了数据效率，并实现思维密度的跃升。仅使用4T token的预训练数据，即实现主流开源模型18T数据的训练效果，节约训练成本75%以上；同时，书生·浦语3.0首次在通用模型中实现了常规对话与深度思考能力融合，可应对更多真实使用场景。

“尺度定律”之下，大模型除了要突破算力瓶颈，亦面临高质量数据即将“见底”难题。如何通过“通专融合”技术路径实现通用人工智能，正日益成为业内共识。

数据是大模型能力提升的重要“推进剂”。目前主流开源模型多以扩大预训练数据规模作为性能提升路径，预训练数据量普遍接近20T token，训练成本也随之线性增长，同时也引起业内关于数据瓶颈和Scaling Law（尺度定律）可持续性的思考。上海AI实验室研究团队认为，数据质量的提升带来的增益会显著高于数据规模的提升，而数据的“思维密度”（IQPT，Intelligence Quality per Token）是数据质量的核心，即数据的思考过程中蕴含的逻辑性、复杂性、启发性等。为此，团队提出大规模数据精炼框架，大幅提高了训练数据的质量。在具体实践中，书生·浦语3.0通过构建数据“思维密度”杠杆，撬动模型性能提升，为突破Scaling Law带来了新的研究范式。

基于司南OpenCompass开源评测框架，研究团队使用统一可复现的方法，对书生·浦语3.0等模型进行了评测。评测采用了CMMLU、GPQA等十多个权威评测集，维度包括推理、数学、编程、指令跟随、长文本、对话及综合表现等多方面性能。评测结果显示，相比同量级开源模型，书生·浦语3.0在大多数评测集得分领先，综合性能十分接近GPT-4o-mini。

以“通专融合”路径探索通用人工智能，其关键技术之一在于同步提升深度推理与专业泛化能力。本次发布的书生·浦语3.0，首次在通用模型中实现深度思考与常规对话融合，一个模型就能应对更多真实使用场景。由于深度思考和常规对话的数据风格存在较大差异，当前业界普遍针对强推理能力单独构建专用模型。

此前，上海AI实验室亦发布了强推理模型书生 InternThinker，其具备长思维能力，并能在推理过程中进行自我反思和纠正，在数学竞赛评测集上超越了 o1-preview。基于通专融合的技术路线，研究团队探索了不同类型数据的融合训练方案，使得书生·浦语3.0 同时具备常规对话和深度思考能力，通过系统提示词的控制，可以让单一模型在两种模式间的一键切换，让通用模型具备深度思考能力。在进行推理任务时，用户可以将书生·浦语3.0从常规对话模式一键转变成深度思考模式。