AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

近期关于 scaling law 的讨论甚嚣尘上，很多观点认为 scale law is dead. 然而，我们认为，高质量的 “无监督” 数据才是 scaling law 的关键，尤其是教科书级别的高质量的知识语料。此外，尽管传统的语料快枯竭了，但是互联网上还有海量的视频并没有被利用起来，它们囊括了丰富的多种模态的知识，可以帮助 VLMs 更好好地理解世界。

浙大和阿里巴巴达摩院联合提出一个图文交织的多模态知识语料：他们收集互联网上超过 22000 课时 (两年半) 的教学视频，提取关键步骤的画面和音频（转录成文本），组织成连贯、图文交织的格式，制作成数学，物理，化学等多个学科的图文教科书 (textbook)。基于这些 textbook，VLMs 可以像人类上课一样学习这些图文交织，由易至难的学科知识。

论文地址: arxiv.org/abs/2501.00958

Code: https://github.com/DAMO-NLP-SG/multimodal_textbook