2024世界人工智能大会于7月4日至7日在上海隆重举行，来自国内外的数百款大模型集体亮相，几十场围绕大模型的主题论坛，让大模型成为2024世界人工智能大会当之无愧的“顶流”。本次大会上，RockAI携Yan1.2多模态大模型亮相，以其无损跑通树莓派的卓越性能和跨模态能力，吸引了参展观众的目光。

大会期间，RockAI CEO刘凡平做客直播间，就大模型与AI机器人这一话题进行了深度交流，他还带来了一款具备高度交互能力的多模态机器人——小智。

刘凡平介绍，“小智”机器人搭载的核心硬件是以低算力著称的树莓派第五代芯片。并且，采用非Transformer架构的Yan1.2多模态大模型能够在此机器人上流畅运行。

刘凡平在现场展示了小智在完全断网和极低算力设备上的强大多模态能力。首先，他向小智传达“你看到了什么”的指令，小智仅用头上一颗30万像素的摄像头就能对环境进行精准感知，并对采访间的环境和人物形象状态进行了具体描述。然后，他又让小智在四步之内完成一首七言绝句，小智也在规定的四步之内流畅完成了诗词创作。最后，刘凡平拿出一本故事书放在小智面前，小智很快反应并对内容进行阅读和总结。

Yan1.2与低算力的“跨域融合”

实现多模态大模型在低算力芯片上并非易事，他认为其中主要有三个难点。其一是将一个原本庞大且复杂的大模型尝试部署到资源受限的环境时，直接运行几乎是不可能的。“早期尝试通过大量的量化裁剪，虽然勉强实现了运行，但效率极低，每秒仅能处理一到两个token，且由于模型的压缩和裁剪，其性能已大幅受损。”刘凡平说道。

为解决此问题，RockAI探索了非传统路径，采用创新的Yan架构。该架构的核心创新在于其内置的仿生神经元驱动选择算法，该算法模拟生物神经系统的工作机制，通过动态激活与任务相关的神经元部分，而非全面激活，从而高效且精准地利用神经元，实现大模型在树莓派上的优化运行。

“第二个难点是确保迁移到树莓派的大模型保持其完整性和自主学习能力。这要求模型在部署过程中避免量化裁剪，因为裁剪会严重损害其再训练能力，甚至使其无法有效学习。因此，我们的目标是实现无损迁移。”刘凡平如是说。为实现这一目标，RockAI对模型进行了全面而细致的优化，包括动态参数量调整等关键要素，以确保模型在保持原有特性的同时，能够适配树莓派的硬件限制。

第三个难点是将复杂的自然语言处理有效地部署到资源受限的树莓派平台上，不仅挑战了自然语言处理的难度，还因多模态特性要求模型能处理多样化的输入，而树莓派上的低算力更是加剧了这一难度，对模型的场景理解和处理能力提出了极高要求。

刘凡平将难点逐一突破的原因归于创新，他将创新划分为三个递进层次：应用型创新、架构创新及基础研究创新。应用型创新作为行业共识，是起步的基石。他表示，RockAI通过架构创新，在大模型领域推出Yan架构大模型，实现了训练效率和吞吐量的显著提升，超越了传统Transformer架构的性能。

据悉，RockAI推出的同步学习理念使模型在推理的同时进行知识更新和学习，无需像云端大模型一样“返厂”进行再次更新或预训练。从而实时、有效且持续性地提升大模型的智能密度，应对各类个性化场景中出现的问题。

刘凡平认为要实现真正的自主学习，基础研究创新是关键。当前AI企业底层技术广泛依赖的反向传播算法，他认为其限制了模型的自主学习能力。因此，RockAI提出了同步学习的创新概念。“同步学习作为一种革命性的进化策略，实现了训练与推理的并行处理，打破了传统训练流程的束缚，缩短了训练周期、降低了成本，为模型面对新知识更新提供了更高效的学习方式。”

最重要的是算法

目前，大模型市场的竞争可以用“百模大战”来形容，有的大模型厂商将发展方向放在卷算力、卷参数，也有AI大模型厂商掀起“降价潮”以抢占市场。

对此，刘凡平表达了他的看法：“在人工智能领域，算力、数据和算法是三大基石，其中最重要的是算法。随着技术进步，算力将会持续增强，但数据未来一定会越来越少，少不是说数据变少了，而是模型依赖的数据会越来越少。”算法的重要性在于其引领了AI发展的每个关键阶段，从感知器到人工神经网络，再到深度学习技术，每次技术飞跃都离不开算法或架构的创新。

他表示，在RockAI的探索中，基础算法与架构的研究至关重要。鉴于当前大模型技术仍有巨大潜力待挖掘，且如比尔·盖茨所言，部分技术已近性能极限，这凸显了在基础算法上寻求突破的重要性。

刘凡平认为当前的首要任务是优化架构和反向传播算法，这两者是AI领域的主要瓶颈。他表示，反向传播算法似乎已趋于成熟，但学术界对该领域目前正持续关注和深入探索。

刘凡平预计，反向传播算法的突破将带来三大变革：算力成本降低、数据使用效率提升以及模型自我学习能力的显著增强。因此，RockAI在过去一年中专注于基础算法研究，“因为我们认识到每个参数所代表的信息量是衡量模型价值的真正标尺。通过优化算法，我们将提升每个参数的信息承载能力，进而推动人工智能技术迈向新的高度。”

机器人落地关键在于大脑

当前人工智能机器人发展迅速并且功能不断完善，但并没有实现大规模商用。对此，刘凡平表示“机器人落地的关键是在于其大脑。”他认为，具身智能机器人价格较高，主要原因是智能能力不够，缺乏实际应用场景，导致销量不佳，形成“智能-场景-销量”的恶性循环。机器人目前运动控制能力较强，但缺乏“大脑”，这是阻碍其广泛落地应用的关键因素。

未来趋势是希望让世界上每一台设备都拥有自己的智能，以提升其适应更多场景的能力，而不仅仅是作为展示品。通过为机器人配备多模态大模型，可显著提升其表达能力和理解能力，使其在教育陪伴等领域具有应用价值。未来若能在更多场景中安装智能大脑，机器人将变得更加聪明和实用，从而促进其更广泛的落地应用。