首页 > AI资讯 > 最新资讯 > 北京大学发布EAGLE大模型推理效率无损提升3倍

北京大学发布EAGLE大模型推理效率无损提升3倍

新火种    2023-12-21

要点:

EAGLE由滑铁卢大学、加拿大向量研究院、北京大学等机构联合发布,将大模型推理效率提升3倍。

EAGLE采用外推大语言模型的第二顶层特征向量的方法,相较于普通自回归解码,其推理速度提升明显,比普通自回归解码快3倍,比Lookahead解码快2倍,比Medusa解码快1.6倍。

EAGLE使用投机采样方法,通过轻量级的自回归头和冻结的分类头相结合,利用大语言模型提取的上下文特征进行外推,从而更高效地生成文本。

站长之家12月14日 消息:近年来,大语言模型在各领域应用广泛,但其文本生成过程昂贵且缓慢。为解决这一问题,滑铁卢大学、加拿大向量研究院、北京大学等机构联合发布了EAGLE。EAGLE的目标是提升大语言模型的推理速度,同时确保输出文本的分布一致性。通过外推大语言模型的第二顶层特征向量,EAGLE成功实现了大模型推理效率的无损提升,比普通自回归解码快3倍,比Lookahead解码快2倍,比Medusa解码快1.6倍。

image.png

为了加速自回归解码,EAGLE采用了投机采样方法,使用一个轻量级的自回归头和冻结的分类头相结合。与传统投机采样方法不同,EAGLE的输入包括了抽样结果的词嵌入,使得输入和输出之间更具一致性。这种创新的方法有效地处理了抽样过程中的随机性,提高了生成文本的准确性。

EAGLE的工作原理基于特征向量的可压缩性,通过训练一个轻量级插件,即自回归头,从原始模型的第二顶层预测下一个特征,然后使用原始LLM的冻结分类头预测下一个词。这种外推特征向量的方法使得EAGLE在生成文本的同时保持了与普通解码一致的分布。

总体而言,EAGLE的发布标志着大语言模型推理效率的重大突破,为大规模文本生成任务提供了更加高效的解决方案,将在各领域推动语言模型的应用和发展。

相关推荐
免责声明
本文所包含的观点仅代表作者个人看法,不代表新火种的观点。在新火种上获取的所有信息均不应被视为投资建议。新火种对本文可能提及或链接的任何项目不表示认可。 交易和投资涉及高风险,读者在采取与本文内容相关的任何行动之前,请务必进行充分的尽职调查。最终的决策应该基于您自己的独立判断。新火种不对因依赖本文观点而产生的任何金钱损失负任何责任。