大语言模型（LLM）被越来越多应用于各种领域。然而，它们的文本生成过程既昂贵又缓慢。这种低效率归因于自回归解码的运算规则：每个词（token）的生成都需要进行一次前向传播，需要访问数十亿至数千亿参数的 LLM。这导致传统自回归解码的速度较慢。近日，滑铁卢大学、加拿大向量研究院、北京大学等机构联合发布 EAGLE，旨在提升大语言模型的推理速度，同时保证模型输出文本的分布一致。这种方法外推 LLM 的第二顶层特征向量，能够显著提升生成效率。

具有以下特点：比普通自回归解码（13B）快 3 倍；比 Lookahead 解码（13B）快 2 倍；比 Medusa 解码（13B）快 1.6 倍；可以证明在生成文本的分布上与普通解码保持一致；可以在 RTX 3090 上进行训练（1-2 天内）和测试；可以与 vLLM、DeepSpeed、Mamba、FlashAttention、量化和硬件优化等其他平行技术结合使用。