大模型推理效率无损提升3倍,滑铁卢大学、北京大学等机构发布EAGLE
大语言模型(LLM)被越来越多应用于各种领域。然而,它们的文本生成过程既昂贵又缓慢。这种低效率归因于自回归解码的运算规则:每个词(token)的生成都需要进行一次前向传播,需要访问数十亿至数千亿参数的 LLM。这导致传统自回归解码的速度较慢。
大语言模型(LLM)被越来越多应用于各种领域。然而,它们的文本生成过程既昂贵又缓慢。这种低效率归因于自回归解码的运算规则:每个词(token)的生成都需要进行一次前向传播,需要访问数十亿至数千亿参数的 LLM。这导致传统自回归解码的速度较慢。
12月3日下午,“读懂广州”系列论坛“打造数产融合全球标杆城市”分论坛在广州越秀国际会议中心举行。会上,北京大学数字中国研究院(华南)院长助理、研究员傅瑜以“高质量发展数实融合探索路径”为题作主旨演讲。
据国家知识产权局公告,北京大学取得一项名为“一种基于AI识别的多品类固废再利用智能系统”,授权公告号CN117085970B,申请日期为2023年10月。
2023年12月18日消息,据国家知识产权局公告,北京大学取得一项名为“一种分布式多智能体合作方法、系统、介质及设备“,授权公告号CN116578636B,申请日期为2023年5月。专利摘要显示,本公开涉及一种分布式多智能体合作方法、系统、介质及设备。
类别级 6D 物体位姿估计是一个基础且重要的问题,在机器人、虚拟现实和增强现实等领域应用广泛。本文中,来自北京大学的研究者提出了一种类别级 6D 物体位姿估计新范式,取得了新的 SOTA 结果,论文已被机器学习领域顶会 NeurIPS 2023 接收。
【明日主题前瞻】字节跳动与北京大学成立“豆包大模型系统软件联合实验室”
EAGLE采用外推大语言模型的第二顶层特征向量的方法,相较于普通自回归解码,其推理速度提升明显,比普通自回归解码快3倍,比Lookahead解码快2倍,比Medusa解码快1.6倍。
2023年12月4日消息,据国家知识产权局公告,北京大学申请一项名为“基于图神经网络模型的组合逻辑电路等价性判定方法”,公开号CN117150920A,申请日期为2023年9月。
观点网讯:12月12日,北京大学-字节跳动“豆包大模型系统软件联合实验室”签约仪式暨“面向大模型的智能化软件技术与生态”学术研讨会在北京大学英杰交流中心隆重举行。会上消息,推动产学研深度融合对促进人工智能核心技术突破具有重要意义,此次联合实验室的成立是校企协同创新的重要里程碑,将依托双方优势,共同推
2023年12月20日消息,据国家知识产权局公告,北京大学申请一项名为“一种衍射神经网络全光非线性激活器件及其实现方法“,公开号CN117250807A,申请日期为2023年9月。专利摘要显示,本发明公开了一种衍射神经网络全光非线性激活器件及其实现方法。