新火种
2023-12-26 
4090成A100平替？上交大推出推理引擎PowerInfer，token生成速率只比A100低18%
机器之心报道
机器之心编辑部
PowerInfer 使得在消费级硬件上运行 AI 更加高效。
上海交大团队，刚刚推出超强 CPU/GPU LLM 高速推理引擎 PowerInfer。
速度有多快？
在运行 Falcon (ReLU)-40B-FP16 的单个 RTX 4090 (24G) 上，PowerInfer 对比 llama.cpp 实现了 11 倍加速！
相关推荐
- 免责声明
- 本文所包含的观点仅代表作者个人看法，不代表新火种的观点。在新火种上获取的所有信息均不应被视为投资建议。新火种对本文可能提及或链接的任何项目不表示认可。 交易和投资涉及高风险，读者在采取与本文内容相关的任何行动之前，请务必进行充分的尽职调查。最终的决策应该基于您自己的独立判断。新火种不对因依赖本文观点而产生的任何金钱损失负任何责任。
热门文章
