微软拥抱中国AI新贵!Copilot+PC本地运行DeepSeek
3月4日消息,微软今天宣布,通过Azure AI Foundry接入DeepSeek的R1 7B和14B蒸馏模型,Copilot+ PC可实现本地运行这些模型。
其实早在今年1月,微软就宣布要把DeepSeek-R1模型的NPU优化版本带到搭载高通骁龙X处理器的Copilot+ PC上。
微软表示,这些模型将首先在搭载高通骁龙X处理器的设备上上线,随后扩展到英特尔酷睿Ultra 200V和AMD锐龙处理器的设备。
这些模型运行在NPU上,可以在减少对PC电池续航和散热性能影响的同时,持续获得AI计算能力,同时CPU和GPU可以执行其他任务,提高设备的整体效率。
微软还强调,他们使用了内部自动量化工具Aqua,将所有DeepSeek模型变体量化为int4权重。
不过目前模型的速度仍然较低,14B模型仅为8 tok/sec,而1.5B模型接近40 tok/sec,微软表示正在进一步优化以提高速度。
开发者可以通过下载AI Toolkit VS Code扩展,在Copilot+ PC上运行DeepSeek模型的全部蒸馏版本(1.5B、7B和14B)。
相关推荐
- 免责声明
- 本文所包含的观点仅代表作者个人看法,不代表新火种的观点。在新火种上获取的所有信息均不应被视为投资建议。新火种对本文可能提及或链接的任何项目不表示认可。 交易和投资涉及高风险,读者在采取与本文内容相关的任何行动之前,请务必进行充分的尽职调查。最终的决策应该基于您自己的独立判断。新火种不对因依赖本文观点而产生的任何金钱损失负任何责任。
热门文章
