AI框架:智能时代的操作系统
数智时代,AI作为重要的通用技术之一,具有溢出带动性很强的“头雁”效应,在整个AI技术体系中,AI框架处于“承上启下”的位置,南向使能多样化算力,北向孵化各类创新算法模型,是人工智能应用创新的土壤和源泉。
昇思MindSpore开源社区理事长丁诚对《中国经营报》记者表示,在每一个时代的技术更迭中,硬件系统都需要与之密切配合的软件使能,才能将产品更好地推广和应用。所以,在人工智能时代,AI框架便应运而生,它提供了丰富的数学编程接口,便捷的自动微分求导,高效的分布式并行调度能力,与多样化算力系统相结合,帮助人工智能研究者孵化出各种AI算法和应用创新。
打破国外垄断
AI框架就类似Windows、安卓一般,是“AI领域的操作系统”,所有人工智能的算法及应用都要通过AI框架进行训练与部署。作为人工智能领域的“根技术”,AI框架在人工智能技术的发展中具有重要作用。
AI框架是算法模型开发的必备工具和基础设施,承担着人工智能操作系统的重要角色。可以帮助开发者降低开发难度,提高开发效率;可以帮助项目快速落地,平衡项目的投入成本、安全性、合规性、性能和上市时间等因素;在项目落地之后,还可以帮助项目实现规模化应用。
丁诚表示,人工智能框架南向对接不同的算力,北向通过编程接口帮助开发者实现算法创新应用。在整个大模型生态当中,人工智能框架是起到一个大模型使能的定位,作为大模型使能,就是帮助开发者孵化他们的大模型,人工智能框架不会自己去做大模型,但是它会把做大模型的算法团队作为它的用户。
简而言之,AI框架是一个集合了所有主流AI算法模型,以及他们使用说明的大型软件仓库。开发者可以按需取用。
不过,在AI框架领域则呈现双寡头的格局。Google的TensorFlow,和Meta的PyTorch两款AI框架起步早、发展快,占据了业界的主导地位。
从市场占有情况看,产业界以TensorFlow为主,学术界以PyTorch为主。这与两款AI框架的发展历程不无关系。
TensorFlow的初始版本源于2015年,由谷歌大脑团队开发并发布在Apache 2.0开源许可证下。TensorFlow是谷歌大脑的第二代机器学习工具,谷歌旗下部署的商业应用包括搜索、图片、地图、广告、翻译等都与此有关。
在一年后,由Meta人工智能团队开发的开源机器学习工具PyTorch面市,虽然它的出现比TensorFlow晚了近一年,但它兼收并蓄地改进了Caffe、Torch等几款主流AI框架, PyTorch起步之初就迎合了大量开发者的需求与习惯。
而国内也有一些厂商奋起直追,呈现出双寡头并驱下的多元发展态势,也涌现出一批以昇思MindSpore、百度PaddlePaddle、腾讯TNN、阿里MNN、字节跳动BytePS等为代表的优秀AI框架。
丁诚认为,在智能时代飞速发展的今天,特别是近年来大模型的兴起,使得AI算力需求和模型复杂度以突破摩尔定律的速度飞速增长。这意味着,除了对物理计算量的硬件要求外,软件的开发和调度效率也面临着巨大的挑战。在此背景下,AI框架既要如同汽车方向盘一般,给AI用户提供便捷的操作接口,也要像变速箱和传动轴一般,将算力合理高效地调度,发挥出系统最佳的性能。可以说,在整个AI技术体系中,AI框架南向使能多样化算力,北向孵化各类创新算法模型,处于人工智能技术体系的核心中坚,是人工智能的创新源泉。
仍需砥砺前行
Omdia发布的《中国人工智能框架市场调研报告》,在中国开发者的心目中,MindSpore、PaddlePaddle在国产AI框架中认知度排前两位。
具体来看,中国人工智能开发者认为TensorFlow、PyTorch,Mindspore、PaddlePaddle等框架具备全方位能力,既能提供特定的能力(如开发大模型、进行科学计算),又能实现全生命周期的开发(即端到端开发,从训练到部署)。其中,Pytorch提供了便捷灵活的动态图执行模式和调试能力,TensorFlow在生产模型部署上具备领先优势,PaddlePaddle提供了PaddleoCR为代表的北向算法套件,Mindspore原生支持大模型、科学计算并能实现端边云路平台部署。
不过,国产框架与国外仍有很大的差距,尤其是易用性和性能方面。人工智能框架隔离了底层的复杂性,更加易用的框架能够让开发人员以更快的速度和更高的效率,来探索、创建、改进和迭代人工智能项目。而人工智能框架的性能则涉及到框架本身的底层性能,包括框架的底层算法效率,以及框架利用底层硬件资源进行优化开发、训练和推理的能力。
根据Omdia的报告,开发者认为TensorFlow和PyTorch的易用性更好,而本土框架昇思MindSpore和飞桨PaddlePaddle紧随其后;性能方面,开发者认为TensorFlow和PyTorch性能更好,昇思MindSpore和飞桨PaddlePaddle同样紧随其后。
而为了共建人工智能框架生态,在人工智能框架生态峰会2023上,18家AI头部企业、高校、科研机构、开源社区等共同发布首个AI框架生态倡议,倡议通过政产学研用的共同努力,支撑中国人工智能框架生态走向新高度,推进中国人工智能产业新发展。
丁诚表示,AI框架的生态锚点会从API走向模型,MindSpore开源社区将承载更多业界高质量算法模型,把这些模型打造成一个算法套件,帮助传统赛道的AI用户能快速得到行业场景应用。第二件事情,MindSpore在保持自己自主创新的一套原生API基础之下,兼容业界现有像Pytorch这样的API的生态。对传统用户来讲,如果想重新学习MindSpore,学习成本将会很低,通过这样的方式,把传统的生态逐渐吸引到MindSpore生态圈里。
(文章来源:中国经营网)
- 免责声明
- 本文所包含的观点仅代表作者个人看法,不代表新火种的观点。在新火种上获取的所有信息均不应被视为投资建议。新火种对本文可能提及或链接的任何项目不表示认可。 交易和投资涉及高风险,读者在采取与本文内容相关的任何行动之前,请务必进行充分的尽职调查。最终的决策应该基于您自己的独立判断。新火种不对因依赖本文观点而产生的任何金钱损失负任何责任。