近日,2024中国生成式AI大会在上海落下帷幕。作为AI视频生成赛道前沿技术专家,新壹科技AI算法主任架构师李璋受邀参会,发表了以《视频垂直大模型在智能数字人中的应用》为主题的精彩演讲,介绍了新壹科技在AI领域的最新研究成果,并结合典型应用案例及场景,展示了公司在数字人和视频生成方面的技术和实践,引发了与会人士的广泛关注与讨论。

新壹科技AI算法主任架构师李璋在活动现场分享

自年初Sora问世以来,AI视频生成领域风起云涌。适值年末,从学术界到应用端,都在致力于不断分解AI视频生成赛道尚未解决的问题,以期为视频生成大模型及应用产品带来更优质的体验。

作为国内首个视频垂直大模型“新壹视频大模型”团队的核心成员,李璋亦从他的视角带来了分享:

新壹科技AI算法主任架构师分析数字人

新壹科技的AI转型之旅

演讲伊始,李璋首先介绍了新壹科技的发展历程及在AI方向的主要业务布局。他提到,新壹科技的前身一下科技在移动视频、视频推荐方面有很深积累。随着AI技术的飞速发展,公司逐渐将重心转向AI领域,并聚焦于视频生成赛道。

在转型过程中,新壹科技不断探索和实践,逐渐形成了自己的核心技术优势。李璋表示,公司目前主要集中在数字人和视频生成两大领域,致力于通过AI技术为用户带来更加丰富、生动的交互体验。

由泛至专 从通用大模型到垂直大模型

随着大模型的普及和应用,其参数量不断增大,导致部署和训练成本也随之上升。这对于很多非大厂公司来说,无疑是一种挑战,垂直大模型或是未来AI发展弯道超车的重要方向。

与通用大模型相比,垂直大模型更加专注于特定领域应用,如视频生成、数字人等。新壹科技在垂直大模型的研发和应用方面取得了显著成果,这样在保留大模型强大能力的同时,降低部署和训练成本,使得更多公司能够享受到AI技术带来的红利。

视频生成大幅提升垂直领域新质生产力

2023年,新壹科技成功推出了国内首款专注于视频生成的大模型——新壹视频大模型。该模型在数字人动作、表情和视频质量方面进行了全面优化,也给用户带来了更加逼真、生动的视频体验。

据李璋介绍,新壹科技在视频生成大模型的研发过程中,攻克了多项技术难题。例如,在数字人动作模拟方面,公司采用了先进的动作捕捉技术和深度学习算法,使得生成的视频中人物动作更加自然流畅;在表情迁移方面,通过生成式对抗网络实现表情的精准迁移,让数字人也能展现出更拟人化的丰富多样情感。

此外,新壹科技还积极推动视频生成大模型在各个领域的应用。目前围绕新壹视频大模型的产品及应用平台,已拥有超300万用户,每天生成超15万分钟视频,客户覆盖保险金融、媒体营销、出版、政务、汽车、医疗和教育等多个领域,大幅提升了各垂直领域的创造和生产力。

垂直大模型为数字人提供全新路径

在生成式AI技术蓬勃发展的背景下,智能数字人已成为内容创作、虚拟助手和人机交互等领域的重要应用之一。然而,传统生成模型在高精度、多模态的智能数字人生成中仍面临诸多挑战。不过,垂直领域的大模型提供了一条全新路径。

李璋详细介绍了新壹科技的AI数字人产品架构:即底层能力部分接入大语言模型,支持自然语言理解和生成,使得数字人能够与用户进行流畅对话交流,理解用户需求并给出相应回应。同时,底层能力还支持声音克隆和多种数字人形象(如实人、卡通、3D等),为用户提供更加丰富的选择。

中间层则负责处理各种复杂的AI任务,如人脸关键点检测、表情迁移和风格迁移等。通过先进的算法和技术手段,中间层能够确保数字人在各种场景下都能展现出逼真的表情和动作。

应用层则支持多端交互,新壹科技已推出与百大剧院合作的一体机交互系统。用户可以通过手机、电脑等多种设备与数字人进行互动,感受科技带来的魅力;一体机交互系统则为用户提供了更沉浸式的体验,让用户仿佛置身于一个真实的虚拟世界中。

在演讲过程中,他还展示了多个数字人应用案例,包括数字人播报、实景数字人、图片数字人和直播数字人等。这些案例亦也展示了新壹科技在AI数字人领域的创新成果、应用实力,以及视频垂直大模型在智能数字人领域的强大潜力和商业价值。