首页 > AI资讯 > 最新资讯 > 语种随意换口型无破绽AI视频工具HeyGen“走红”网络

语种随意换口型无破绽AI视频工具HeyGen“走红”网络

新火种    2023-11-01

  近日,欧美顶流歌手泰勒·斯威夫特操着一口流利中文的视频在各大社交平台上广泛传播。不止如此,说中文的埃玛·沃森,以及说着英语的蔡明的视频也频频“出圈”。

  据了解,这些视频都使用了AI视频工具HeyGen。创作者只需要上传视频并选择要翻译的语言,该工具可实现自动翻译、调整音色、匹配嘴型。令人称赞的是,这个火到国外的“神器”是国内诞生的产品,背后公司是来自深圳的AI公司诗云科技。

  为视频创作者打造的工具

  网友称HeyGen为“没有译制片腔调的翻译”,表示真人配音都达不到这样的效果,甚至比真人配音还要省事得多。据悉,诗云科技成立于2020年11月,主营AIGC,从官网看,其产品除了视频翻译,也有数字头像生成、AI脚本生成等服务。想获得一个翻译过的真人视频,只需上传原视频,再选择要翻译的语言就能轻松完成。

  HeyGen是为视频创作者打造的工具,翻译功能并非其全部。围绕视频创作,HeyGen的功能十分强大,包括主播换脸、文字转口播视频、创建虚拟主播、语音克隆等。

  数字人创建是其主推的功能。据HeyGen介绍,即使没有摄像机、摄影棚和演员,普通人也可以通过该工具制作视频。用户只需上传一段2分钟的小视频,就能制作一个和真人一样的数字人,即使是像手势、面容和口型这种“细微肢体语言”也能调整。

  记者了解到,现在市场上的AI视频应用比较多,比如抖音旗下的剪映,目前也有AI能力,具体是把脚本输入到里面,能生成视频。另外,百度也有AI应用,把脚本输入到对话框里就可以生成视频。

  作为该赛道的佼佼者,天眼查数据显示,诗云科技已完成两轮融资,获得了来自IDG、红杉中国、真格基金累计近千万元的投资。

  AI视频领域应用成关注焦点

  目前,短视频已得到大众广泛关注,而愈加火热的AI在视频领域的应用,也成为关注的焦点。

  以快手为例,今年下半年以来,快手加快AIGC的布局。8月,快手宣布内测自研大语言模型“快意”(KwaiYii),打造“全模态大模型AIGC解决方案”。基于自研的基座大模型,为用户提供包括文本生成、图像生成、3D素材生成、音频生成、视频生成等在内的多种技术能力。其中,KwaiYii-13B在多个Benchmark上都处于领先水平,证明了其在自然语言处理任务中的出色性能。

  据了解,对于文生视频应用,用户主要关注视频生成质量、是否可定制化生成特定内容(如特定风格、可对生成内容调整细节)、使用简易程度等。尽管当前已有可公测的应用,但由于生成结果粗糙等问题,文生视频并未在实际的媒体内容生成、创意制作领域得到广泛应用。

  相关专家表示,生成式AI的进步,极大简化了视频制作的流程,在已经到来的智能时代,受众已经不想再看到那些批量的、流水线式的“低劣”视频。要想摘掉“低劣”的标签,真正让作品具有感情和灵魂,除了“降本”之外,在个性化、拟真度、素材丰富性方面,国产视频AI还有很长的路要走。

(文章来源:深圳商报)

相关推荐
免责声明
本文所包含的观点仅代表作者个人看法,不代表新火种的观点。在新火种上获取的所有信息均不应被视为投资建议。新火种对本文可能提及或链接的任何项目不表示认可。 交易和投资涉及高风险,读者在采取与本文内容相关的任何行动之前,请务必进行充分的尽职调查。最终的决策应该基于您自己的独立判断。新火种不对因依赖本文观点而产生的任何金钱损失负任何责任。