首页 > AI资讯 > 行业应用 > 在线可玩!智谱开源图生视频模型,网友直呼Amazing!

在线可玩!智谱开源图生视频模型,网友直呼Amazing!

新火种    2024-09-20

刚刚,智谱把清影背后的图生视频模型CogVideoX-5B-I2V给开源了!(在线可玩)

一起开源的还有它的标注模型cogvlm2-llama3-caption。

在线可玩!智谱开源图生视频模型,网友直呼Amazing!

在实际应用中,CogVideoX-5B-I2V支持「一张图」+「提示词」生成视频。

而cogvlm2-llama3-caption则是负责将视频内容转换成文本描述。

在线可玩!智谱开源图生视频模型,网友直呼Amazing!

不过用过的网友却对它的表现褒贬不一:

有人在用过之后直呼Amazing。

在线可玩!智谱开源图生视频模型,网友直呼Amazing!

也有人试了半天,最后还是选择了CogVideoX之前的版本,还夸夸说:我最看好这个型号!

在线可玩!智谱开源图生视频模型,网友直呼Amazing!

所以到底效果如何,咱们来实测一波!

实测CogVideoX-5B-I2V

测试开始~输入提示词:咖啡店员握住双手笑着对客人表示欢迎,说话时身体自然活动(依旧是老生常谈的“手部”问题)

第二次实测,试了一下简短提示词:吗喽颠着二郎腿打电话(效果不理想,主体还是静态的没有动起来)

第三次的提示词是:“明月圆圆,几个人坐在河边谈心说话,举杯高歌。”显示生成完成,但是到最后显示环节却直接NAN了(呜呜呜)

在线可玩!智谱开源图生视频模型,网友直呼Amazing!

整体效果有些一言难尽,而且生成速度有些慢。

在线可玩!智谱开源图生视频模型,网友直呼Amazing!

咱们还是来看一下团队自己发布的一些成功作品吧:

提示词:当万花筒般的蝴蝶在花朵中翩翩起舞时,花园变得生机勃勃,它们精致的翅膀在下面的花瓣上投下阴影。

提示词:一位穿着西装的宇航员,靴子上沾满了的红色尘埃,在第四颗行星的粉红色天空下,他伸出手与一个外星人握手

提示词:湖岸边长满了柳树,细长的枝条在微风中轻轻摇曳。平静的湖面倒映着清澈的蓝天,几只优雅的天鹅在平静的水面上优雅地滑翔

论文也已公开

值得一提的是,目前CogVideoX-5B-I2V模型的代码均已开源,支持在抱抱脸中进行部署。

相关研究论文也已公开,纵观论文内容,有三大技术亮点值得说道说道~

在线可玩!智谱开源图生视频模型,网友直呼Amazing!

首先便是团队自研了一个高效的三维变分自编码器结构(3D VAE),将原视频空间压缩至2%大小,大大减少了视频扩散生成模型的训练成本及训练难度。

模型结构包括编码器、解码器和潜在空间正则化器,通过四个阶段的下采样和上采样实现压缩。时间因果卷积确保了信息的因果性,减少了通信开销。团队采用上下文并行技术以适应大规模视频处理。

在实验中,团队发现大分辨率编码易于泛化,而增加帧数则挑战较大。

因此,团队分两阶段训练模型:首先在较低帧率和小批量上训练,然后通过上下文并行在更高帧率上进行微调。训练损失函数结合了L2损失、LPIPS感知损失和3D判别器的GAN损失。

在线可玩!智谱开源图生视频模型,网友直呼Amazing!

其次是专家Transformer。

团队使用VAE的编码器将视频压缩至潜在空间,然后将潜在空间分割成块并展开成长的序列嵌入z_vision。

同时,他们使用T5,将文本输入编码为文本嵌入z_text,然后将z_text和z_vision沿序列维度拼接。拼接后的嵌入被送入专家Transformer块堆栈中处理。

最后,团队反向拼接嵌入来恢复原始潜在空间形状,并使用VAE进行解码以重建视频。

在线可玩!智谱开源图生视频模型,网友直呼Amazing!

最后的亮点,便是在于数据了。

团队开发了负面标签来识别和排除低质量视频,如过度编辑、运动不连贯、质量低下、讲座式、文本主导和屏幕噪音视频。

通过video-llama训练的过滤器,他们标注并筛选了20000个视频数据点。同时,计算光流和美学分数,动态调整阈值,确保生成视频的质量。

视频数据通常没有文本描述,需要转换为文本描述以供文本到视频模型训练。现有的视频字幕数据集字幕较短,无法全面描述视频内容。

为此,团队还提出了一种从图像字幕生成视频字幕的管道,并微调端到端的视频字幕模型以获得更密集的字幕。这种方法通过Panda70M模型生成简短字幕,使用CogView3模型生成密集图像字幕,然后使用GPT-4模型总结生成最终的短视频。

他们还微调了一个基于CogVLM2-Video和Llama 3的CogVLM2-Caption模型,使用密集字幕数据进行训练,以加速视频字幕生成过程。

在线可玩!智谱开源图生视频模型,网友直呼Amazing!One more thing

值得一提的是,CogVideoX近来这一个月也没有闲着,化身勤更达人码出了一堆更新!

2024年9月17日,提供了SAT权重的推理和微调代码和安装依赖的命令,使用GLM-4优化了提示词跳转链接:https://github.com/THUDM/CogVideo/commit/db309f3242d14153127ffaed06a3cf5a74c77062

2024年9月16日,用户可以利用本地开源模型+FLUX+CogVideoX,实现自动化生成高质量视频。跳转链接:https://github.com/THUDM/CogVideo/blob/CogVideoX_dev/tools/llm_flux_cogvideox/llm_flux_cogvideox.py

2024年9月15日,CogVideoX的LoRA微调权重已成功导出,并在diffusers库中成功通过测试。跳转链接:https://github.com/THUDM/CogVideo/blob/CogVideoX_dev/sat/README_zh.md

2024年8月29日,在CogVideoX-5B的推理代码中加入了pipe.enable_sequential_cpu_offload()和pipe.vae.enable_slicing()功能,使显存占用降至5GB。

2024年8月27日,CogVideoX-2B模型的开源协议已修改为Apache 2.0协议.

当天,智谱AI开源了更大规模的CogVideoX-5B模型,显著提升了视频生成的质量与视觉效果。这个模型优化了推理性能,允许用户在RTX 3060等桌面显卡上进行推理,降低了硬件的要求。

2024年8月20日,VEnhancer工具已支持对CogVideoX生成的视频进行增强,提升视频分辨率和质量。

2024年8月15日,CogVideoX依赖的SwissArmyTransformer库升级至0.4.12版本,微调不再需要从源代码安装该库。同时,引入了Tied VAE技术以优化生成效果。而这次CogVideoX-5B-I2V的开源,也代表着CogVideoX系列模型已经支持文生视频、视频延长、图生视频三种任务。

在线可玩!智谱开源图生视频模型,网友直呼Amazing!
Tags:
相关推荐
免责声明
本文所包含的观点仅代表作者个人看法,不代表新火种的观点。在新火种上获取的所有信息均不应被视为投资建议。新火种对本文可能提及或链接的任何项目不表示认可。 交易和投资涉及高风险,读者在采取与本文内容相关的任何行动之前,请务必进行充分的尽职调查。最终的决策应该基于您自己的独立判断。新火种不对因依赖本文观点而产生的任何金钱损失负任何责任。