首页 > AI资讯 > 最新资讯 > 现在,用音频也能指挥GAN生成图像了

现在,用音频也能指挥GAN生成图像了

新火种    2023-09-09

CLIP大家都不陌生吧?

由OpenAI于今年1月份推出,能够实现文本描述与图片的精准匹配。

现在,有人“灵机一动”,从CLIP中学习了一种音频表示方法。

用这个方法搭配VQGAN-CLIP,就能实现声音到图像的转变!

比如给它听4种不同的青蛙叫,它就能生成4种青蛙的照片:

给它听不同的教堂铃声,就能生成下面这样的图像:

嗯,画风有点诡异,仿佛看到了还未被完全驯服的AI的内心世界……

不过这是不是还挺有意思?

那同样都使用VQGAN-CLIP,到底是用文字生成还是用这种音频表示的生成效果更好呢?

这也有一张对比图片:

第一行是VQGAN-CLIP根据文字生成的图片,第二行是根据音频。从左到右分别为:街头音乐、狗叫、小孩玩耍、枪击声。

你觉得哪个更像?

目前,关于这个音频表示方法的研究已被国际声学、语音与信号处理顶会ICASSP接收。

所以,一个音频是怎么和图像连接起来的呢?

从CLIP中提取音频表示方法

下面就来看看这个音频表示方法有何特殊之处。

方法名叫Wav2CLIP,从下图我们可以看出它和CLIP的模型架构非常像。

作为视听(audio-visual)对应模型,Wav2CLIP也有两个编码器,一个是冻结图像编码器(Frozen Image Encoder),一个是音频编码器,分别从视频中提取图像和音频数据进行训练。

冻结图像编码器通过冻结CLIP的图像编码器获得,也就是将CLIP视觉模型的图结构和权重固化到一起后直接加载运行。

音频编码器的预训练通过提取视频中CLIP图像的embedding完成,这也是Wav2CLIP的前置(pretext)任务。

按照CLIP论文的原始方法,研究人员采用对比损失(contrastive loss)进行特征提取,并添加多层感知器(MLP)作为投影层。

交叉投影的损失函数定义如下:

△ f/g:投影函数,L:对比损失函数

添加MLP层的好处有两个:

一是有助于稳定提取过程;

二是能够加强多模态的一致性,因为模型学习到的音频embedding能通过这个投影层恢复CLIP图像的embedding。

总的来说,Wav2CLIP的训练数据为一段视频,利用CLIP的图像编码器(freeze操作)对音频图片和音频进行特征提取,就可以生成“明白”自己应该对应什么图片的音频表示。

所以反过来也可以根据这种表示推出图片,就像我们在开头看到的“青蛙”和“教堂铃声”一样。

具体方法就是通过把引导VQGAN在潜空间中查找与文本提示匹配的图像的CLIP embeddings,替换成Wav2CLIP音频embeddings而完成。

由于Wav2CLIP不同于以往的视听对应模型,它不需要将视觉模型与听觉模型结合起来学习,所以训练方法也就非常轻量级。

再加上Wav2CLIP的embeddings源于CLIP,这意味着它们是与文字对齐的。

所以经过额外层的训练,Wav2CLIP也能执行零样本音频分类、音频字幕和跨模态检索(根据文本搜索音频)等下游任务。

下游任务性能比较

在实验评估中,Wav2CLIP采用ResNet-18的架构作为音频编码器。

首先来看Wav2CLIP在分类和检索任务上的性能。

与非SOTA的音频表示模型相比,Wav2CLIP在几乎所有分类和检索任务中的性能都比YamNet和OpenL3略强,不是最强的地方,表现和第一名差别也不大。具体在检索任务上,对于音频检索(AR),可以看到Wav2CLIP作为帧级特征提取器的性能很有竞争力。

对于跨模态检索(CMR)任务,Wav2CLIP达到了0.05 MRR,这意味着它能够从前20个音频中检索出正确结果,比OpenL3好不少。

与SOTA模型相比,仍有改进的余地。不过也情有可原,因为对于大多数SOTA模型来说,编码器在每个任务上都经过专门的训练或微调,而Wav2CLIP只用冻结特征提取器,并且只训练简单的MLP分类器输出答案,也就是所有任务都采用的是同一个音频编码器。

再看在音频字幕任务中与基线比较的结果:

所有指标都略优于基线。

不过作者表示,这不是一个公平的比较,因为他们的编码器和解码器架构都不同,但他们想表明的是:Wav2CLIP很容易适应不同的任务,并且仍然具有合理的性能。

最后再来看一下Wav2CLIP与OpenL3和YamNet使用不同百分比的训练样本进行VGGSound音频分类的结果(VGGSound包含309种10s的YouTube视频)。

可以发现Wav2CLIP碾压OpenL3,和YamNet不相上下——使用10%的训练数据就能达到相同性能。

不过Wav2CLIP和YamNet预训练的前置任务非常不同,YamNet需要大量的标记数据,Wav2CLIP在完全没有人工注释的情况下完成预训练,所以Wav2CLIP更易于扩展。

总的来说,这种音频表示方法进一步训练的模型在上面这3种任务上都能表现出与同类相媲美或更高的性能。

在未来工作方面,研究人员表示将在Wav2CLIP上尝试各种专门为多模态数据设计的损失函数和投影层,并探索从共享embedding空间生成音频,以实现从文本或图像到音频的跨模态生成。

相关推荐
免责声明
本文所包含的观点仅代表作者个人看法,不代表新火种的观点。在新火种上获取的所有信息均不应被视为投资建议。新火种对本文可能提及或链接的任何项目不表示认可。 交易和投资涉及高风险,读者在采取与本文内容相关的任何行动之前,请务必进行充分的尽职调查。最终的决策应该基于您自己的独立判断。新火种不对因依赖本文观点而产生的任何金钱损失负任何责任。