3D生成竞技场来了!比拼360°环绕视频,最强模型由你pick
3D生成也有自个儿的人工评测竞技场了~
来自复旦大学和上海AI lab的研究人员搞了个3DGen-Arena,和大语言模型的Chatbot-Arena、GenAI-Arena等一脉相承,要让大伙儿对3D生成模型来一场公开、匿名的评测。
![3D生成竞技场来了!比拼360°环绕视频,最强模型由你pick](/uploads/20240530/2zqt3spd5z0.jpg)
3DGen-Arena同样是让两个模型进行比较,分文生3D、图生3D两个赛道。
展示形式上考虑到3D生成的复杂性,3DGen-Arena同时提供3D资产的法线图、无纹理几何图和贴纹理RGB图的360°环绕视频。
投票方式很简单:
第一步点击“Sample”选择prompt(共有1000+条),第二步点击“Send”让模型生成,第三步分别从几何合理性、几何精细度、纹理质量、几何-纹理一致性、文本/图像-3D一致性这5个维度上对模型投票,投完票就能看到背后模型的真面目了。
目前场上已有19个开源3D生成模型,其中9个文生3D模型,13个图生3D模型。
![3D生成竞技场来了!比拼360°环绕视频,最强模型由你pick](/uploads/20240530/xmlvdztd22c.jpg)
![3D生成竞技场来了!比拼360°环绕视频,最强模型由你pick](/uploads/20240530/pj3xz20xrjy.jpg)
除匿名投票外,3DGen-Arena还支持参与者与指定模型进行比较,以及与单个模型交互。
![3D生成竞技场来了!比拼360°环绕视频,最强模型由你pick](/uploads/20240530/l5mp1ocynv3.jpg)
近两年,得益于Diffusion模型在2D领域取得的巨大成功,以及Objaverse系列大规模3D数据集的开源,3D物体生成领域已经进入迅速发展阶段,3D生成模型数量激增。
然鹅,如何科学、公平地评价这些模型成为了领域内公认的难题。
目前已有的3D评测指标大多沿用了2D领域的范式。其中,Clip系列模型表现出的强大图文对齐能力使得基于Clip的方法尤为受欢迎,如Clip-Similarity、Clip R-Precision等。
但由于2D和3D领域间存在不容忽视的域差异(domain gap),这类不具备3D先验知识的2D指标,在实际应用中,常常并不能满足人们的需要。
例如,3D工作者们关心的几何合理性、3D一致性、纹理伪影等等关键问题,2D指标远远无法达到令人满意表征水平。
于是,目前工作中更具可信度的评价大多来自于定性的用户评价(user-study),但缺少一个统一、多样的prompt集,使得不同模型间的user-study并不那么容易对齐。
最近,因大语言模型以及多模态大模型表现出的优异性能,出现了一些基于大模型问答的3D评测体系。但此类依赖黑盒模型的评测系统,可能会引入一些潜在的系统性误差,而且不具备好的可解释性。
3D生成评测是一项不适定问题(ill-posed problem),需要综合考虑几何质量、纹理质量、以及与输入信息的匹配程度。
自动化评测系统的探索面临很多技术难题,但令人振奋的是,语言和图像领域为我们提供了人工评测的新思路。
由此,来自复旦大学和上海AI lab的开发者推出了3DGen-Arena。
为实现多维度、全方位的评估,3DGen-Arena划分出的5个独立维度各有侧重,互为补充:
“几何合理性”是3D模型的基本要求,能够衡量生成模型习得的3D先验水平;
“几何精细度”则是更高层次的要求,是提升生成质量的关键方向;
“纹理质量”直接影响生成的3D资产的视觉效果,视角一致、富有美学的纹理贴图是纹理优化的目标;
“几何-纹理一致性”在现实世界中,常常被忽略。但在生成过程中,我们发现保证一致的贴图并不总是容易的;
“文本/图像-3D一致性”是条件生成方式的内在要求,实现跨模态精准控制是不断追求的目标。
![3D生成竞技场来了!比拼360°环绕视频,最强模型由你pick](/uploads/20240530/l01ntfsbdrt.jpg)
除了匿名模型投票外,3DGen-Arena还允许参与者指定模型进行比较,以及与单个模型交互,满足社区的多样需求。
开发人员表示,考虑到部分文生3D模型漫长的训练时长,以及复杂的数据后处理,目前3DGen-Arena暂不支持开放式输入的在线生成功能。
但他们精心设计了1k+条prompt,其中文生3D和图生3D各500余条,是现有其他评测系统prompt集数量的10倍(~10x),涵盖了“交通工具”、“动物”、“植物”、“食物”、“室内物品”、“室外物品”等6大基础类别。
![3D生成竞技场来了!比拼360°环绕视频,最强模型由你pick](/uploads/20240530/fqhqdewouqq.jpg)
为了观察3D生成模型对prompt复杂程度的敏感程度,除了单个物体生成外,开发人员还设计了物体间的多种排列组合方式,以及一些带有交互的“微场景”。
截至目前,3DGen-Arena平台已经内嵌了1w+个3D资产,可以提供5.8w组不同的比较对。
开发人员还表示,之后将继续维护和完善3DGen-Arena:增添更多的开源、甚至闭源模型;定期维护、更新排名榜;上线支持开放式输入的在线生成服务……
3D生成为何需要一个科学、全面、鲁棒的评价体系?这当中益处不言而喻。
一方面, 通过质量评测,深入理解现有生成模型的优缺点,挖掘潜在的发展方向,进而指导模型改进和新算法的开发,不断探索AIGC的能力边界。
另一方面,多维度的3D质量评测对实践应用有指导性作用, 便于针对不同的下游需求,把握关键维度,权衡次要维度。
话不多说了,从事3D生成的或者对3D生成任务感兴趣的家人们,快去pick你喜欢的模型吧~
- 免责声明
- 本文所包含的观点仅代表作者个人看法,不代表新火种的观点。在新火种上获取的所有信息均不应被视为投资建议。新火种对本文可能提及或链接的任何项目不表示认可。 交易和投资涉及高风险,读者在采取与本文内容相关的任何行动之前,请务必进行充分的尽职调查。最终的决策应该基于您自己的独立判断。新火种不对因依赖本文观点而产生的任何金钱损失负任何责任。