丰色 发自 凹非寺
量子位 | 公众号 QbitAI
谁说生成图像、视频一定要靠AI?
普林斯顿大学新出的神器,可无限生成逼真3D世界,特别强调「No AI」。
浅浅感受一下这个效果:
不要以为生成的只是一段视频,其实背後是一套完整的3D资产,基於建模软体Blender打造。
此时所有blender用户一起跟我:啊?
如此一来,我们就能用参数来控制细节:
或者拿到相应的光流图、3D场景光流图、深度图、全景分割图等等,轻松hold住各种CV任务。
最最重要的是,它还免费、开源!
妈妈真的再也不用担心我找不到高质量的3D数据投喂AI了……
完整视频感受一下震撼:
100%基於随机数学的3D数据生成器
尽管AI发展迅猛,但目前CV领域的许多任务仍然缺乏高质量的数据,3D尤甚。
一个解决办法是用合成数据。事实证明,在这类数据上训练的模型在零样本的真实图像上也可以表现得很好。
但问题是,现有的大多数免费3D合成数据工具基本局限於单一场景:要麽是自动驾驶相关,要麽就是那种位於室内环境中的人造物体。
因此,为了扩大覆盖范围,尤其是真实世界里的自然场景,作者基於Blender打造了这个基於随机数学规则无限生成各种场景的Infinigen。
Infinigen主要利用Blender的「基元」(或原语),设计了一个程序规则库,通过编码完成真实自然场景各个对象的生成。
论文主要介绍了Infinigen的程序体系,包括:
如下图所示,它生成的代码更通用,既允许我们随机化输入参数,也允许随机化图结构。
如下图由所示,它能保证非常真实的几何细节。
并帮助Infinigen通过使用FLIP模拟动力学流体,使用Blender的粒子系统模拟天气。
又或者是使用差异化生长、拉普拉斯生长和反应扩散制造各种珊瑚、使用几何节点图生成树叶、花朵、海藻、海带、软体动物和水母。
还有各种子生成器(比如生物生成器)就不一一介绍了。
除了这些,Infinigen还包括一个图像渲染与Ground Truth提取程序,主要用於生成下图这些类型的图像。
其中对於前者,系统使用了Blender基於自然规律的路径跟踪渲染器Cycles来渲染图像。
作者介绍,虽然使用Blender开发了Infinigen的程序规则,不过程序生成的很大一部分是在Blender之外完成的。
另外,他们也表示,构建Infinigen是一项极大量的软体工程,光是它代码库的主分支就囊括了40485行代码。
最後,Infinigen在2个Intel Xeon Silver 4114 @ …
Read More