AI 靠单图生成 3D 世界:李飞飞空间智能首秀,可像玩游戏一样探索

xxn 阅读:65663 2024-12-03 18:02:08 评论:0
感谢IT之家网友 西窗旧事 的线索投递!

在刚刚的时候,李飞飞空间智能首个项目突然发布:

只需1张图片,即可生成一个3D游戏世界的AI系统!

重点在于,生成的3D世界具有交互性

像玩游戏那样,自由移动相机探索这个3D世界,包括浅景深、希区柯克变焦等操作。

随便输入一张图片:

生成的3D世界里,所有物体均由AI生成:

这些场景在浏览器中实时渲染,具有可控的摄像机效果和可调节的模拟景深(DoF)。

用户可以改变物体颜色,动态调整背景光影,插入其他对象。

AI系统直接预测3D场景,遵循基本的3D几何物理规则,不会因视角变化而改变场景。

评论区一片“难以置信”,网友们热烈讨论。

包括Shopify创始人Tobi Lutke等知名人士点赞,有网友认为为VR打开了新世界。

官方表示这只是3D原生生成AI未来的一瞥,正在努力将技术交到用户手中。

李飞飞本人分享这项成果并表示:“尝试描述通过一张照片或一句话生成的3D场景互动的体验,希望大家喜欢。”

候补名单申请已开启,内容创作者已经开始使用,引发广泛关注。

超越输入图片

官方博文称,今天,World labs迈出了通向空间智能的第一步:

发布一个从单张图片生成3D世界的AI系统。

超越输入图片,一切都是生成的。

用户可以通过W/A/S/D键或鼠标拖动画面,控制上下左右视角,探索生成的3D世界。官网博文中提供了许多可试玩的演示。

AI系统生成的3D世界具有深度,即使转移视线再回来也不会改变,并且遵循基本的几何规则。

摄影机效果

3D世界在浏览器中实时渲染,用户可精准控制摄像机,实现景深效果和滑动变焦(Dolly Zoom),带来视觉冲击。

AI预测3D场景,如希区柯克变焦,保持主体大小不变,背景大小改变,增强视觉体验。

可在3D场景结构中构建互动效果,如单击与场景互动,突然添加聚光灯等。

3D效果

AI预测3D场景,不同于大多数生成模型只预测像素,AI生成的场景持久存在,遵循正确的几何规则。

用户可以自由操作在3D世界中移动,观察细节,或者俯视整个世界,实现各种互动效果,带来真实感体验。

团队表示,与其他AI工具结合,3D世界生成可为创作者们提供新的工作体验。

可通过输入不同风格的文生成图模型生成的图片,创建不同风格的3D世界,为创作者们带来更多可能性。

World Labs和空间智能

斯坦福大学教授、AI教母李飞飞创立的“World Labs”公司在短短时间内突破10亿美元估值,投资方包括a16z、NEA和Radical Ventures等。

李飞飞认为“空间智能”是解决人工智能难题的关键拼图,公司计划将空间智能应用于游戏和影视制作。

原标题《李飞飞空间智能首秀:AI靠单图生成3D世界,可探索,遵循基本物理几何规则》

广告声明:文内含有的对外跳转链接,仅供参考。

声明

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

搜索
排行榜
关注我们

扫一扫关注我们,了解最新精彩内容