靠网上晒的景点照就能还原 3D 建模,浙大团队这是要带我们云

IT资讯2年前 (2022)更新 IT资讯
0

本篇文章给各位网友带来的资讯是:靠网上晒的景点照就能还原 3D 建模,浙大团队这是要带我们云旅游? 详情请欣赏下文

以 NeRF 为代表的神经渲染技术高速发展,学界已经不满足合成几个新视角让照片动起来了。

接下来要挑战的是根据照片直接输出 3D 模型,可以直接导入到电影、游戏和 VR 等图形生产线里的那种。

靠网上晒的景点照就能还原 3D 建模,浙大团队这是要带我们云

所用照片不是出自高质量数据库,就是直接从网上搜集游客拍摄的各大景点,设备、天气、距离角度等都会不一致。

生成的结果远看结构完整,近看细节丰富,如果你有 VR 设备也可以在 Demo 中直接预览 3D 版。

靠网上晒的景点照就能还原 3D 建模,浙大团队这是要带我们云

这项最新突破由浙江大学和康奈尔大学团队合作完成,登上图形学顶会 SIGGRAPH 2022。

靠网上晒的景点照就能还原 3D 建模,浙大团队这是要带我们云

而在这之前,同类技术生成的 3D 模型连形状完整都做不到。

靠网上晒的景点照就能还原 3D 建模,浙大团队这是要带我们云

看到这里,网友纷纷表示这个领域的进展比人们想象的要快。

靠网上晒的景点照就能还原 3D 建模,浙大团队这是要带我们云

“慢点学,等等我”。

靠网上晒的景点照就能还原 3D 建模,浙大团队这是要带我们云

那么,这项研究靠什么取得了突破?

融合两种采样方式

具体来说,这项研究的基本框架借鉴了 NeurIPS 2021 上的 NeuS,一种把隐式神经标准和体积渲染结合起来的方法。

靠网上晒的景点照就能还原 3D 建模,浙大团队这是要带我们云

但是 NeuS 使用基于球体的采样(Sphere-based sampling)方法,对于近景、小物体来说还算适合。

用于结构复杂的大型建筑物的话会有大量采样点采在空白区域,增加大量不必要的计算压力。

靠网上晒的景点照就能还原 3D 建模,浙大团队这是要带我们云

为解决这个问题,研究人员提出体素引导(Voxel-guided)和表面引导(Surface-guided)混合的新采样方法。

靠网上晒的景点照就能还原 3D 建模,浙大团队这是要带我们云

体素引导可以避免不必要的浪费,训练时所需射线(Traning ray)可以减少 30%

再结合表面引导增加真实曲面周围的采样密度,帮助神经网络更好拟合,避免丢失细节。

在消融实验中可以看到,仅使用体素引导方法收敛的比基于球体的方法快,但不如混合方法细节丰富。

靠网上晒的景点照就能还原 3D 建模,浙大团队这是要带我们云

与之前同类研究对比,新方法生成模型的完整性和细节方面更出色。

靠网上晒的景点照就能还原 3D 建模,浙大团队这是要带我们云

训练速度上也有明显优势,特别是在大型场景墨西哥城美术宫(PBA)。

靠网上晒的景点照就能还原 3D 建模,浙大团队这是要带我们云

▲ Ours 为完全收敛结果,带小人图标的是训练过程中一个检查点

当然,新方法也不是完全没有缺点。

一个继承自 NeRF 的局限性是,如果相机位置校准有偏差会影响最终结果。

还有一个难以解决的问题,就是照片拍不到的建筑物背面和内部就无法精确重建了。

靠网上晒的景点照就能还原 3D 建模,浙大团队这是要带我们云

One More Thing

最后再补充一点,浙大团队中一些成员,之前还研究了神经 3D 人体重建。

靠网上晒的景点照就能还原 3D 建模,浙大团队这是要带我们云

靠网上晒的景点照就能还原 3D 建模,浙大团队这是要带我们云

可应用于为体育比赛提供自由视角的视频重放。

靠网上晒的景点照就能还原 3D 建模,浙大团队这是要带我们云

也是 666 了。

论文地址:

https://arxiv.org/abs/2205.12955

GitHub 仓库:

https://zju3dv.github.io/neuralrecon-w/

参考链接:

[1]https://zju3dv.github.io/neuralbody/

© 版权声明
好牛新坐标 广告
版权声明:
1、IT大王遵守相关法律法规,由于本站资源全部来源于网络程序/投稿,故资源量太大无法一一准确核实资源侵权的真实性;
2、出于传递信息之目的,故IT大王可能会误刊发损害或影响您的合法权益,请您积极与我们联系处理(所有内容不代表本站观点与立场);
3、因时间、精力有限,我们无法一一核实每一条消息的真实性,但我们会在发布之前尽最大努力来核实这些信息;
4、无论出于何种目的要求本站删除内容,您均需要提供根据国家版权局发布的示范格式
《要求删除或断开链接侵权网络内容的通知》:https://itdw.cn/ziliao/sfgs.pdf,
国家知识产权局《要求删除或断开链接侵权网络内容的通知》填写说明: http://www.ncac.gov.cn/chinacopyright/contents/12227/342400.shtml
未按照国家知识产权局格式通知一律不予处理;请按照此通知格式填写发至本站的邮箱 wl6@163.com

相关文章