【DUSt3R】2张图2秒钟3D重建

1. DUSt3R是一种用于稠密和无约束立体三维重建的方法,其实现步骤如下:

2. 实际运行效果

3. 运行结果

4. 自问自答

4.1 为社么这里要是使用transform模型呢?

4.2 CroCo(通过跨视图完成3D视觉任务的自我监督预训练的一个研究)在DUSt3R的作用是什么,为什么这个模型要使用CroCo?

4.3 ViT在DUSt3R的作用是什么,为什么这个模型要使用ViT

4.4 Pointmaps是什么

4.5 输入2张图 分别经过哪些模块的处理,处理过程中数据的维度是什么变化的

4.6 Weiszfeld算法?

4.7 zero-shot setting什么含义?

5. reference

1. DUSt3R是一种用于稠密和无约束立体三维重建的方法,其实现步骤如下:

方法概述: DUSt3R的方法旨在实现对任意图像集合进行三维重建,无需事先了解相机校准信息或视点姿势。它通过将成对重建问题视为点图的回归来实现,放宽了通常的投影相机模型的硬约束。这种方法将单眼和双眼重建情况进行了统一,并提出了一种简单而有效的全局对齐策略&#x

推荐链接

评论可见,请评论后查看内容,谢谢!!!
 您阅读本篇文章共花了: