英伟达新方法入选CVPR 2023:对未知物体的6D姿态追踪和三维重建
普通手机“随手”拍的雕像,一下就变成了精细的三维重建图。
水杯来回动的动态场景下,细节清晰可见:



可处理大幅度姿态变化、有遮挡视频
野外测试



与SOTA对比




问题设置

首先,在连续的分割图像之间匹配特征,以获得粗略的姿态估计(第3.1节)。
其中一些带姿态的帧被存储在内存池中,以便稍后使用和精化(第3.2节)。
从内存池的子集动态创建位姿图(第3.3节);在线优化与当前姿态一起联合细化图中的所有姿态。
然后,这些更新的姿态被存储回内存池中。
最后,内存池中的所有带姿态的帧用于学习神经物体场(在单独的线程中),该场建模了物体的几何和视觉纹理(第3.4节),同时调整其先前估计的姿态,使姿态跟踪更加鲁棒。
IEEE Spectrum
《科技纵览》
官方微信公众平台

