基于深度学习方法的单目多视图三维重建
Part I 三维重建
代码:Part1
技术文档:[Markdown] [PDF]
原始图像:Original Images
效果图:
Part II 基于计算机视觉方法的点云到点云窗户识别
代码:Part2
技术文档:[Markdown] [PDF]
算法流程图:
Part III 基于ResNest的图像到点云的语义分割
代码:Part3
技术文档:[Markdown] [PDF]
语义分割结果:Semantic Segmentation Results
效果图:
参考文献
AA-RMVSNet [arXiv] [CVF] [PDF]
Wei Z, Zhu Q, Min C, et al. Aa-rmvsnet: Adaptive aggregation recurrent multi-view stereo network[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021: 6187-6196.
Cascade-MVSNet [arXiv] [CVF] [PDF]
Gu X, Fan Z, Zhu S, et al. Cascade cost volume for high-resolution multi-view stereo and stereo matching[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 2495-2504.
Ding Y, Yuan W, Zhu Q, et al. TransMVSNet: Global Context-aware Multi-view Stereo Network with Transformers[J]. arXiv preprint arXiv:2111.14600, 2021.
Sun J, Shen Z, Wang Y, et al. LoFTR: Detector-free local feature matching with transformers[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 8922-8931.
PatchmatchNet [arXiv] [CVF] [PDF]
Wang F, Galliani S, Vogel C, et al. PatchmatchNet: Learned Multi-View Patchmatch Stereo[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 14194-14203.
Zhang H, Wu C, Zhang Z, et al. Resnest: Split-attention networks[J]. arXiv preprint arXiv:2004.08955, 2020.
致谢
稀疏重建部分使用Colmap完成相机参数的获取。
稠密重建部分的代码主要来源于AA-RMVSNet。
点云切割与可视化使用CloudCompare及Meshlab完成。
调用Open3D进行表面重建。
Cascade+Transformer的代码主要基于kwea123实现的pytorch-lightning版本的Cascade-MVSNetl以及LoFTR进行实现。
窗户识别算法中部分思路参考了Color Space的矩形识别算法,图像处理技术主要基于冈萨雷斯的数字图像处理(第三版)。
语义分割部分调用了PyTorch-Encoding。