3D gaussian splatting에서 rasterization 부분을 코드와 함께 분석해보겠습니다. 실제 코드 안에는 많은 내용이 있지만 여기서는 일부만 설명하려고 합니다. 그리고 혹시나 틀린 부분이 있다면 알려주시길 바랍니다. (혼자 분석해서 부정확할 수 있음) (3DGS에 대해 모르시는 분들은 이 글을 먼저 봐주세요!) 3DGS rasterization은 pytorch의 extension을 통해 빌드된 CUDA를 라이브러리처럼 불러와서 사용하게 되어 있습니다. CUDA에서 병렬적으로 계산하기 때문에 rendering하고 파라미터를 빠르게 업데이트할 수 있다는 장점이 있습니다. 이번 글에서는 forward (gaussian으로 rendering 하는 부분) 파트를 리뷰 해보겠습니다. 먼저 gaus..

CVPR 2024에 게재된  3D gaussian splatting을 이용한 SLAM입니다. Code: https://github.com/spla-tam/SplaTAMVideo: https://www.youtube.com/watch?v=jWLI-OFp3qU 이 논문의 특징은 앞서 리뷰한 Gaussian Splatting SLAM과 유사합니다. Gaussian을 이용하여 camera tracking과 mapping을 했습니다. 그리고 RGB-D SLAM이므로 depth 캠이 필요합니다. 전체 flowchart는 다음과 같습니다. 우선 Gaussian의 parameter를 오리지널 3 DGS와 살짝 다르게 정의합니다. 왼쪽은 기존의 3DGS gaussian 파라미터이고 오른쪽은 이 논문에서 정의한 gauss..

CVPR 2024에 게재된 3D gaussian splatting을 이용한 SLAM입니다.  Code: https://github.com/muskie82/MonoGSVideo: https://youtu.be/x604ghp9R_Q/   이 논문의 특징은 gaussian을 이용하여 camera tracking과 mapping을 했다는 점입니다. 그리고 RGB-D, RGB(monocular) 카메라 둘 다 사용이 가능합니다. 전체 flowchart는 다음과 같습니다. Tracking현재 frame에 대해 camera pose를 추정하는 단계입니다. 3D 상에 존재하는 gaussian을 현재 pose에서 컬러 이미지와 depth 이미지(RGB-D인 경우)를 rendering 하여 ground truth의 컬러 ..

본 포스팅은 논문 3D Gaussian Splatting for real-time radiance field rendering 를 읽고 정리한 내용입니다.아는 것이 많이 없어서 부족한 부분이 많습니다. 혹여나 틀린부분 있다면 지적해주시길 바랍니다! 제목: 3D Gaussian Splatting for real-time radiance field rendering SIGGRAPH 2023에 게재된 논문이며, NeRF와 풀고자하는 문제는 같습니다.여러 방향에서 촬영한 이미지와 카메라 pose 값이 주어지면 학습된 방향 이외에서 이미지를 생성하는 "View Synthesis"를 하는 task입니다.다만 기존의 NeRF 방식과는 전혀 다르고, 기존의 다른 NeRF 알고리즘들에 비해 압도적인 성능(Renderin..