3D gaussian splatting에서 rasterization 부분을 코드와 함께 분석해보겠습니다. 실제 코드 안에는 많은 내용이 있지만 여기서는 일부만 설명하려고 합니다. 그리고 혹시나 틀린 부분이 있다면 알려주시길 바랍니다. (혼자 분석해서 부정확할 수 있음) (3DGS에 대해 모르시는 분들은 이 글을 먼저 봐주세요!) 3DGS rasterization은 pytorch의 extension을 통해 빌드된 CUDA를 라이브러리처럼 불러와서 사용하게 되어 있습니다. CUDA에서 병렬적으로 계산하기 때문에 rendering하고 파라미터를 빠르게 업데이트할 수 있다는 장점이 있습니다. 이번 글에서는 forward (gaussian으로 rendering 하는 부분) 파트를 리뷰 해보겠습니다. 먼저 gaus..

CVPR 2024에 게재된  3D gaussian splatting을 이용한 SLAM입니다. Code: https://github.com/spla-tam/SplaTAMVideo: https://www.youtube.com/watch?v=jWLI-OFp3qU 이 논문의 특징은 앞서 리뷰한 Gaussian Splatting SLAM과 유사합니다. Gaussian을 이용하여 camera tracking과 mapping을 했습니다. 그리고 RGB-D SLAM이므로 depth 캠이 필요합니다. 전체 flowchart는 다음과 같습니다. 우선 Gaussian의 parameter를 오리지널 3 DGS와 살짝 다르게 정의합니다. 왼쪽은 기존의 3DGS gaussian 파라미터이고 오른쪽은 이 논문에서 정의한 gauss..

CVPR 2024에 게재된 3D gaussian splatting을 이용한 SLAM입니다.  Code: https://github.com/muskie82/MonoGSVideo: https://youtu.be/x604ghp9R_Q/   이 논문의 특징은 gaussian을 이용하여 camera tracking과 mapping을 했다는 점입니다. 그리고 RGB-D, RGB(monocular) 카메라 둘 다 사용이 가능합니다. 전체 flowchart는 다음과 같습니다. Tracking현재 frame에 대해 camera pose를 추정하는 단계입니다. 3D 상에 존재하는 gaussian을 현재 pose에서 컬러 이미지와 depth 이미지(RGB-D인 경우)를 rendering 하여 ground truth의 컬러 ..

본 포스팅은 논문 3D Gaussian Splatting for real-time radiance field rendering 를 읽고 정리한 내용입니다.아는 것이 많이 없어서 부족한 부분이 많습니다. 혹여나 틀린부분 있다면 지적해주시길 바랍니다! 제목: 3D Gaussian Splatting for real-time radiance field rendering SIGGRAPH 2023에 게재된 논문이며, NeRF와 풀고자하는 문제는 같습니다.여러 방향에서 촬영한 이미지와 카메라 pose 값이 주어지면 학습된 방향 이외에서 이미지를 생성하는 "View Synthesis"를 하는 task입니다.다만 기존의 NeRF 방식과는 전혀 다르고, 기존의 다른 NeRF 알고리즘들에 비해 압도적인 성능(Renderin..

본 포스팅은 논문 A Multi-State Constraint Kalman Filter for Vision-aided Inertial Navigation를 읽고 정리한 내용입니다. 아는 것이 많이 없어서 부족한 부분이 많습니다. 혹여나 틀린부분 있다면 지적해주시길 바랍니다! ICRA 2007 Anastasios I. Mourikis and Stergios I. Roumeliotis Abstract EKF를 기반으로 real-time vision inertial navigation 고안 EKF의 state vector에서 3D feature position이 포함된 measurement model이 필요로 하지 않음 Introduction Inertial sensor는 저렴하고 small-scale의 Po..

본 포스팅은 논문 Visual-Inertial Odometry of Aerial Robots를 읽고 정리한 내용입니다. 아는 것이 많이 없어서 부족한 부분이 많습니다. 혹여나 틀린부분 있다면 지적해주시길 바랍니다! Definitions Visual-Inertial Odometry (VIO)는 객체(로봇 같은 것)의 state (속도, 위치)를 추정하는 방법중의 하나 Overview Camera와 IMU의 센서는 서로 상보적인 관계이다. 카메라는 공간을 인지하는데 매우 유용한 센서이지만 mono 카메라의 경우는 scale ambiguity 문제 가 있고, low texture나 motion blur에도 매우 취약함. 반면 IMU는 고속으로 정보를 받아오기 때문에 정보가 많지만 noise가 많이 타고 시간이..

참고: https://www.wilselby.com/research/arducopter/modeling/ System Modeling Quadrotor G는 Global coordinate frame b는 body coordinate frame Euler angle (roll pitch yaw) 사용 여기에서는 North, East, Down (NED) coordinate system을 사용함(그림참조) NED coordinate system Parameters Translational Kinematics Global과 body 간의 transformation Rotational Kinematics Euler각이 매우 작다고 가정 (거의 0) Brushless Motor Equations of Motio..

본 포스팅은 논문 A micro Lie theory for state estimation in robotics를 읽고 정리한 내용입니다. 아는 것이 많이 없어서 부족한 부분이 많습니다. 혹여나 틀린부분 있다면 지적해주시길 바랍니다! DIFFERENTIATION RULES ON MANIFOLDS 앞에서 manifold에서의 derivation에 대해 정의했으니 성질에 대해서 알아보자 A. The chain rule Manifold에서의 Jacobian chain rule 미적분학에 나온 chain rule과 비슷함 간단한 증명방법은 오른쪽 Jacobian 일 때 작은 $\boldsymbol{\tau}$에 대해 다음이 성립한다고 했었다. 그대로 적용해보면 right,left cross Jacobian에 대해..

본 포스팅은 논문 A micro Lie theory for state estimation in robotics를 읽고 정리한 내용입니다. 아는 것이 많이 없어서 부족한 부분이 많습니다. 혹여나 틀린부분 있다면 지적해주시길 바랍니다! G. Derivatives on Lie groups Lie group에서 쓰이는 derivative를 유도하는 파트임 Jacobian은 domain이 변경되는 연산임을 기억하자 1 ) Reminder: Jacobians on vector spaces 다변수 함수의 Jacobian은 $f: \mathbb{R}^{m} \rightarrow \mathbb{R}^{n}$ 일 때 다음과 같다 벡터의 형태로 다르게 표현 해보면 $\mathbf{J}=\left[\mathbf{j}{1} \..