이번 챕터에서는 자율주행에 사용되는 센서, 데이터셋, 평가 지표에 대해 공부할 것이다.
<목차>
1. 센서퓨전 기반 3차원 객체 검출 기술 개요
2. 자율주행에 사용되는 센서
3. 자율주행 데이터셋
4.자율주행 기술 성능 평가지표
5. [실습1] 자율주행 데이터셋 살펴보기 nuScenes
1. 센서퓨전 기반 3차원 객체 검출 기술 개요
우리는 최종적으로 카메라, 라이더, 레이더와 같은 여러 센서들을 함께 사용하여 3D 환경에서의 Object detection을 수행할 것이다. 이를 위해 먼저 간단하게 Object detection과 Sensor fusion의 개념을 알고 넘어갈 필요가 있다.
- 2D Object Detection
RGB image와 같은 카메라 센서 입력이 주어졌을 때, 데이터셋에서 정의된 물체가 특정 위치에 존재할 확률을 출력한다.
즉 Classification과 Localization을 동시에 진행하는 것이다. 이때 이미지 좌표계 관점에서 이미지 픽셀 단위로 물체의 위치와 크기를 출력하게 된다.
결과로 나오게되는 Bounding Box는 보통 이미지 좌표계 관점에서 픽셀 단위로 Position [x, y] + Size [width, height] 총 4개의 자유도((DoF))를 갖게 된다.
- 3D Object Detection
LiDAR point cloud, radar point cloud 혹은 RGB image와 같은 센서 데이터가 입력으로 주어졌을 때, 데이터셋에서 정의된물체가 특정 위치에 존재할 확률을 내보게 된다. 이때 센서 좌표계 관점에서 정해진 metric unit으로 물체의 위치, 크기, 방향을 출력하게 된다.
결과로 나오는 3D BBox는 보통 센서 좌표계 관점에서 meter나 radian과 같은 metric 단위로 Position [x, y, z] + Size [width, length, height] + Pose [yaw] 총 7개의 자유도를 갖게 된다.
위와 같이 3D 환경에서 검출한 객체를 BBox를 통해 구분할 수도 있지만, 아래처럼 공간을 voxel 단위로 쪼개고 이곳에 물체가 존재하는지 3D Occupancy Prediction를 할 수도 있다.
- Why Sensor fusion?
센서 퓨전은 여러 센서들을 동시에 사용하자는 것이다. 이에 대한 장점은 다음과 같다.
1) Better Performance
센서 A와 B가 존재하고, 각 센서가 얻는 정보를 다음과 같이 벤다이어그램으로 표현해보자.
센서 퓨전 기술을 활용하여 센서 A만이 갖는 정보, 센서 B만이 갖는 정보 그리고 A와 B 모두가 확인하는 정보 모두를 사용하여 높은 성능을 기대할 수 있음은 자명하다.
2) Better Robustness
여러 센서를 사용하기 때문에 한 센서((B))가 고장나도 어느정도의 시스템 강인함을 유지할 수 있게된다.
2. 자율주행에 사용되는 센서
자율주행에 사용되는 센서는 크게 외부 광원에 반사된 물체의 광량을 측정하는 Passive Sensor와 센서에서 발사된 펄스를 물체에 반사시키고 이를 다시 측정하는 Active Sensor로 구분된다.
1) Passive Sensor
- Camera Sensor
태양, 가로등, 전조등과 같은 외부 광원에서 발사되어 물체에 반사된 광량을 측정한다. 쉽게 말하면 햇빛 때문에 보이는 자동차를 검출하겠다 이거다. 3D 환경을 2D Image plane으로 투영((projection))시키는 카메라 센서 특성상 거리 정보가 소실된다.
카메라 센서는 풍부한 의미론적 ((semantic)) 정보가 포함된 dense한 RGB 픽셀 정보를 제공한다.
2) Activate Sensor
- LiDAR
Laser diode에서 발사된 레이저 펄스가 물체에서 반사되어 돌아오기는 시간을 측정한다. 해당 시간과 레이저의 속도를 고려하여 물체가 어디에 존재하는지 확인하게 된다.
905 혹은 1550 nm 직진성이 강한 짧은 파장을 사용하기에 정확도가 높다. 하지만 정확도가 높은 만큼 비, 눈과 같은 기대하지 않은 물체가 레이저를 가리게 되면 이에 반응하여 노이즈가 생기게 된다. 따라서 적당한 알고리즘을 통해 노이즈 정보를 제거할 수 있어야 한다.
- Radar
라이더 센서와 비슷하지만 직진성이 강한 짧은 파장을 사용하던 라이더와 달리, 주로 Frequency Modulated Continuous Wave((FMCW))라고 불리는 주파수 변조 신호를 사용하게 된다. 쉽게 말하면 긴 파장의 연속된 신호를 사용하는 것이다. 이 때문에 라이더와 달리 환경변화에 강인함을 보인다.
이를 정리하면 다음과 같다.
각 센서는 다른 장단점을 갖고 있으므로, 여러 센서를 통합하여 이용하는 Sensor fusion 기술을 적절히 사용하면 검출 성능을 극대화할 수 있을 것이다.
3. 자율주행 데이터셋
4.자율주행 기술 성능 평가지표
5. [실습1] 자율주행 데이터셋 살펴보기 nuScenes
'Autonomous Driving > 3. Sensor Fusion' 카테고리의 다른 글
| Ch01-3. Introduction to Sensor Fusion nuScenes 데이터셋 살펴보기 (2) | 2025.01.07 |
|---|---|
| Ch01-2. Introduction to Sensor Fusion 자율주행 데이터셋, 평가 지표 (1) | 2025.01.06 |