Ch01-2. Introduction to Sensor Fusion 자율주행 데이터셋, 평가 지표

<목차>

1. 센서퓨전 기반 3차원 객체 검출 기술 개요

2. 자율주행에 사용되는 센서

3. 자율주행 데이터셋

4.자율주행 기술 성능 평가지표

5. [실습1] 자율주행 데이터셋 살펴보기 nuScenes

 

3. 자율주행 데이터셋

 자율주행은 학습 기반으로 구현하기에 목적에 맞는 적절한 학습 데이터를 사용하는 것은 매우 중요하다. 자율주행을 구현하는데 cctv와 같이 고정된 곳에서의 데이터를 사용하는 것은 적절하지 않다.

자율주행에 적합한 데이터 vs 아닌 데이터

 

• 학습 데이터셋을 고를 때 고려 사항

1) Sensor Configuration

 내가 어떤 걸 구현하고 싶냐에 따라 어떤 센서 구성을 가진 데이터인지 확인해야만 한다. 내가 만약 4D Radar를 연구하고 싶은데 카메라와 라이더 정보만 있는 데이터를 사용하는 건 불가능할 것이다.

센서가 어떻게 구성되어 있는지 뿐 아니라, 360도를 다 보는지 전방만 보는지 Field of view((FOV)) 또한 고려해야 한다.

 

2) Class Definition

 데이터에 어떤 라벨이 존재하는지도 확인해야한다. 내가 만약에 어린 아이를 더 잘 검출하는 자율주행 시스템을 구현 하고 싶다면 어린 아이 객체가 존재하고 이에 대한 라벨링이 되어 있는 데이터를 사용해야한다.

 

3) Data Diversity

 Location, time, weather, Driving complexity 등의 데이터의 다양성도 고려해야 한다. 전천후 강인한 자율주행 시스템을 연구하고 싶다면 다양한 날씨와 시간대가 포함된 데이터를 사용해야할 것이다. 

 

 

• 자율주행 데이터셋 소개

 

1) KITTI Dataset

https://www.cvlibs.net/datasets/kitti/

The KITTI Vision Benchmark Suite

카메라가 전방에만 있기 때문에 객체 라벨링이 전방에만 되어 있고 3개의 라벨만 존재하는 한계가 존재한다.

 

Object tracking, detectionm Depth Estimation 등 다양한 Task에 적합한 데이터를 제공한다.

 

2) Waymo Open Dataset

https://waymo.com/open/

About – Waymo Open Dataset

키티 데이터보다 좀 더 많은 센서와 각도로 구성되어 있고, 더 다양하고 많은 데이터를 제공한다.

 

3) nuScenes

https://www.nuscenes.org/

https://www.nuscenes.org/

 

 다른 데이터 대비 많은 객체 라벨링이 존재한다. 

 

[기획] 자율주행 오픈소스 데이터셋 TOP 5 소개 - 공개SW 포털

위 자료를 가볍게 참고하자.

 

 

 

• How to use Dataset?

일반적으로 위에서 소개된 large & high-quality dataset들을 사용하여 Pre-training를 진행하고 우리 task에 맞는 작은 데이터셋에 대해서 Fine tuning을 진행하면 더 좋은 성능을 확보할 수 있다.

 

이때 사전 훈련 데이터셋과 파인 튜닝 데이터셋이 같은 환경, 객체 라벨, 도메인, 센서 등을 갖는지를 잘 고려해야만 한다.

 

 

---

4.자율주행 기술 성능 평가지표

• 기본 평가 지표: Precision, Recall

 자율 주행 시스템을 평가하기 위한 평가 지표를 알아보기 전, 우선 Precision, Recall 개념을 다시 알고 넘어가야 한다. 이를 바운딩 박스 관점에서 생각해보자.

위 행렬을 Confusion Matrix 혼동 행렬이라고 한다.

TP: 객체가 있다고 예측해((P)) BBox를 그렸는데, 해당 박스 안에 실제로 있는 경우((T))

FP: 객체가 있다고 예측해((P)) BBox를 그렸는데, 해당 박스 안에 실제로 없는 경우((F))

FN: 객체가 없다고 예측해((N)) BBox를 그리지 않았는데, 실제로 있는 경우((F))

TN: 객체가 없다고 예측해((N)) BBox를 그리지 않았는데, 실제로 없는 경우((T))

 

 뒷 글자 P/N은 모델의 판단이라고 생각하면 된다. P는 있다고 예측, N은 없다고 예측한 것이다. 뒷 글자를 먼저 해석한 후, 그 판단이 맞았는지 틀렸는지를 앞 글자T/F로 확인하면 된다. 

ex) FN: N = 없다고 예측 -> F = 없다고 예측한 판단이 틀렸음. 즉 객체가 존재함.

 

Precision은 물체가 있다고 예측하고 바운딩 박스를 그린 것 중에서 실제로 그 바운딩 박스 안에 물체가 존재하는 확률이다.

 위 예시에서 초록색 바운딩 박스가 물체가 존재하는데 있다고 예측한 TP, 빨간 바운딩 박스가 물체가 존재하지 않는데 있다고 예측한 FP이다. 즉 맞다고 예측한 것들((TP+FP)) 중에서 실제로 맞는((TP)) 비율을 Precison이라고 한다.

 

Recall은 검거율이라고도 하는데, 실제로 객체가 존재하는 TP와 FN 중에서 잘 판단한 TP의 비율을 말한다. 

두 지표가 높을 수록 시스템의 성능이 좋음은 자명하다. 하지만 이 두 수치는 trade-off 관계에 있기에 적절한 decision threshold를 통해 이를 조정해나가야만 한다. 이를 고려하는 평가지표를 Average Precision((AP))라고 한다. 

 

 

• 자율 주행 기술 성능 평가 지표

1) Average Precision((AP)): Classification 관점

 해당 지표를 통해 객체의 클래스를 잘 분류((Classification))했는지 성능을 평가하게 된다.

두 지표는 trade-off 관계이므로 해당하는 두 지표를 x, y축으로 하는 그래프를 그리고 면적을 구하게 된다.

실질적으로는 모든 클래스에 대해서 AP를 구하고 평균을 구한 mAP를 사용하게 된다.

 

2) Matching Criteria: Localization 관점

 어떤 검출 결과 그니까 어떤 바운딩 박스를 TP로 결정할 것이냐를 정하는 수치다. 박스의 위치를 고려하거나 박스의 크기를 고려하게 될 것이다.

 

• Intersection over Union ((IoU))

Prediction과 Ground Truth 사이에 얼마나 겹쳤나를 측정하게 된다. 당연히 클 수록 좋다.

• Generalized IoU ((GIoU))

 IoU는 Prediction과 Ground Truth Box가 아에 겹치지 않는 경우 Loss가 0이 되고, 어느정도의 오차로 교집합이 생기지 않은지 알 수 없기에 gradient vanishing 문제가 생기게 된다.

Loss = 1 - GIoU

이를 해결하기 위해 Prediction((B)) 과 Ground Truth Box((A))를 모두 포함하는 최소 크기의 Box((C))를 사용하게 된다.

C＼(A ∪ B)는 C box 영역에서 A와 B box의 합집합을 뺀 영역을 의미한다.

 

즉 C 박스에서 안쓰는 영역이 클 수록 GIoU가 작아질 것이며 이를 1에서 빼서 Loss로 사용하므로 전체 Loss는 커질 것이다. 이해가 잘 안되면 위 식을 잘 보면서 생각해보면 간단하다.

https://silhyeonha-git.tistory.com/3

[Deep Learning] IoU 개념 정리 (IoU, GIoU, DIoU, CIoU)

• 3D IoU

2D에서 3D로 확장했을 뿐 개념은 같다.

• nuScenes Detection Metrics

위에서 소개한 자율주행 데이터셋 중 nuScenes 데이터는 다음과 같은 metrix를 사용한다.

Prediction과 Ground Truth의 중심 거리를 확인하여 어느정도 이내 거리에 존재하면 같은 객체로 판단하고, TP 끼리 얼마나 틀어져 있는지, 크기가 다른지, 속도 등을 확인하게 된다.

• Waymo Detection Metrix

위에서 소개한 자율주행 데이터셋 중 Waymo 데이텃세은 다음과 같은 metrix를 사용한다.

거리방향오차(Longitudinal Error)에 강인한 Metric을 사용하는데 이를 Longitudinal Error Tolerant 3D Average Precision((LET-3D-AP))라고 한다.