Ch03. Point cloud matching
<목차>
3-1. Point cloud 매칭 및 활용 분야
3-2. Point cloud 특징 추출 방법
3-3. 고전적인 Point cloud 매칭 방법론, 실습
3-4. 딥러닝 기반 Point cloud 매칭 - RPM-Net
3-5. TEASER 라이브러리를 통한 Point cloud 정합
3-6. Point cloud 매칭을 활용한 Place recognition-PointNetVLAD
3-2. Point cloud 특징 추출 방법
- Point cloud 특징 추출 방법론
이미지에서 feature를 추출하는 것 처럼 Point cloud에서도 feature를 추출할 수 있다. 이에 대해 알아볼 것이다.
1) Harris corner 3D
보통 컴퓨터 비전에서 corner point 그니까 interest point를 detection할 때 가장 기본적으로 Harris corner를 사용한다.
이미지 코너 부분에서는 주로 강한 변화가 일어나 gradient가 크게 나오는데 이러한 속성을 이용한 것이 shifted intensity에서 intensity를 뺀 값을 이용한 것이다.
이러한 방식을 3D 포인트 클라우드에 확장한 것이 사용할 수 있도록 Harris Corner 3D이다. 단순한 수식적으로 봤을 때, 그냥 z 좌표를 추가해주면 된다. 3d 데이터를 가지고도 corner를 찾을 수 있다.
기본적인 Error function이 3차원으로 늘어나 복잡하니 그대로 계산하지 않고 공분산 행렬 M을 정의한 후, 1차 근사하여 Harris Corner 3D 해를 구한다. 해를 구한다.
2) Harris corner 6D
Harris Corner 3D보다는 보통 해당 방법론을 사용한다. Intensity 정보 뿐 아니라, normal vector 정보까지 포함한 공분산 행렬을 사용한다. 좀 더 정확한 corner point를 찾을 수 있다.
3) Intrinsic Shape Signatures (ISS)
https://www.open3d.org/docs/latest/tutorial/Advanced/iss_keypoint_detector.html
Intrinsic Shape Signatures (ISS) — Open3D latest (664eff5) documentation
Intrinsic Shape Signatures (ISS) In this tutorial we will show how to detect the ISS Keypoints of a 3D shape. The implementation is based on the keypoint detection modules proposed in Yu Zhong , “Intrinsic Shape Signatures: A Shape Descriptor for 3D Obje
www.open3d.org
ISS는 3D 포인트 클라우드에서 중요한 특징을 추출하는 알고리즘. 주로 로컬 영역에서 가장 변별력 있는 key 포인트(예를 들어, 뾰족한 지점이나 구부러진 부분 등)를 추출하는 데 사용된다. 이 방식은 물체의 모양 자체에서 중요한 특징을 추출하므로 다양한 환경에서 안정적인 특징을 제공하는 장점이 있다. Open3d에서도 이 방식을 지원하기에 사용이 편하다.
4) Point Feature Histogram (PFH)
아까 까지는 feature point를 검출하는 방식이라면, 지금 부터는 feature descriptor를 뽑아내는 방법이다.
포인트 클라우드에서 포인트 간의 기하학적 관계를 분석해 특징을 추출하는 방법. 주어진 포인트 주변의 모든 포인트와의 거리와 각도를 계산해 descriptor 특징 벡터를 만든다. 이를 통해 물체의 형상 정보를 효과적으로 표현할 수 있다. 그림을 보면 cluster를 해서 쌍을 만드는 걸 볼 수 있다. 하지만 계산 비용이 많이 들기 때문에 속도가 중요한 경우에는 사용하기 어려울 수 있다.
5) Fast Point Feature Histogram (FPFH)
FPFH는 PFH의 속도 문제를 해결하기 위해 개발된 방법이다. 직접적으로 연결된 pair에 대해서만 계산을 한다. PFH와 마찬가지로 포인트 클라우드 내에서 포인트 간의 기하학적 관계를 분석하지만, 더 간단한 방식으로 특징 벡터를 생성해 계산 효율을 높였다.
6) Normal Aligned Radial Feature (NARF) **이거 읽고 싶던 논문에 있었음..
NARF는 3D 포인트 클라우드에서 특징을 추출하는 또 다른 방법으로, 주로 포인트 클라우드의 표면 노멀(법선)과 정렬된 방사형 특징을 추출한다. 이 방식은 물체 표면의 방향 정보를 반영하여 더 정교한 특징을 만들어 내며, 특히 정합이나 물체 인식에 유용하다.
3-3. 고전적인 Point cloud 매칭 방법론, 실습
3-4. 딥러닝 기반 Point cloud 매칭 - RPM-Net
3-5. TEASER 라이브러리를 통한 Point cloud 정합
3-6. Point cloud 매칭을 활용한 Place recognition-PointNetVLAD