Cross-Modal Matching 기하 검증
Cross-Modal Matching 기하 검증은 matcher가 만든 correspondence 중 하나의 기하 모델을 따르는 inlier를 선택하고 최종 변환 또는 센서 보정값을 추정하는 단계다.
개요
Cross-modal matcher는 많은 후보를 만들지만 confidence가 높은 오매칭도 섞일 수 있다. RANSAC 계열은 최소 표본으로 geometric model을 반복 추정하고 residual이 작은 correspondence를 inlier로 선택한다. OpenCV에서는 RANSAC과 USAC 계열을 사용할 수 있고 MAGSAC++도 널리 사용된다.
핵심 구조
지도와 정사영상처럼 거의 평면 관계라면 affine 또는 homography가 유용하지만 off-nadir 위성 영상과 지형 기복이 큰 장면에서는 단일 homography가 국부적으로만 맞을 수 있다. 위성 제품에서는 RPC sensor model과 DEM을 결합해 image-to-ground residual을 평가하는 것이 더 직접적이다.
Inlier threshold는 입력 해상도와 GSD를 고려해야 한다. 1 pixel이 0.3 m인 영상과 10 m인 영상에서 같은 3 pixel threshold의 의미는 다르다. 최종 제품 지표는 ground truth point를 이용한 meter error로 환산하는 것이 좋다.
활용
모든 matcher adapter 뒤에 동일 verifier interface를 두면 모델 교체가 쉬워진다. MatchResult에 inlier mask, model parameter, residual statistic을 추가하고 최소 inlier 수, coverage, median residual을 실패 조건으로 사용할 수 있다.
한계 및 주의점
잘못된 기하 모델을 강제로 적용하면 좋은 correspondence도 버려진다. 반복 패턴이 많은 도시·농경지에서는 틀린 match들이 우연히 하나의 homography를 만족할 수 있어 spatial coverage와 sensor prior를 함께 사용한다.