XoFTR 문서 원본 보기

'''XoFTR'''(Cross-modal Feature Matching Transformer)는 visible image와 thermal infrared image 사이의 cross-modal, cross-view local feature matching을 직접 목표로 한 detector-free matcher다.

== 개요 ==

CVPR 2024 Image Matching Workshop에서 공개되었다. LoFTR 계열 구조를 기반으로 masked image modeling pre-training과 pseudo-thermal augmentation을 도입하고 scale 차이를 보정하는 refinement를 결합한다. 공식 저장소는 METU-VisTIR 데이터와 pretrained weight를 제공하며 Apache-2.0 라이선스를 표시한다.

== 핵심 구조 ==

Keypoint detector와 descriptor를 독립 구성하기보다 두 영상 feature map의 관계를 transformer에서 직접 추론한다. coarse match 뒤 sub-pixel refinement를 적용한다. Visible↔TIR에 최적화된 학습 경험은 EO↔IR에서 직접적인 장점이 될 수 있다.

== 활용 ==

주야간 감시, 항공·드론 EO/IR payload alignment, thermal map overlay, 다중 센서 표적 추적 전 registration에 활용할 수 있다. [[RoMa]], [[MINIMA]]와 함께 두어 센서 특화 학습의 효과를 비교한다.

== 한계 및 주의점 ==

Visible-TIR 성능이 SAR, 지도, depth까지 자동으로 확장되지는 않는다. 입력 해상도와 scale 변화, GPU memory, checkpoint별 성능을 측정해야 한다. 폐쇄망 배포를 위해 weight 로컬 패키징과 [[PyTorch]]·CUDA dependency도 확인한다.

== 함께 보기 ==
* [[Cross-Modal Image Matching 기술 지도]]
* [[MINIMA]]
* [[EfficientLoFTR]]
* [[Cross-Modal Matching 벤치마크]]

== 출처 ==
* [https://github.com/OnderT/XoFTR XoFTR 공식 GitHub]
* [https://openaccess.thecvf.com/content/CVPR2024W/IMW/html/Tuzcuoglu_XoFTR_Cross-modal_Feature_Matching_Transformer_CVPRW_2024_paper.html CVPRW 2024]
* [https://arxiv.org/abs/2404.09692 arXiv]

[[분류:Cross-Modal Image Matching]]
[[분류:Thermal Imaging]]