데이터 버전 관리

데이터 버전 관리는 머신 러닝 학습에 사용하는 데이터셋의 버전과 계보(lineage)를 관리하는 실무이다. 코드뿐 아니라 데이터까지 버전을 고정해야 실험을 재현할 수 있다.

역할

데이터셋 변경 이력을 기록하고, 어떤 데이터로 어떤 모델이 학습되었는지 추적할 수 있게 한다. 대규모 데이터는 파일 단위 버전 관리가 어려우므로 콘텐츠 해시 기반 저장과 원격 저장소 연동이 사용된다.

대표적인 도구로는 DVC(Data Version Control)와 Hugging Face Datasets가 있다.