데이터 버전 관리 문서 원본 보기

'''데이터 버전 관리'''는 머신 러닝 학습에 사용하는 데이터셋의 버전과 계보(lineage)를 관리하는 실무이다. 코드뿐 아니라 데이터까지 버전을 고정해야 실험을 재현할 수 있다.

== 역할 ==
데이터셋 변경 이력을 기록하고, 어떤 데이터로 어떤 모델이 학습되었는지 추적할 수 있게 한다. 대규모 데이터는 파일 단위 버전 관리가 어려우므로 콘텐츠 해시 기반 저장과 원격 저장소 연동이 사용된다.

대표적인 도구로는 DVC(Data Version Control)와 [[Hugging Face]] Datasets가 있다.

== 함께 보기 ==

* [[ML 파이프라인]]
* [[MLOps]]

== 출처 ==

* [https://dvc.org/ DVC 공식 사이트]
* [https://huggingface.co/docs/datasets/ Hugging Face Datasets 문서]

[[분류:데이터 엔지니어링]]