데이터 품질을 이해하기 위해 결측값, 이상값, 재현성, 메타데이터를 어떻게 읽어야 하는지 정리한 Move입니다.
이 Move는 데이터사이언스 개념을 이해하고 실제 데이터 해석으로 넘어가기 위한 기초 기준을 제공합니다.
01. 데이터 품질은 왜 중요한가
분석 결과의 신뢰도는 분석 방법보다 입력 데이터의 품질에 더 크게 좌우됩니다. 이 절에서는 데이터 품질을 분석 이전에 먼저 확인해야 하는 이유를 정리합니다.
02. 결측값과 이상값을 먼저 읽는 이유
결측값과 이상값은 통계량을 왜곡하고 모델 학습을 방해합니다. 분포를 살펴보기 전에 결측 비율과 이상값의 위치를 먼저 확인하면, 이후 분석에서 발생할 오류를 줄일 수 있습니다.
03. 재현 가능한 데이터의 조건
같은 데이터와 같은 절차로 같은 결과를 다시 얻을 수 있어야 분석이 검증 가능합니다. 수집 시점, 처리 절차, 버전이 기록되어 있는지 확인합니다.
04. 좋은 데이터셋을 확인하는 체크리스트
변수 설명, 단위, 결측 처리 방식, 라이선스, 출처가 함께 제공되는지 점검합니다. 이 항목들이 갖춰져 있으면 데이터셋을 다른 분석에 재사용하기 쉽습니다.