주택 통계의 중복 행을 지울 때 원본을 남겨야 하는 이유
발행
두 자료를 합칠 때 같은 거래가 두 번 보이면 하나를 지우고 싶어진다. 하지만 가격과 날짜가 같아도 서로 다른 거래일 수 있고, 같은 거래가 정정돼 두 행으로 남았을 수도 있다. 중복 판단의 기준을 먼저 문서로 만든다.
원본에는 출처와 내려받은 날짜를 붙이고 수정하지 않는다. 비교용 표에서 주소, 계약일, 면적, 층수와 제공처의 거래 식별값을 사용할 수 있는지 확인한다. 한 필드만 같다는 이유로 자동 삭제하지 않는다.
중복 후보는 확정 중복, 확인 필요, 별개 거래로 나눈다. 무엇을 근거로 같은 거래라고 판단했는지 행 번호를 남긴다. 정정이나 취소 표시는 제공처의 설명을 읽어 해석한다.
제거 전후의 행 수와 평균값 변화를 기록한다. 숫자가 크게 바뀌면 어떤 행이 영향을 줬는지 검토한다. 자료 제공처가 다른 경우 갱신 시점이 어긋날 수 있으므로 같은 거래의 두 버전이 왜 다른지도 살핀다.
중복 제거는 데이터를 깨끗하게 보이게 하는 장식이 아니다. 나중에 같은 자료와 규칙으로 결과를 재현할 수 있어야 하는 검증 작업이다.
자동 중복 제거 기능을 쓰기 전에 작은 표본을 직접 검토한다. 잘못된 규칙이 있으면 수천 행에서 비슷한 거래가 대량 삭제될 수 있다. 삭제된 후보 행을 별도 파일로 보관하고 나중에 재검토할 수 있게 한다. 일치 기준을 바꿨다면 처음부터 다시 계산해 이전 결과와 차이가 난 행을 확인한다.