행정동 코드가 빈 거래행은 그룹별 합계에서 조용히 빠질 수 있나

행정동 코드가 비어 있는 거래는 거래금액이 정상이어도 그룹별 합계에서 빠질 수 있다. pandas groupby의 기본 dropna=True는 그룹 키에 NA가 있는 행을 해당 집계에서 제외한다. 가격이나 면적의 결측을 처리하는 문제와, 묶을 기준인 코드가 비어 있는 문제를 나누어 살펴야 한다.

원합계 350이 지역 합계에서는 300

가상의 세 거래가 A동 100, B동 200, 코드 NA 50이라고 하자. 금액을 모두 더한 원합계는 350이다. 코드별로 기본 groupby 합계를 내면 A동 100과 B동 200만 남아 합은 300이 된다. 코드 미상의 금액 50이 삭제된 원본 오류라기보다 집계 옵션 때문에 보이지 않은 것이다. dropna=False로 NA 그룹을 포함하면 A동 100, B동 200, 미상 50이 되어 원합계와 맞는다.

미상 50을 A동이나 B동에 임의 배분해 합계를 맞추면 안 된다. NA 그룹은 분류되지 않았다는 정보를 남기는 칸이지 새로운 행정동을 만든 것이 아니다. 데이터셋이 정한 특수 코드나 문자열 빈칸은 실제 NA와 다르게 처리될 수 있으므로 공식 필드 설명과 가져오기 규칙도 확인한다.

분류 전후의 두 합계를 함께 보관한다

검산표에는 전체 유효 거래 수·금액, 코드가 있는 거래의 합계, 코드 미상 거래의 수·금액을 둔다. 여러 열을 동시에 그룹 키로 쓰면 어느 열의 NA 때문에 행이 제외됐는지도 확인한다. 값의 결측과 키의 결측을 같은 ‘자료 없음’ 한 칸으로 합치면 원인을 찾기 어렵다.

이 글의 세 거래와 금액은 연산을 보여주는 예이며 실제 기관 파일을 집계한 결과가 아니다. 미상 거래를 포함해 원합계가 맞았더라도 지역별 분류가 정확하다는 검증은 따로 필요하다. 보고서에서는 ‘분류된 거래 합계’인지 ‘미상을 포함한 전체 합계’인지 제목과 주석으로 구분한다.