거래 CSV의 지역 분류값 N/A가 원래 문자 코드인데 결측으로 바뀌는 이유

발행

거래 CSV의 지역 분류값 N/A가 원래 문자 코드인데 결측으로 바뀌는 이유

거래 CSV의 N/A가 실제 분류 코드라면 가져오기 과정에서 결측으로 바뀌지 않았는지 확인해야 한다. pandas read_csv는 기본적으로 N/A 같은 여러 문자열을 결측 토큰으로 인식한다. 파일에 문자가 들어 있었다는 사실과 가져온 열에 같은 문자열이 남아 있다는 사실은 다를 수 있다.

코드사전이 먼저인 가상 표

원자료 사전이 지역 분류값 A·B·N/A를 모두 유효 코드로 정하고, 빈 필드만 미기재라고 설명한다고 가정하자. 기본 가져오기 규칙이 N/A를 결측으로 해석하면 유효한 세 번째 분류가 사라진다. 이후 결측 행을 제외하거나 그룹별 집계에서 빠뜨리면 해당 코드의 거래가 원자료에 없었던 것처럼 보일 수 있다. 이는 국내 공식 지역코드가 실제 N/A라는 설명이 아니라 파서 규칙을 보이는 가상 사례다.

공식 read_csv 안내에 따르면 keep_default_na=False로 기본 결측 토큰 사용을 막고 na_values에 필요한 값만 지정할 수 있다. 이 가정에서는 빈 필드만 결측으로 취급하도록 별도 규칙을 두고 N/A는 문자로 보존하는 방식을 검토한다. 기본 토큰을 끄면 다른 미기재 표시도 문자로 남을 수 있으므로 모든 열에 같은 설정을 무조건 적용하지 않는다.

가져오기 전후에 같은 범주가 있는지 본다

열별 코드사전, 원파일의 실제 문자, 설정한 na_values와 가져온 고유값·결측 수를 비교한다. 단순히 화면에서 빈칸을 0으로 채우거나 N/A를 임의 지역으로 바꾸는 것은 원래 분류를 복원하는 방법이 아니다. 원본 파일과 설정을 보관하고, 유효 코드였던 행의 ID가 처리 후에도 남는지 확인한다.

na_filter=False를 쓰면 keep_default_na와 na_values가 무시되는 등 옵션 사이의 관계도 문서에서 확인해야 한다. 이 글은 pandas를 실제 실행해 특정 기관 파일을 복구한 보고서가 아니다. 결측을 보존할 필요성과 문자 코드를 보존할 필요성을 함께 다루는 가져오기 절차다. 정답은 모든 N/A를 살리거나 지우는 한 가지 규칙이 아니라, 자료가 정의한 코드와 도구의 파싱 규칙을 일치시키는 데 있다.

출처와 확인일