집값 예측을 검증하면서 미래 거래를 학습에 섞으면 어떤 누수가 생기나

집값 예측모형의 검증에서 미래 거래를 학습에 섞은 뒤 과거 거래를 맞히게 하면 실제 예측 상황보다 유리한 시험이 될 수 있다. 예측일에 아직 알 수 없었던 정보를 사용하기 때문이다. 무작위로 학습·시험 행을 나눴다는 사실만으로 시간 누수가 차단되는 것은 아니다.

예측일을 한 줄로 고정한다

가상의 거래가 1월부터 6월까지 있다고 하자. 5월 가격을 미리 예측하는 검증이라면 4월 말까지 이용 가능했던 정보로 학습하고 5월 거래를 시험하는 구조를 생각할 수 있다. 6월 거래를 학습에 넣고 5월을 평가하면 그 시점에는 없던 시장 흐름을 이미 본 셈이다. 실제로는 계약월과 공개월이 다를 수도 있어 4월 계약이라고 모두 4월 말에 알 수 있었다고 가정하지 않는다.

scikit-learn TimeSeriesSplit 문서는 다른 분할법이 미래 자료로 학습하고 과거를 평가하는 문제를 낳을 수 있다고 설명한다. 동시에 비교 가능한 시간 구간을 위해 표본의 시간 간격 조건도 제시한다. 거래는 불규칙하게 발생하므로 행 번호를 나눈 구간이 같은 길이의 달력 기간을 뜻하지 않을 수 있다. gap도 행 수 기준인지 기간 기준인지 구분해야 한다.

검증 기록에 시간 조건을 남긴다

학습 종료일, 당시 공개되어 있던 자료판, 시험 기간과 평가 지표를 적는다. 검증 결과를 보고 유리한 시험월만 고르지 말고 서로 다른 기간의 결과도 남긴다. 동일 주택의 후속 거래나 미래에 정정된 정보를 과거 입력에 사용할 수 있었는지도 살핀다. 입력자료를 정리하는 규칙과 가격을 맞히는 모형을 함께 점검해야 한다.

이 글은 가상의 월 구분으로 검증 절차를 설명하며 실제 주택가격 예측모형을 적합하거나 성능을 측정한 결과가 아니다. 시간 순서를 지켰어도 구조 변화와 자료 품질에 따른 불확실성은 남는다. 검증 점수를 개별 주택의 상승 확률이나 투자 성과 보증으로 바꾸지 않는다.