Glossary
데이터 스누핑 (Data Snooping)
같은 데이터를 수없이 뒤지다 보면, 우연한 패턴도 진짜처럼 보이게 되는 함정입니다.
한 데이터셋에서 여러 가설을 반복해서 검정하면, 순전히 우연으로도 “유의미해 보이는” 결과가 나옵니다. 시도 횟수가 많을수록 이런 가짜 발견의 확률이 커집니다.
투자 연구에서는 수많은 팩터와 규칙이 같은 시장 데이터 위에서 검증되었기 때문에, 발표된 성과 중 일부는 진짜 신호가 아니라 다중검정의 부산물일 수 있습니다.
그래서 좋은 백테스트 숫자를 볼 때는 “몇 개의 후보 중에서 뽑힌 것인가”를 물어야 합니다. 이 문제를 반영하면 요구되는 성과 기준이 높아지고, 과최적화와도 맞닿아 있습니다.