너무 많은 팩터에 대한 경고

In Plain Terms

투자 연구에는 “이 지표 하나로 시장을 이길 수 있다”는 팩터가 수없이 발표됐어요. 밸류, 모멘텀, 저변동성처럼 유명한 것도 있지만, 이름조차 낯선 것이 훨씬 많습니다. 이 논문은 그 목록을 실제로 세어 봤더니 학술지에 보고된 팩터가 무려 약 316개에 달했다고 지적합니다. 문제는 그중 상당수가 진짜인지 확신하기 어렵다는 거예요.

핵심 아이디어는 의외로 단순해요. 수백 개의 후보를 같은 데이터로 계속 검사하다 보면, 순전히 운으로 “통계적으로 유의해 보이는” 것이 섞여 나올 수밖에 없습니다. 그래서 이 논문은 새로운 전략을 제안하는 대신, “무엇을 진짜 발견이라 부를 것인가”라는 기준 자체를 다시 세우자고 말합니다.

The Strategy

이 논문이 제안하는 것은 매매 전략이 아니라 검증의 문턱을 높이는 방법입니다. 보통 학계에서 한 팩터가 “유의하다”고 인정받으려면 t값이 약 2.0을 넘으면 됐어요. t값 2.0은 대략 “이 결과가 순전히 우연일 확률이 5%“라는 뜻입니다. 하지만 이 5%라는 관용은 팩터를 딱 하나만 검사할 때나 타당해요.

수백 개를 동시에 검사하면 이야기가 완전히 달라집니다. 아무 실력 없이 316개를 시험해도, 5% 기준이라면 그중 약 16개는 순전히 우연으로 “유의”하게 나올 수 있어요. 이것이 다중검정 문제이고, 데이터 스누핑이 위험한 이유입니다.

저자들은 통계학의 다중검정 보정 기법(Bonferroni, Holm, 그리고 BHY 방법)을 팩터 연구에 그대로 가져옵니다. 검사한 팩터 수가 많아질수록 각 팩터가 넘어야 할 문턱을 자동으로 끌어올리는 장치예요. 316개를 감안하면 통과 기준이 되는 p값은 방법에 따라 대략 0.02%–0.07% 수준까지 내려가고, 이를 t값으로 환산해 저자들이 내린 대표적 권고가 바로 **“앞으로 새 팩터는 t값이 3.0을 넘어야 한다”**는 것입니다. t값 3.0은 대략 p값 0.27%에 해당해요. 관문을 2.0에서 3.0으로 올리는 것만으로도 통과하는 팩터의 수는 크게 줄어듭니다.

Reality Test

이 논문은 특정 전략의 수익률을 측정하는 백테스트가 아니라 방법론 연구라, 여기서 “검증 결과”란 수익률이 아니라 기준 자체에 관한 숫자예요. 저자들은 약 1960년대부터 2012년경까지 학술지에 보고된 팩터를 손으로 모아 약 316개를 목록화했습니다. 팩터 발표 속도도 가속되어, 1970–80년대에는 연 몇 개 수준이던 것이 2010년대에는 연 40개를 넘겼다고 보고했어요.

이 목록에 다중검정 보정을 적용하자, 흔히 쓰던 t값 2.0 기준을 통과했던 많은 팩터가 사실은 문턱 미달일 수 있다는 결론이 나왔습니다. 저자들의 표현을 빌리면 “재무경제학에서 발표된 주장 중 상당수는 아마 거짓일 것”이라는 강한 경고예요. 다만 이 숫자들은 특정 시점(2012년경)까지 집계된 목록을 기준으로 한 것이고, 팩터가 계속 쌓이면 통과 문턱은 더 높아진다는 점을 논문 스스로 인정합니다.

한 가지 균형을 위해 덧붙이면, 이 논문의 강한 회의론이 과하다는 반론도 있어요. 후속 연구들은 더 높은 t값(예: 약 3.4–3.8)을 요구하기도 했고, 반대로 Chen(2022) 같은 연구는 다중검정을 다르게 모형화하면 “발표된 예측 대부분은 오히려 진짜에 가깝다”고 주장하기도 했습니다. 즉 정확한 문턱값은 여전히 논쟁 중이지만, “같은 데이터로 수백 번 검사하면 발견의 기준을 높여야 한다”는 이 논문의 핵심 메시지 자체는 널리 받아들여졌어요.

Pain Points

(1) 백테스트 숫자를 그대로 믿을 수 없다. 개인이 접하는 팩터 상품·콘텐츠는 대부분 화려한 백테스트 성과를 앞세웁니다. 이 논문의 함의는 냉정해요. 그 성과가 t값 2.0 기준에서만 유의하다면, 다중검정을 감안한 t값 3.0 관문을 통과하지 못할 가능성이 큽니다. 316개를 검사하면 실력 없이도 약 16개가 우연히 “유의”하게 나오는데, 우리가 광고에서 보는 것은 대체로 그중 가장 그럴듯해 보이는 것들이라는 점이 핵심 위험이에요.

(2) 관문을 통과해도 실현 수익은 별개다. 이 논문이 다루는 것은 “신호가 통계적으로 진짜인가”까지입니다. 설령 어떤 팩터가 t값 3.0을 넘어 살아남아도, 실제로 담으려면 회전율에서 나오는 거래비용, 세금, 그리고 전략 특유의 최대낙폭을 개인이 고스란히 떠안습니다. 즉 통계적 유의성은 필요조건일 뿐, 개인의 순수익을 보장하는 조건이 결코 아니에요.

(3) 개인은 이 검사를 직접 하기 어렵다. 다중검정 보정을 제대로 적용하려면 “지금까지 몇 개의 팩터가, 어떤 데이터로 검사됐는가”를 알아야 합니다. 이건 개인이 실무적으로 재현하기 거의 불가능해요. 그래서 이 논문은 개인에게 계산 도구라기보다 태도로 작동합니다. “이 신호는 수백 번의 시도 끝에 우연히 눈에 띈 것 아닌가”를 먼저 의심하는 습관 말이에요.

How It Connects Here

이 논문은 이 사이트가 좋은 성과를 볼 때마다 과최적화와 다중검정을 먼저 떠올리는 회의적 태도의 방법론적 뿌리예요. 개별 팩터를 다룬 모멘텀·밸류 노트를 읽을 때, 그 프리미엄이 이 관문을 통과할 만큼 견고한지 되묻는 잣대로 함께 쓰면 좋습니다.

The Verdict

이 논문은 새로운 전략을 주지 않습니다. 대신 대부분의 새로운 전략을 걸러낼 기준을 줘요. 발표된 약 316개의 팩터 앞에서, 통과의 문턱을 t값 2.0에서 3.0으로 올리자는 이 단순한 제안이 이후 팩터 연구의 표준적 회의론이 됐습니다.

그 기준을 통과하는 것이 생각보다 드물다는 사실 자체가, 화려한 신호를 좇기보다 단순 보유가 여전히 강력한 이유입니다. 대부분의 매력적인 팩터가 관문 앞에서 걸러진다면, 검증되지 않은 무언가를 고르는 위험을 감수하지 않는 인덱스 펀드 기반의 단순 보유가 오히려 담백한 선택일 수 있어요.