Tree-Based Models

모델 지도

Decision Tree는 데이터에 질문을 반복해 if-else 규칙을 만들고, 분류에서는 Gini·Entropy, 회귀에서는 MSE·MAE 같은 기준으로 분할합니다. 깊이와 가지 수가 커질수록 복잡한 관계를 표현할 수 있지만 과적합 위험도 함께 커집니다.

3기 5회차 메인 발표 · PDF 6쪽

여러 트리를 합치는 방법

Bagging은 여러 표본에서 트리를 동시에 학습해 결과를 평균내고, Random Forest는 표본과 변수의 무작위성을 더해 트리 사이의 상관을 줄입니다. Boosting은 앞선 모델의 오답이나 잔차를 다음 모델이 순서대로 보완하며 AdaBoost, GBDT, XGBoost, LightGBM, CatBoost로 이어집니다.

3기 5회차 메인 발표 · PDF 24쪽

3기 5회차 메인 발표 · PDF 26쪽

해석과 조절

모델 이름을 나열하는 것보다 어떤 방식으로 트리를 만들고 합치는지, 깊이·잎의 크기·학습률 같은 복잡도 설정을 어떻게 조절하는지가 중요합니다. Feature importance는 질문의 단서가 될 수 있지만 인과관계나 변수의 독립적인 효과를 뜻하지는 않습니다.

팀 프로젝트

같은 검증 기준에서 초구 이후 다음 투구를 예측하는 팀별 결과를 비교했습니다. 타자 유형, 투구 조합, 경기 상황을 어떻게 입력으로 정의했는지와 모델의 오차가 어느 상황에서 커지는지를 함께 발표했습니다.

다음 단계

성능이 가장 높은 모델 하나를 고르는 데서 멈추지 않고, 예측 시점과 데이터 누수를 확인한 뒤 결과를 스포츠 의사결정으로 해석합니다.