[2021-객-5] adaboost vs gradient boosting

공통점: 부스팅, sequential(먼저 생성된 모델의 예측값이 다음 모델 생성에 영향)

차이점:

1) Weak learner: Stumps VS A leaf & Restricted trees

- stump (한 개 노드와 두 개의 가지를 갖는 매우 작은 decision tree) 를 사용

- restricted tree란, maximum number of leaves로 성장에 제한을 둔 decision tree

ㄴ Gradient Boosting의 첫 번째 weak learner는 모든 샘플의 output 평균을 값으로 갖는 하나의 leaf

2) Predicted value: Output VS Pseudo-residual

- AdaBoost에서는 각 stump들은 모두 실제 output 값을 예측하는 모델

ㄴ따라서 이 값을 평균내거나 가중치를 곱한 평균을 통해, 실제 값에 가까운 예측값을 만들어냅니다.

- Gradient Boosting에서 각 restricted tree들이 예측하는 값은 실제 output과 이전 모델의 예측치 사이의 오차
ㄴ 최종 예측 시에는 각 모델의 오차를 scaling 후, 합하는 과정을 통해 실제 값에 가까운 예측값을 만들어냅니다.

3) Model weight: Different model weights (amount of say) VS Equal model weight (learning rate)

- G B: 동일한 learning rate

okso6441