정보량 = 1 / 사건 발생 확률
엔트로피 = mean(정보량) = mean( 1 / 사건 발생 확률)
ㄴ 사건발생 확률이 높으면 엔트로피 낮고
ㄴ 사건발생 확률이 낮으면 엔트로피 높음(=사건 발생의 불확실성이 높다)
https://yngie-c.github.io/machine%20learning/2020/04/06/decision_tree/
의사 결정 나무 (Decision Tree) · Data Science
본 포스트는 문일철 교수님의 인공지능 및 기계학습 개론 I 강의를 바탕으로 작성하였습니다. 다양한 결정 트리 알고리즘에 대한 부분은 이곳 을 참조하였습니다. Decision Tree 규칙 기반 학습(Rule
yngie-c.github.io
엔트로피는 불순도
나무의 선택은 1-불순도 = 순도(0)
'DS > 모델' 카테고리의 다른 글
| k-means clustering (0) | 2023.02.11 |
|---|---|
| 랜덤 포레스트 (0) | 2023.02.05 |
| 나이브 베이즈 (0) | 2023.02.05 |
| KNN (0) | 2023.02.05 |
| [2021-객-3] 트리모델 - bias / variance (0) | 2023.01.09 |
