[2019-객-6] 로지스틱 회귀 & 시그모이드 함수 - 최대우도추정법(Maximum Likelihood Estimation, MLE)

 

---

chatgpt

 

로지스틱 회귀분석에서 회귀계수를 추정하는 일반적인 방법은 최대우도추정법(Maximum Likelihood Estimation, MLE)입니다. 이 방법은 관측된 데이터가 주어졌을 때, 모델의 파라미터를 선택하는데 사용됩니다.

 

로지스틱 회귀모델은 로지스틱 함수를 사용하여 예측값을 계산합니다. 이 함수는 선형회귀모델과 다르게 이항분류에 적용되는 함수로, 출력값이 0 또는 1로 제한됩니다. 회귀계수를 추정하기 위해서는, 로지스틱 함수의 파라미터인 가중치(weight)와 절편(intercept)을 찾아야 합니다.

 

최대우도추정법은 로그우도(log-likelihood)를 최대화하는 파라미터 값을 찾는 방법입니다. 로그우도는 데이터셋에 대한 로그확률의 합으로 구성됩니다. 즉, 모델의 파라미터에 대해 로그확률을 구하고, 이를 모든 데이터 포인트에 대해 합한 값입니다.

MLE를 사용하여 로지스틱 회귀분석에서 회귀계수를 추정하는 방법은, 로그우도를 최대화하는 파라미터 값을 찾는 것입니다. 이를 위해, 보통 경사하강법 또는 뉴턴-랩슨(Newton-Raphson) 알고리즘과 같은 최적화 기법을 사용합니다.

---

최대우도추정방법(Maximum Likelihood Estimation, MLE)은 일반적으로 다양한 통계 모델에서 파라미터 추정에 사용됩니다. 몇 가지 예를 들면:

1. 선형회귀: 최대우도추정법은 종속변수와 독립변수 사이의 관계를 모델링하는데 사용됩니다. 선형회귀 모델에서는 파라미터 추정에 최소제곱법(Least Squares)을 사용하는 것이 일반적이지만, MLE를 사용할 수도 있습니다.
2. 포아송 회귀: 포아송 회귀는 계수가 정수인 카운트 데이터를 모델링하는데 사용됩니다. 최대우도추정법은 포아송 회귀에서 파라미터 추정에 사용됩니다.
3. 베르누이 분포: 베르누이 분포는 이항 분류 문제를 모델링하는데 사용됩니다. 이 경우 MLE를 사용하여 모델 파라미터를 추정합니다.
4. 은닉 마르코프 모델(Hidden Markov Models, HMMs): 은닉 마르코프 모델은 시간에 따른 상태 변화를 모델링하는데 사용됩니다. 최대우도추정법은 HMMs에서 파라미터 추정에 사용됩니다.
5. 뉴럴 네트워크: 뉴럴 네트워크에서는 최대우도추정법을 사용하여 모델의 가중치와 절편을 추정합니다. 예를 들어, 로지스틱 회귀 모델과 같은 분류 문제를 다루는데 사용됩니다.

이 외에도 최대우도추정법은 다양한 통계 모델에서 파라미터 추정에 사용됩니다. 따라서 MLE는 매우 일반적이고 유용한 방법론 중 하나입니다.

 

 

---