Logistic Regression

로지스틱 회귀 (Logistic Regression) 는 어떤 입력을 0~1 사이의 값으로 출력한다.

 

 

입력값(input) x와 확률(likelihood) p

 

그래서 이진 분류 (Binary Classification) 문제에 적용되는 경우가 많다.

 

0~1 사이의 어떤 값 (보통 0.5) 을 기준으로

그 값 (threshold) 보다 크면 1 (True) 로, 작으면 0 (False) 으로 분류한다.

 

 

 Logistic Regression의 식은

Y = sigmoid( W*X + B )

로 표현된다.

 

 

여기서 오즈 (Odds) / 확률 (Likelihood) / 시그모이드 (Sigmoid) 간의 관계를 살펴보면

아래 그림과 같다.

 

오즈(Odds), 확률(p), 시그모이드(sigmoid) 간의 관계

 

 

따라서 Logistic Regression의 식은 아래와 같이 표현할 수 있다.

Y = p(=Likelihood) = sigmoid( W*X + B ) = sigmoid( log(odds) )

 

 

위 식에서 sigmoid를 제외하고,

y = log(odds) 라고 보면,

y = log(odds) = W*X + B

로 Linear Regression의 식과 동일한 형태가 되는 것을 볼 수 있다.

 

 

입력값(input) x와 y=log(odds) 간의 선형(linear) 관계

 

 

Softmax (소프트맥스) 는 Sigmoid의 좀 더 일반화된 형태라고 할 수 있다.

 

 

---

 

◎ References

 

< StatQuest, Logistic Regression Details Pt1: Coefficients >

 

< Linear Regression >