Logit & Sigmoid

Logit

Logit함수에 대해 설명하기 전에, Odds와 Probability의 개념에 대해 알아보겠습니다.

Probability(확률)

우선, Probability(확률)는 다들 알고 계시겠지만, 전체 시행(S) 중 어떠한 사건($X$)가 일어나는 경우의 수의 비율을 의미합니다.

 

즉, $\frac{n(X)}{n(S)}$로 표현할 수 있으며, 이를 $P(X)$라고 표기하겠습니다.

Odds

여기서 Odds는 느낌적으로 표현하자면, 확률의 확률이라고 할 수 있을 것 같습니다.
즉, X라는 사건이 일어날 확률과 X라는 사건이 일어나지 않을 확률이라고 할 수 있으며, $\frac{P(X)}{P(X^c)}$로 표현할 수 있습니다.

 

이를 Binary Case로 다시 표현하면, 두 경우의 수 $A$와 $B$를 기준으로한 Odds는 $\frac{P(A)}{P(B)}$와 같습니다.

Logit 함수

여기까지 이해가 되셨다면, Logit함수는 매우 간단합니다.
바로 Odds에 자연로그만 취해주면 Logit함수가 만들어지게 됩니다.

$Logit = ln(Odds)$

 

여기서 자연로그를 취해주는 이유는 이후 Sigmoid함수와의 관계성을 설명할 때 함께 설명이 될 것 같습니다.

Sigmoid

그리고, Logit 함수는 Sigmoid 함수와도 연관이 깊습니다.

수식을 통해, Logit 함수와 Sigmoid 함수의 관계성을 알아보겠습니다.

 

$ Logit(P) = ln(\frac{P}{1-P}) = L \\
\Longleftrightarrow \frac{1}{P}-1 = \frac{1}{exp(L)} \\
\Longleftrightarrow \frac{1}{P} = \frac{exp(L)+1}{exp(L)} \\
\Longleftrightarrow P = \frac{exp(L)}{exp(L)+1} = \frac{1}{1+exp(-L)} = Sigmoid(L) \\
\therefore Logit(P) = L \;and \;Sigmoid(L) = P $

 

위와 같은 이유로, Logit함수와 Sigmoid함수는 서로 역함수의 관계가 되는 것입니다.

Logistic Regression

Logistic Regression은 수식으로 보았던, Logit과 Sigmoid함수의 관계를 통해서 어떤 Logit값이 주어졌을때, [0,1]사이의 값에 대한 Regression을 가능하게 하는 방법으로 이해하면 될 것 같습니다.

 

Logistic Regression은 GLM(Generalized Linear Model)의 하나로서, link funciton을 사용한 transformation을 통해 non-linear한 관계에 대해 linearity를 만족시킬 수 있도록 변환시켜 Regression을 가능하게 해줍니다.

 

* GLM에 대한 더 자세한 내용은 GLM 포스트 를 참고해 주시면 좋을 것 같습니다.

 

결론적으로, Logistic Regression은 기존 independent variable($x_1, x_2, x_3, ..., x_n$)에 대한 linear model인 $\beta_0 + \beta_1x_1 + ... + \beta_nx_n$ 값을 logit 변환(Link function)시켜, Sigmoid함수의 $x$ 값으로 사용하게 되고 [0,1]사이의 값으로 mapping해주게 됩니다.

Binary Classification

또한, Sigmoid 함수는 [0,1]의 값을 갖기 때문에, Binary Classification Task에 주로 사용됩니다.

 

다시 말해, Binary Classification을 한다고 하면, 0과 1사이의 값이 나왔을 때, 0과 1중 하나의 값에 더 가까이 Mapping되는 쪽의 Class로 분류하게 됩니다.

 

Deep Learning 모델의 경우에서 Binary Classification Neural Network를 구성하게 되면, Output Layer의 Activation Function에 Sigmoid 함수를 적용해 줌으로서 라벨을 분류해 주는 역할을 수행할 수 있습니다.