[딥러닝 이론] 5.활성화함수(Activation Function)

1. 활성화 함수

 활성화 함수(Activation Function)는 신경학적으로 볼때 뉴런발사(Firing of a Neuron)의 과정에 해당한다고 볼 수 있다. 최종출력 신호를 다음 뉴런으로 보내줄지 말지 결정하는 역할을 하게 된다.

Firing of a neuron 출처: Andrii Vodolazhskyi via Shutterstock

 뉴런이 다음 뉴런으로 신호를 보낼 때 입력신호가 일정 기준 이상이면 보내고 기준에 달하지 못하면 보내지 않을 수도 있다. 그 신호를 결정 해주는 것이 활성화 함수(Activation Function)라 이해하면 된다. 많은 종류의 활성화 함수가 있고, Activation function의 결정이 결과에 크게 영향을 준다. 하나하나 알아보도록 하자.

- 선형함수 (Linear Function)

 선형함수는 말 그대로 직선적인 함수($y=x$)이다. 결론부터 말하면 Linear Function를 활성화 함수로 하게되면 "Deep"한 네트워크의 이점이 전혀 없다는 것이다. 아래의 2-Layer 모델을 예로 들어보자.

 2개의 Layer를 쌓아봤지만 $X$에 곱해지는 항들은 $W$로 치환가능하고, 입력과 무관한 상수들은 전체를 $B$로 치환 가능하기 때문에 $WX+B$라는 Single layer perceptron과 동일한 결과를 낸다. 다시말해 Deep 하게 쌓는 의미가 없어진다.

linear Function

- 계단함수 (Step Function)

 입력이 양수일때는 1(보낸다)을 음수일때는 0(보내지 않는다)의 신호를 보내주는 이진적인(Binary) 함수이다. 직관적으로는 상당히 좋다. 0이상이면 출력하고 0이하면 뉴런을 죽이고 하지만 우리가 모델 Optimization과정에서 미분을 해야하므로 미분이 되지않는 이녀석은 쓸 수가 없다.

Step Function

- Sigmoid Function 

 지난 포스트04 단일퍼셉트론에서 사용했던 활성화 함수이다. 입력을 ($0, 1$) 사이의 값으로 normalize해준다.  과거에 상당히 인기가 있었던 활성화 함수이다. sigmoid의 수식과 그 미분은 아래와 같다.

$$sigmoid(x)=\frac { 1 }{ 1+{ e }^{ -x } } $$

$$\frac { d }{ \partial x } sigmoid(x)=\frac { 1 }{ 1+{ e }^{ -x } } \left( 1-\frac { 1 }{ 1+{ e }^{ -x } }  \right)$$

 아주 아름답게$(A'=A(1-A))$로 미분이 되어 코드로 구현하기가 쉽다. 이런 완벽해보이는 매력적인 함수지만 문제점이 있다. 바로 Gradient Vanishing인데 아래의 tanh함수부터 소개하고 설명하겠다. $x$가 0일때 기울기가 최대가 되는데, 그 미분값이 $\frac{1}{4}$이다. 딥러닝을 하기 위해서는 Layer를 많이 쌓아야 하는데 이렇게 작은 미분 값은 에너지함수 최적화 과정에서 Layer을거쳐갈 때마다 곱하기 연산을 거쳐 deep할 수록 기울기가 사라져 버리는 Gradient Vanishing을 야기 시킬 수 있다. 1~2개의 Layer에서는 사용할 수 있겠지만 Deep한 학습법에서 사용하는 것은 추천하지 않는다. 

Sigmoid Function

- tanh Function

 sigmoid fuction을 보완하고자 나온 함수이다. 입력신호를 ($-1, 1$) 사이의 값으로 normalization 해준다. 거의 모든 방면에서 sigmoid보다 성능이 좋다. 수식은 아래와 같다.

$$tanh(x)=\frac { { e }^{ x }-{ e }^{ -x } }{ { e }^{ x }+{ e }^{ -x } } $$

$$\frac{d}{dx}tanh(x)=1-tanh(x)^{2}$$

 기울기가 최대인 $x$가 0인 지점의 미분값은 1이 된다. 그럼에도 불구하고 Gradient Vanishing문제가 발생하게 된다. sigmoid 함수보다는 덜함

Tanh Function

Gradient Vanishing

 sigmoid와 tanh함수 모두 $x$가 0일때 기울기가 최대가 되는데, 그 미분값이 $sigmoid'(0)=\frac{1}{4}, tanh'(0)=1$이다. 학습을 더 잘 하기 위해서는 Layer를 많이 쌓아야 하는데 이렇게 작은 미분 값은 에너지함수 최적화 과정에서 Layer을 거쳐갈 때마다 곱하기 연산을 거쳐 deep할 수록 기울기가 사라져 버리는 것이 Gradient Vanishing이다. 아래의 deep 모델이 있다고 하자.

 backpropagation에 따라 $\frac{dY}{dw_{1}}$을 구하면,

$$\frac { dY }{ d{ w }_{ 1 } } =\frac { dY }{ dh_{ n } } \frac { dh_{ n } }{ d{ h }_{ n-1 } } ...\frac { dh_{ 2 } }{ dh_{ 1 } } \frac { dh_{ 1 } }{ d{ w }_{ 1 } } $$

 Hidden Layer와 Hidden Layer사이에 미분을 하게 되면 활성화 함수의 미분이 반드시 들어가게 되는데 1이하의 실수가 n번 곱해지면 결국에는 0으로 수렴하게 될 것이다. 비슷한 문제로 미분값이 1 이상이면 Gradient Exploding문제가 발생하는데 이것 또한 1이상의 실수가 $n$번 곱해져 발산해버리는 것이다.

- ReLU Function (Rectified Linear Unit)

 현재 가장 인기있는 활성화 함수인 ReLu는 양수에서 Linear Function과 같으며 음수는 0으로 버려버리는 함수($Relu(x)=max(0, x)$)이다. 우선, 기울기(미분값)가 0 또는 1의 값을 가지기 때문에 Sigmoid Function에서 나타나는 Gradient Vanishing 문제가 발생하지 않는다. 언뜻 보기에는 Linear Function과 같은 문제가 없을까 생각이 들 수 있지만 엄연히 Non-Linear함수 이므로 Layer를 deep하게 쌓을 수 있다. 또한 exp() 함수를 실행하지 않아 sigmoid함수나 tanh함수보다 6배 정도 빠르게 학습이 된다고 한다. 

Relu Function