하루에 빵코 한입

1. 심층 신경망(Deep Neural Network)

 이번 포스팅에서야 제대로 Deep한 개념이 나오게 된다. Deep하다는 것은 입력층과 출력층 사이에 은닉층(Hidden Layers)이 많이 껴있어 입력층과 출력층 사이가 Deep하다는 의미이다. 그렇다면 왜 딥러닝일까? 직관적으로 이해하기 위하여 아래 그림을 보면, 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화가 가능하다는 것을 알 수 있다. 일반적으로 깊은 층을 가질 수록 더욱 복잡한 표현이 가능하다고 알려져있다. 

출처: 장교수의 딥러닝

 심층 신경망은 Perceptron을 여러개 쌓은것 처럼 보인다 하여 다층 퍼셉트론(Multi-layer Perceptron)이라고도 한다. 그러면 단층 퍼셉트론에서 진행한 순서대로 심층 신경망을 설계해보자.

Step 1. 모델 설계

 아래 그림은 심층신경망의 예이다. 입력층 $x$가 있고, $L-1$개의 은닉층(Hidden Layers) $h$가 있고, 마지막에 출력층 $\hat{y}$이 있다. 일반적으로 Layer의 개수를 셀 때는 입력층을 제외하고 센다. 엄밀히 말하면 출력층 $\hat{y}$은 $h_{L}$이라 할 수 있다. 윗 첨자($^{[n]}$)는 각 Layer에서의 원소 인덱싱이 될 것이고, 입력층에서는 feature가 된다. $n_{i}$는 $i$번째 Layer의 원소 개수를 뜻한다. 심층신경망 모델을 프로그래밍 할 때, 파라미터 행렬들($W, B$)의 크기가 많이 헷갈리므로 잘 기억해두길 바란다.

 출력층 $h_{L}$을 제외한 모든 층에서는 Relu함수를 활성화 함수로 사용하겠다. 또한, 이해하기 쉽게 각 층을 Linear Function과 Activation Function 두개로 나누어 생각하겠다. 오류 역전파(Step 3)에서 설명할테지만 $\frac { \partial J }{ \partial W } =\frac { \partial J }{ \partial z } \frac { \partial z }{ \partial W }$으로 $dW$를 구하기 위함이다. 하여, 은닉층에서의 Forward propagation의 일반식은 $h_{i+1}=relu(W_{i+1}h_{i}+B_{i+1})$이 된다.

 이번 실습도 Cat vs Dog 데이터셋에서 수행할 것이므로 출력층에서 Label의 개수 $n_{L}$은 1개이다. 따라서 출력층의 활성화 함수는 이진분류에 적합한 $sigmoid$ 함수를 사용하겠다. 출력층의 일반식은 $\hat{y}=h_{L}=sigmoid(W_{L}h_{L-1}+B_{L})$이 되겠다.

Step 2. 손실함수 정의

 전체 학습데이터에 대한 손실함수($J$)는 하나의 데이터에 대한 손실함수 ($L$)의 평균으로 정의할 수 있다. 전체 시스템은 데이터의 수 만큼(문제의 수) 총 $m$번의 학습이 진행될 것이다. 

$$J=\frac{1}{m}\sum _{ i=0 }^{ m-1 }{ \mathcal{L}(y^{i}, \hat{y}^{i}) } $$

$$\mathcal{L}= −ylog(\hat{y})−(1−y)log(1−\hat{y}))  $$

Step 3. 오류 역전파(Backpropagation)로 미분식 풀기 

 아마 오류 역전파(Back propagation)이라는 것을 많이 들어봤을 것이다. Step1에서 입력->출력 방향으로 전파되는 것을 Forward propagation라고 했었다. 반대로 미분식을 풀기 위해서는 출력->입력 방향으로 수식이 전개 되는데 이것을 Back propagation 라고 한다. 단일퍼셉트론과 마찬가지로 손실함수 $J$를 최소화 하는 미분식부터 구하게 된다. 사실 단일퍼셉트론을 이해했다면 심층 신경망 유도는 쉬울것이다. 

 먼저 하나의 데이터에 대한 손실함수 $\mathcal{L}$를 최소화 하는 $L-1$층의 파라미터의 편미분값을 구해보자. 아래 그림에서 Back propagation방향은 빨간색으로 그렸다.  단일퍼셉트론에서 했던 최적화 과정과 동일하게 $\frac{\partial \mathcal{L}}{\partial z_{L-1}} $을 구할 수 있으며 연쇄법칙으로 $\frac{\partial \mathcal{L}}{\partial B_{L}} $과 $\frac{\partial \mathcal{L}}{\partial W_{L}} $을 구할 수 있다. Back propagation을 위해 다음 Layer에 넘길 $\frac{\partial \mathcal{L}}{\partial h_{L-1}} $ 또한 요구된다. 

 아래는 은닉층에서의 Back propagation에 대한 설명이다. 출력층->$i_{th}$Layer까지 전파(propagation)가 이루어졌다면 $\frac{\partial \mathcal{L}}{\partial h_{i+1}} $의 값을 넘겨받았을 것이다. $Relu(x)$함수의 미분은 $1(x>0)$ 또는 $0(x\leq 0)$이 된다. 나머지 파라미터 ($W, B$)는 위와 동일하게 진행된다. 개념은 그리 어렵지 않을 것이다. 여기서 눈치가 좋은 사람이라면 $Relu(x)$의 미분이 0을 반환하는 것에 주목할 것이다. 이것이 저번 포스팅에서 설명한 "Dying Relu Problem"이다.

Step 4. 행렬식으로 풀기

 이제 모든 $m$개의 데이터를 한번에 트레이닝 하기 위하여 벡터화(Vectorization) 하면 아래와 같이 모든 Layer가 행렬을 이루게 된다. 역시 우리가 할 실습에 따라서 그림은 $n_{L}=1$로 그렸다. 아래 그림에서 대괄호아래첨자($[]_{i}$)는 데이터 순번 인덱싱이다. 

위의 모델을 Back propagation 하게되면 아래와 같이 되는데 자세한 설명은 동영상 강의를 참고하길 바란다. 

동영상 강의: 준비중...

1. 활성화 함수

 활성화 함수(Activation Function)는 신경학적으로 볼때 뉴런발사(Firing of a Neuron)의 과정에 해당한다고 볼 수 있다. 최종출력 신호를 다음 뉴런으로 보내줄지 말지 결정하는 역할을 하게 된다.

Firing of a neuron 출처: Andrii Vodolazhskyi via Shutterstock

 뉴런이 다음 뉴런으로 신호를 보낼 때 입력신호가 일정 기준 이상이면 보내고 기준에 달하지 못하면 보내지 않을 수도 있다. 그 신호를 결정 해주는 것이 활성화 함수(Activation Function)라 이해하면 된다. 많은 종류의 활성화 함수가 있고, Activation function의 결정이 결과에 크게 영향을 준다. 하나하나 알아보도록 하자.

- 선형함수 (Linear Function)

 선형함수는 말 그대로 직선적인 함수($y=x$)이다. 결론부터 말하면 Linear Function를 활성화 함수로 하게되면 "Deep"한 네트워크의 이점이 전혀 없다는 것이다. 아래의 2-Layer 모델을 예로 들어보자.

 2개의 Layer를 쌓아봤지만 $X$에 곱해지는 항들은 $W$로 치환가능하고, 입력과 무관한 상수들은 전체를 $B$로 치환 가능하기 때문에 $WX+B$라는 Single layer perceptron과 동일한 결과를 낸다. 다시말해 Deep 하게 쌓는 의미가 없어진다.

linear Function

- 계단함수 (Step Function)

 입력이 양수일때는 1(보낸다)을 음수일때는 0(보내지 않는다)의 신호를 보내주는 이진적인(Binary) 함수이다. 직관적으로는 상당히 좋다. 0이상이면 출력하고 0이하면 뉴런을 죽이고 하지만 우리가 모델 Optimization과정에서 미분을 해야하므로 미분이 되지않는 이녀석은 쓸 수가 없다.

Step Function

- Sigmoid Function 

 지난 포스트04 단일퍼셉트론에서 사용했던 활성화 함수이다. 입력을 ($0, 1$) 사이의 값으로 normalize해준다.  과거에 상당히 인기가 있었던 활성화 함수이다. sigmoid의 수식과 그 미분은 아래와 같다.

$$sigmoid(x)=\frac { 1 }{ 1+{ e }^{ -x } } $$

$$\frac { d }{ \partial x } sigmoid(x)=\frac { 1 }{ 1+{ e }^{ -x } } \left( 1-\frac { 1 }{ 1+{ e }^{ -x } }  \right)$$

 아주 아름답게$(A'=A(1-A))$로 미분이 되어 코드로 구현하기가 쉽다. 이런 완벽해보이는 매력적인 함수지만 문제점이 있다. 바로 Gradient Vanishing인데 아래의 tanh함수부터 소개하고 설명하겠다. $x$가 0일때 기울기가 최대가 되는데, 그 미분값이 $\frac{1}{4}$이다. 딥러닝을 하기 위해서는 Layer를 많이 쌓아야 하는데 이렇게 작은 미분 값은 에너지함수 최적화 과정에서 Layer을거쳐갈 때마다 곱하기 연산을 거쳐 deep할 수록 기울기가 사라져 버리는 Gradient Vanishing을 야기 시킬 수 있다. 1~2개의 Layer에서는 사용할 수 있겠지만 Deep한 학습법에서 사용하는 것은 추천하지 않는다. 

Sigmoid Function

- tanh Function

 sigmoid fuction을 보완하고자 나온 함수이다. 입력신호를 ($-1, 1$) 사이의 값으로 normalization 해준다. 거의 모든 방면에서 sigmoid보다 성능이 좋다. 수식은 아래와 같다.

$$tanh(x)=\frac { { e }^{ x }-{ e }^{ -x } }{ { e }^{ x }+{ e }^{ -x } } $$

$$\frac{d}{dx}tanh(x)=1-tanh(x)^{2}$$

 기울기가 최대인 $x$가 0인 지점의 미분값은 1이 된다. 그럼에도 불구하고 Gradient Vanishing문제가 발생하게 된다. sigmoid 함수보다는 덜함

Tanh Function

Gradient Vanishing

 sigmoid와 tanh함수 모두 $x$가 0일때 기울기가 최대가 되는데, 그 미분값이 $sigmoid'(0)=\frac{1}{4}, tanh'(0)=1$이다. 학습을 더 잘 하기 위해서는 Layer를 많이 쌓아야 하는데 이렇게 작은 미분 값은 에너지함수 최적화 과정에서 Layer을 거쳐갈 때마다 곱하기 연산을 거쳐 deep할 수록 기울기가 사라져 버리는 것이 Gradient Vanishing이다. 아래의 deep 모델이 있다고 하자.

 backpropagation에 따라 $\frac{dY}{dw_{1}}$을 구하면,

$$\frac { dY }{ d{ w }_{ 1 } } =\frac { dY }{ dh_{ n } } \frac { dh_{ n } }{ d{ h }_{ n-1 } } ...\frac { dh_{ 2 } }{ dh_{ 1 } } \frac { dh_{ 1 } }{ d{ w }_{ 1 } } $$

 Hidden Layer와 Hidden Layer사이에 미분을 하게 되면 활성화 함수의 미분이 반드시 들어가게 되는데 1이하의 실수가 n번 곱해지면 결국에는 0으로 수렴하게 될 것이다. 비슷한 문제로 미분값이 1 이상이면 Gradient Exploding문제가 발생하는데 이것 또한 1이상의 실수가 $n$번 곱해져 발산해버리는 것이다.

- ReLU Function (Rectified Linear Unit)

 현재 가장 인기있는 활성화 함수인 ReLu는 양수에서 Linear Function과 같으며 음수는 0으로 버려버리는 함수($Relu(x)=max(0, x)$)이다. 우선, 기울기(미분값)가 0 또는 1의 값을 가지기 때문에 Sigmoid Function에서 나타나는 Gradient Vanishing 문제가 발생하지 않는다. 언뜻 보기에는 Linear Function과 같은 문제가 없을까 생각이 들 수 있지만 엄연히 Non-Linear함수 이므로 Layer를 deep하게 쌓을 수 있다. 또한 exp() 함수를 실행하지 않아 sigmoid함수나 tanh함수보다 6배 정도 빠르게 학습이 된다고 한다. 

Relu Function

다음은 CSS파일 편집창에 가서 다른 class나 id 선언에 곂쳐지지 않게 아래의 코드를 삽입한다.

.jbMenu {
    text-align: right;
 `  background-color: none;
    width: 100%;
    position: fixed;
    top: 70%;
}
.jbFixed {
    position: fixed;
    top: 70%;
}

 파일 업로드창에서 우리가 원하는 사진을 업로드 하고, 링크주소복사를 한다.

마지막으로 html에서 <body> 태그 안에 사진을 넣어야 한다. <body> 바로 아래에 다른 div에 들어가지 않도록 다음 코드를 붙여넣자.

위에서 링크 주소 복사한 것은 "사진이 저장된 경로"에 붙여주고 나처럼 클릭했을 때, 내 유투브 채널로 이동하려면 "클릭할때 넘어가는 주소" 부분에 링크를 복사해주면 된다.

 아... 그런데 코드의 div에 가려진다. 해결한분들은 알려주시길 바란다.

 포토샾으로 만든 GIF파일을 블로그 프로필로 할 수 없을까? 생각을 해봤다.

 [블로그 설정]에서 프로필에 GIF 파일을 넣어도 티스토리는 움짤 영상으로 인식하지 못한다. Tistory 어플리케이션이 애니메이션 영상을 허용하지 않는다는 뜻이다. 그러면 직접 HTML 언어를 만져야 한다.

 [블로그 관리] -> [꾸미기] -> [스킨편집] ->[html 편집]으로 들어가보자

 그러면 꼴보기 싫은 코드창이 뜰것이다. 거기서 파일 업로드에 가서 GIF 파일을 업로드 시킨다.

 파일을 업로드를 하게되면 아마 Tistory 서버 내부의 본인 계정에 할당된 저장소에 파일이 올라갈 것이다. 링크 주소 복사로 절대경로를 가져오도록 하자.

다시 HTML창으로 돌아와서 블로그 내부에 내 프로필이 어디있는지 찾아야 한다. 내 경우에는 (적용한 블로그 테마스킨에 따라 상이할 수 있음) 블로그 이미지 모듈이라는 주석 아래에 선언되어 있었다. 여러분들이 찾을때는 https://tistory1.daumcdn.net/tistory/2935792/attach/ac8257c8b59f42199ee875db8628904b 이것을 src로 하는 <img> 태그를 찾으면 될듯하다. ctrl+f 해서 찾으셈

 image 태그를 찾아서 src를 아까 복사했던 링크로 바꿔주면 빵코네 블로그처럼 움짤 프로필이 가능해진다. 

 딥러닝 포스트 04까지 이해하는 것을 권장한다.

 이진분류(Binary Classification)를 목적으로 한 단층퍼셉트론(Single Layer Perceptron)을 만들어보자. 데이터셋은 Kaggle의 cat vs dog Conpetition에서 제공하는 데이터셋을 사용했다. 링크

Cat images

Dog images

 모델을 설계하기에 앞서 영상의 구성요소는 가로(width), 세로(height), 색깔(RGB)이 있다. 데이터셋에 있는 영상이 각각 다른 크기를 가지고 있어 가로, 세로를 ($100 \times 100$)으로 통일시켜주었다. 개와 고양이 영상이 각각 $12,500$장씩 있는데 우리는 간단한 모델을 학습하니 개와 고양이 영상을 각각 $300$장으로 샘플링하여 학습데이터로 삼고, 개와 고양이 각각 $100$장씩을 테스트데이터로 하겠다. 데이터는 CSV 파일로 관리하는 것이 좋은데 다음 포스트를 참고하길 바란다. ---> 링크(작성중..)

 이번 실습은 맛보기용이므로 간단하게 모델을 설계하겠다. ($100 \times 100 \times 3$)의 영상을 ($30,000 \times 1$)의 벡터로 펼쳐 입력층으로 만들어준다. 그러면 아래와 같은 단일퍼셉트론 모델을 설계할 수 있다. 수식은 04 포스팅과 동일하게 사용하겠다.

 여기서 대문자로 표기한 것들($W, X, B$)은 행렬식이며 각각의 크기는 아래와 같다. ($m$은 학습 데이터 영상의 개수)

$$ W, dW: (30,000 \times 1) $$

$$ X: (30,000 \times m) $$

$$ Y, \hat{Y}: (1 \times m) $$

$$ B, dB: 1 $$

 이제 본격적인 코딩을 시작하겠다. 필요한 Python Library는 (numpy, pandas, matplotlib.pyplot, PIL) 이다. 적당히 구글링해서 까시고.. 필요한 라이브러리를 importing하자.

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from PIL import Image

train.csv

data=pd.read_csv('train.csv', parse_dates=['file_name', 'label', 'str' ])
data_test=pd.read_csv('test.csv', parse_dates=['file_name', 'label', 'str' ])

num_train = np.shape(data)[0]
num_test = np.shape(data_test)[0]
print('training dataset: '+str(num_train))
print('test dataset: '+str(num_test))
data.head()

# resize training dataset
for i in range(0, num_train): 
    im = Image.open(data.file_name[i]+".jpg")
    im = im.resize((100, 100))
    im.save(data.file_name[i]+".png")


# resize test dataset
for i in range(0, num_test): 
    im = Image.open(data_test.file_name[i]+".jpg")
    im = im.resize((100, 100))
    im.save(data_test.file_name[i]+".png")


print('Resizing done')

  Resizing이 잘 되었는지 확인해보자. PLT 라이브러리의 imshow() 함수를 사용하면 좌표평면에 영상을 출력할 수 있다.

index = 6
im = Image.open(data.file_name[index]+".png")
plt.imshow(im)
num_px = np.shape(im)[0]*np.shape(im)[1]*np.shape(im)[2]

 위에 정리한 행렬 크기에 맞게 $X$와 $Y$를 선언해주고, 모든 영상을 펼쳐 $X$에 넣고 정답 Label을 $Y$에 넣는다.

 ($100 \times 100 \times 3$)영상에 reshape(-1) 함수를 적용시키면 모든 픽셀 정보가 일렬로 펼쳐지는 $30000$개의 배열을 반환한다. 

 X[:, i]=im은 i번째 Column에 배열 im을 할당하는 것을 의미한다.

 RGB 3개의 채널이 각각 8bit로 표현이 되며 $0$~$255(2^{8})$ 사이의 값을 가진다. 입력을 0~1 사이로 정규화 하기 위해 행렬 $X$의 모든 원소를 255로 나누어준다.

# for train
X=np.zeros((num_px, num_train))
Y=np.zeros((1, num_train))

for i in range(0, num_train): 
    im = Image.open(data.file_name[i]+".png")    
    im = np.asarray(im)
    im = im.reshape(-1)
    X[:, i] = im
    Y[:, i] = data.label[i]
X=X/255.

# for test
X_test=np.zeros((num_px, num_test))
Y_test=np.zeros((1, num_test))

for i in range(0, num_test): 
    im = Image.open(data_test.file_name[i]+".png")    
    im = np.asarray(im)
    im = im.reshape(-1)
    X_test[:, i] = im
    Y_test[:, i] = data_test.label[i]
X_test=X_test/255.

print('Done!')

def sigmoid(a):
    y = 1/(1+np.exp(-a))
    return y

W=np.zeros((num_px, 1))
B=0
Y_hat=np.zeros((1, num_train))
predict=np.zeros((1, num_train))

# training start
iter = 2000
for i in range(0, iter):
    # forward
    Y_hat = sigmoid(np.dot(W.T, X)+B)      
        
    # backward
    dW = 1/num_train*np.dot(X, (Y_hat-Y).T)
    dB = 1/num_train*np.sum(Y_hat-Y, axis=1)
    
    # update parameters
    learning_rate = 0.005
    W = W-learning_rate*dW
    B = B-learning_rate*dB

    # print cose
    if i % (iter/5) == 0:
        cost = -np.sum(Y*np.log(Y_hat)+(1-Y)*np.log(1-Y_hat))/num_train
        print('cost: ' + str(cost)+ '\t-> ('+ str(i) +' iter)')
cost = -np.sum(Y*np.log(Y_hat)+(1-Y)*np.log(1-Y_hat))/num_train
print('cost: ' + str(cost)+ '\t-> ('+ str(i) +' iter)')

for i in range(0, num_train):
    if Y_hat[0, i] > 0.5:
        predict[0, i] = 1
    else:
        predict[0, j] = 0  
print("train accuracy: {} %".format(100 - np.mean(np.abs(predict - Y)) * 100))

 약 94%로 나름 기대할만한 결과가 나왔다. 다음으로 앞서 따로 구분했던 테스트 데이터를 퍼셉트론 모델에 통과시켜서 정확도를 계산해보자.

predict_test=np.zeros((1, num_test))
Y_hat_test = sigmoid(np.dot(W.T, X_test)+B)
for i in range(0, num_test):
    if Y_hat_test[0, i] > 0.5:
        predict_test[0, i] = 1
    else:
        predict_test[0, i] = 0


print("test accuracy: {} %".format(100 - np.mean(np.abs(predict_test - Y_test)) * 100))

 쓰레기 같은 결과가 나왔다. 단일퍼셉트론의 한계이다. 테스트 결과를 시각적으로 확인하기 위해 아래 코드의 index값을 임의로 정하여 돌려볼 수 있다.

index = 149
A = getim(index)
label = labeling(A)
print('predict: '+str(label) + '\nAnswer: '+str(data_test.str[index]))

 딥러닝의 조상격인 Perceptron에 대한 이해를 충분히 했으리라 믿고 다음 실습에서는 Multi-Layer Perceptron을 구현해보도록 하겠다.

 이전 포스팅과 더불어 Window10 환경임을 알려드립니다.

 Anaconda Prompt에서는 tensorflow가 import 되지만 Jupyter에서 No module named 'tensorflow' 에러가 뜨는것을 해결하고자 한다.

 Jupyter에서 tensorflow를 인식하지 못하고 No module named 'tensorflow'를 내뿜는 이 문제는 Jupyter과 tensorflow가 Python을 실행하기 위한 경로가 서로 다르기 때문이다. Python이 실행되고 있는 경로는 sys 라이브러리의 executable 변수를 확인하면 알 수 있다.

 내 컴퓨터를 기준으로 Jupyter에서 Python으로 접근하는 경로는 C:\ProgramData\Anaconda3\python.exe 이다.

 Anaconda Prompt에서 확인한 가상개발환경에서 Python으로 접근하는 경로는 C:\ProgramData\Anaconda3\envs\tensorflow\python.exe 이다.

 Jupyter는 tensorflow 모듈에 접근하지 못하는 경로를 가리키고 있는 것을 확인 할 수 있다. 이 문제를 내가 이해한 것으로 그려보면 왼쪽의 그림과 같다. Jupyter가 Tensorflow 안에 있는 Python을 가리킬 수 있도록 해야한다. 그 방법은 Jupyter의 커널을 추가하는 것이다. virtualenv 커널 이라고 한다. 

 Jupyter의 커널을 추가하기 위해 Jupyter의 경로를 jupyter --path 명령어로 확인해보자. 

 Jupyter의 데이터는 C:\Users\bbangko\AppData\Roaming\jupyter 여기에 있는것을 알 수 있다. 커널을 추가할 폴더를 만들도록 하자. (폴더 만들기 mkdir)

 jupyter의 kernels 폴더에 kernels.json파일을 만들어준다. 메모장이나 notepad++ 사용

kernels.json

 argv 경로는 컴퓨터마다 다를 수 있으니 본인들 컴퓨터에서의 python 경로를 확인하자.

 이렇게 하고 Jupyter을 켜보면 New항목에 tensorflow라는 새로운 커널이 생긴 것이다. New -> Python 3로 하면 기존의 Python경로를 사용하는 파일이 생성됨

 tensorflow를 import해서 오류없이 출력되면 성공!