RNN을 자세히 이해하기

먼저 RNN(Recurrent Neural Network) 개요 보기

 

RNN을 좀더 자세히 이해하기 위해 간단한 RNN 신경망을 구성해 보았다. 아래 RNN 신경망은 두개의 입력을 순차적으로 받는 신경회로이다. 

1. 순전파

순전파 시 사용하는 활성화함수는 tanh를 사용하고 출력을 위해 softmax를 사용하는 예이다.

 

2. 손실함수

손실함수는 Cross-Entropy를 이용한다.

3. 역전파

가장 중요한 역전파 기울기를 계산해야 한다.

RNN에서는 가중치를 3개(U, V, W)를 사용하므로 3개의 가중치에 대한 편미분을 구해야 한다.

계산된 가중치는 아래와 같다.

1) V로 미분하기

2) W로 미분하기

3) U로 미분하기

이렇게 구해진 방정식을 이용하여 U, V, W의 가중치를 조정할 수 있다.

다음에는 이를 이용해서 구현을 해보도록 하겠다.