◾References

pytorch로 LSTM 구현하기

◾Model Architecture

🔻순전파 과정

🔸망각 게이트 forget gate

• 과거 정보를 보존할지 망각할지 결정한다.

  • 망각 게이트의 출력값만큼 과거 정보를 보존한다.
  • 출력값이 0이라면 과거 정보를 망각하는 것.

• 망각 게이트 구조

  

  • 수식)

    $$ f_t=\sigma(W^h_1h_{t-1}+W^x_1x_t])\\ c_t=f_t \times c_{t-1} $$

    • $f_t$ : 과거 정보 망각 정도를 결정하는 값
    • $h_{t-1},~x_t$ : 이전 단계의 hidden state와 현재 단계의 입력값
    • $W^h_1,~W^x_1$ = hidden state와 input x 에 대한 가중치 벡터
    • $c_t$ : 메모리 셀. $f_t$의 값에 따라 $c_{t-1}$의 보존 여부가 갈림

🔸입력 게이트 input gate

• 현재 정보($x_t$)를 반영할지 말지 결정한다.

  • 마찬가지로 시그모이드 활성화 함수를 활용한 $i_t$ 레이어가 0 ~ 1의 값을 반환하여 현재 정보의 반영 정도를 결정한다.

• 입력 게이트 구조

  

  • 수식)

    $$ i_t = \sigma(W^h_2h_{t-1}+W^x_2x_t)\\ \tilde{C_t} = tanh(W^h_3h_{t-1}+W^x_3x_t) \\c_t=(f_t\times c_{t-1})+(i_t\times \tilde{C_t}) $$

    • $i_t$ : 입력값($x_t$)의 반영 정도를 결정한다. 0이면 $\tilde{C_t}$를 메모리셀에 반영하지 않고, 1이면 $\tilde{C_t}$을 메모리셀에 전부 반영한다.
    • $\tilde{C_t}$ : 이전 hidden state를 반영하여 입력값과 weighted sum한 결과

🔸출력 게이트 output gate

• 새로운 hidden state (=$h_t$) 를 출력한다.

  • 이 때, 메모리 셀을 어느정도 반영하여 hidden state로 사용할지를 $o_t$ 함수값이 결정한다.

• 출력 게이트 구조

  

  • 수식)

    $$ o_t= \sigma(W^h_4h_{t-1}+W^x_4x_t) \\c_t=(f_t\times c_{t-1})+(i_t\times \tilde{C_t}) \\h_t=o_t\times c_t $$

    • $o_t$ : $c_t$를 얼마나 반영할지 결정
    • $h_t$ : 새로운 hidden state

🔸하나의 LSTM Cell(=Unit) 도식

🔻전체 구조

🔸여러 LSTM Cell = One LSTM layer