◾Intro

🔻references

◾Main

+) backup diagram

🔻Value Functions

• state의 가치를 평가하는 함수이다.
  • 어떤 state(s)에서 action(a)을 수행했을 때 다음 state인 s’이 좋은 state인지 아닌지 판단하기 위해 사용하는 함수이다.
  • state만 고려하는 state-value function, state과 action을 모두 고려하는 action-value function이 있다.

🔸State-value function

• 수식)

  $$ v_\pi(s)=\mathbb{E}\pi[G_t|S_t=s] =\sum{a}\pi(a|s)q_\pi(s,a) $$

  • 현재 state이 s라고 할 때, s에서 출발하여 policy를 따라 나올 수 있는 모든 return에 대한 기댓값

    

🔸Action-value function (Q function)

• 수식)

  $$ q_\pi(s,a)=\mathbb{E}_\pi[G_t|S_t=s,A_t=a] $$

  • state-value function과 달리, state과 action까지 결정된 상태에서의 value function이다.

◾Code

14분39초