🔸미분 규칙 derivative rules

• 선형성 linearity

  $$ \frac{d}{dx}(af+bg)= af'+bg' $$

  • 더하기를 그대로 유지
  • 주로 loss 를 합할 때 적용

• 곱의 미분 product rule

  $$ \frac{d}{dx}f\cdot g=f'\cdot g + f\cdot g' $$

• 몫의 미분 quotient rule

  $$ \frac{d}{dx}\frac{f}{g}=\frac{g\cdot f' - f\cdot g'}{g^2} $$

  • 정규화(normalization), cosine similarity, softmax 변형 시 적용

• Chain rule

  $$ f(x,y) , x=g(t), y=h(t)\\ \frac{d}{dt} f(g(t), h(t)) = \frac{\partial f}{\partial x}\frac{\partial g}{\partial t} + \frac{\partial f}{\partial y}\frac{\partial y}{\partial t} $$

🔻행렬과 벡터의 미분

🔸벡터 미분 규칙

• 벡터 내적 미분

  $$ \frac{\partial}{\partial q}(q^Tz)=z ~ (q\in\R^d,z\in\R^d) $$

  • linear layer, similarity, attention score 등에서 적용

• 벡터 노름 미분

  $$ \nabla_q||q||=\frac{q}{||q||} $$

  • normalization, cosine similarity, contrastive loss 등에서 적용

🔸행렬 미분 규칙

• 행렬-벡터 미분

  $$ \frac{\partial}{\partial x} (Ax)=A \\ \frac{\partial}{\partial x} (x^TAx)=(A+A^T)x $$

  • quadratic loss, optimization 에서 사용.

🔻ML/DL

• softmax + cross entropy

  $$ \frac{\partial L}{\partial z}=\operatorname{softmax}(z)-y $$

  • classification task