◾고전적인 Auto-Encoder

• 입력 데이터의 패턴을 학습하여 데이터를 재건하는 모델이다. (1987)

  • 비선형 차원 축소 기법으로 활용 가능하다.

• Encoder : 데이터를 저차원 잠재 표현(Latent representation)으로 요약하는 모델

• Decoder : 저차원 잠재 표현으로부터 데이터를 재구성(reconstruction)

• 손실 함수 : 잠재 표현으로부터 복구한 데이터와 입력 데이터의 평균제곱오차

  

  [Kernel Academy - Generation]

◾Denoising Auto-Encoder

🔸정의

• 입력 데이터에 랜덤한 노이즈를 주입하거나 Dropout 레이어를 적용하여 노이즈를 주고, 노이즈가 없는 원래 데이터로 재구성하며 학습하는 모델이다.
  • 데이터의 특성을 더 정확히 학습. (노이즈에 강건한 잠재 표현 학습)
• Encoder : 노이즈가 낀 입력을 받아 잠재 표현으로 요약한다.
• Decoder : 잠재 표현으로부터 노이즈가 없는 원래 데이터로 재구성한다.
• 손실 함수 : Decoder의 출력과 노이즈가 없는 원래 데이터 간 오차를 계산.
• Feature extraction, anomaly detection 등의 분야에 활용된다.

◾Variational Auto-Encoder (VAE)

🔸정의

• AE와 마찬가지로 encoder, decoder 구조를 가지며, 데이터는 저차원 잠재 변수로 표현될 수 있다고 가정한다.
• 이전까지는 “잠재 표현”이라 했지만, VAE부터는 “잠재 변수”라고 표현한다.
  • 잠재 표현은 단일 벡터를 의미.
  • 잠재 변수는 어떠한 확률 분포를 갖는다. ⇒ VAE의 Encoder는 입력 데이터의 특징을 어떤 분포를 갖는 잠재 변수로 압축하게 된다.

🔸구조