◾딥러닝 이전의 생성 모델

• 데이터는 저차원의 필수적인 정보로부터 생성 가능하다는 가정 하에 분포를 학습하여, 새로운 데이터를 생성한다.

🔸확률 분포 추정과 근사

• 가우시안 혼합 모델 (Gaussian Mixture Model, GMM, 1981)
  • 여러 가우시안 분포를 사용하여 학습 데이터를 만족하는 mixture of gaussian 분포를 학습한다.
• 제한된 볼츠만 머신 (Restricted Boltzmann Machine, RBM, 1985)
• 심층 신뢰망 (Deep Belief Network, DBN, 2006)
  • RBM을 쌓은 형태
• 자귀 회귀 (Autoregressive Distribution Estimator, NADE, 2011)
  • markov 가정에 기반해 학습과 샘플링을 수행.

◾딥러닝 기반 생성 모델

• 2014 : VAE, GANs 등장
  • VAE의 발전
    • VAE : 빠른 속도, but 흐릿한 이미지
    • 2016: AAE (Adversarial Auto-encoder), LVAE (Ladder VAE) - 분포 개선, 계층모형
    • 2017: WAE, Beta-VAE, VQ-VAE - 학습 개선, 벡터 양자화
    • 2019: VQ-VAE-2 - scale up, 고성능&고해상도 모델 제안
    • 2020: NVAE - Deep VAE
  • GANs 발전
    • GANs, cGAN(Conditional GAN)
    • 2015: DCGAN(Deep Convolutional GAN) - GAN 구조 발전
    • 2016: LSGAN(Least Squares GAN), WGAN(Wasserstein GAN) - 손실 함수, 학습 방법 연구
    • 2017: PGGANs(Progressive Growing of GANs), CycleGAN - 계층 모형, 새로운 적용 분야
    • 2019: StyleGAN, BigGAN - 높은 다양성, 높은 화질
    • 2023: StyleGAN-T, GiGaGAN - 더 높은 성능, 다양한 도메인으로 확장
• 2015 ~ 2016 : PixelRNN, PixelCNN, Normalizing Flow, Diffusion
  • Diffusion 발전
    • DM (Diffusion Model) - 열 확산 현상 이론 도입하여 생성 모델 학습.
    • 2020: DDPM(Denoising Diffusion Probabilistic Model) - 높은 성능의 확산 확률 모델
    • 2021: Guided DPM, DDIM(Denoising Diffusion Implicit Model) - 생성 방식 및 모델 개선
    • 2022: Latent DPM - 다양한 조건 기반 영상 생성
    • 2023: ControlNet, DreamBooth, Face0, … - 높은 생성물 의미론 제어 방법, 개인화 방법 등장

🔻판별 모델과 생성 모델

🔸Discriminative model

• 데이터 X가 주어졌을 때, 특성 Y(=X가 가짜인지 진짜인지)가 나타날 조건부 확률 $p(Y|X)$ 를 직접적으로 반환하는 모델.

🔸Generative model

• 크게 3가지 모델링이 가능
  • 데이터 X와 특성 Y의 결합 분포(joint distribution) $p(X,Y)$ 를 추정하는 모델
  • Y가 주어질 때 데이터 X의 조건부 분포 (conditional distribution) $p(X|Y)$ 를 추정하는 모델
  • Y가 없는 경우, X의 분포 (marginal distribution) $p(X)$ 를 추정하는 모델
• 생성 모델의 활용
  • 화질 개선
  • 오래된 사진 복구
  • VTON : Virtual Try ON 가상 옷 피팅
  • 텍스트 기반 영상 생성 - midjourney