딥러닝 자연어처리 word2vec 개념을 8분안에 정리해드립니다ㅣ서울대 AI박사과정

◾개요

🔻기존 문자 인코딩방식의 문제

🔸정수 인코딩(Integer Encoding)

• Label encoding, one-hot encoding 등 정수로 문자를 표현하는 인코딩 방식
• 문제점
  • 문장을 인코딩하는 경우, 단어 사이의 연관성, 즉 인코딩된 숫자들 간 연관성을 파악하기 어려움
  • one-hot 인코딩의 경우, 메모리 문제도 있음 << **희소표현(sparse representation)**이기 때문.

🔻밀집 표현 Dense Representation

• One-hot encoding의 희소표현 문제를 보완
• 벡터의 차원을 원하는 대로 설정할 수 있음.
• 벡터가 연관성을 나타낼 수 있도록 데이터를 학습하여 표현함. >> Neural Network를 사용
  • 즉, 벡터의 요소들을 신경망을 통해 표현.

◾Word2Vec

🔸개념

• 신경망을 사용해서 단어를 밀집 표현으로 나타내는 것.

  +) 단어 사이의 유사도를 측정하는 방법

  1. cosine 유사도 : 두 단어/문장 벡터 사이 각도의 코사인 값이 클수록 서로 유사도가 높다. → $cos(\theta)=\frac{\overrightarrow{a} \cdot \overrightarrow{b}}{||\overrightarrow{a}||~||\overrightarrow{b}||}$
  2. Euclidean 유사도 : 두 단어 벡터 사이의 거리가 짧을수록 유사도가 높다. → $d=\sqrt{(x_1-x_2)^2+(y_1-y_2)^2}$

• 단어 사이의 연관성, 유사도를 측정하기 위해 크게 2가지 방법을 사용

  • CBOW (Continuous Bag of Words) : 주변 단어를 활용해 중간에 있는 단어(target)를 예측(학습을 위한 레이블링)
  • Skip-Gram : 중간 단어(target)를 활용해 주변에 있는 단어를 예측

• 학습 과정

  1. 텍스트를 무작위 벡터로 임베딩한다.
  2. CBOW 또는 Skip-Gram 모델을 사용하여 단어 간 연관성을 학습한다.
  3. 2번이 완료되면 임베딩 벡터가 결정된다.

🔻Embadding