◾Language Model?

🔸정의

• 자연언어 (Natural Language) : 정보 전달의 수단, 인간 고유의 능력
• 언어 모델 (Language Model) : 지식 표현 체계
  • 인간은 자연 언어의 지식 표현 체계를 갖고 있고, 컴퓨터는 숫자로 구성된 지식 표현 체계를 갖고 있다. 언어 모델은 인간의 지식 표현 체계를 컴퓨터의 지식 표현 체계로 변환시켜주는 역할을 한다. 역할을 한다.

🔸LM의 종류 및 특징

• 전통적인 언어모델
  • 규칙 기반, 통계 기반(Bag of words, TF-IDF, …)
• 신경망 기반 언어모델
  • RNN, LSTM, GRU, Transformer, …

🔻딥러닝 기반 언어모델

🔸Encoder-only

• BERT family

🔸Decoder-only

• GPT family

🔸Encoder-Decoder

• BART family, Transformer-XL family, …
• encoder : 전체 문장의 이해를 요구하는 task에 가장 적합
• decoder : 텍스트 생성과 관련된 task에 적합.

◾언어모델의 역할

🔸NLP task와 언어모델