• 전산언어학 (Computational Linguistics) : 컴퓨터를 이용하여 언어를 자동으로 분석하며, 언어 자료를 자동 처리하는 데에서 나타나는 언어학적 문제를 연구하는 학문
• 언어학의 접근 방법
  • 규칙기반 접근 : 이론적 연구를 통해 얻은 형식화된 문법을 이용
  • 통계기간 접근 : corpus의 분석을 통해 얻어진 언어 단위의 분포와 빈도에 대한 정보를 이용
  • 딥러닝 기반 접근

🔻언어학

• 음정 (syllable) : 가장 작은 “말소리”의 단위

  • 한국어: 하나의 글자
  • 영어: 모음이 포함된 최소 음성 단위

• 형태소 (morpheme) : 언어에서 “의미”를 갖는 가장 작은 단위

  • 언어를 형태소보다 더 작은 단위로 쪼개면 더 이상 기능이나 의미를 갖지 않음.
  • 일반적으로 자연어처리에서는 분석의 기본이 되는 토큰으로써 형태소를 이용.

  

  [한국어 형태소 예시]

• 어절 : 띄어쓰기 단위

• 품사 : 단어를 문법상 의미, 형태, 기능에 따라 분류한 종별

  • 품사를 구분하는 작업을 POS (Part of Speech) Tagging 이라고 한다.

  

  [한국어형태소 분석기 mecab 태그셋 :: you've got to find what you love.]

🔻언어의 구성요소

🔸형태론 morphology

• 언어에서 의미를 갖는 가장 기본 단위인 형태소를 분석하는 방법. 형태소 간의 상관관계를 규명하는 학문.

  

  [https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=st004329&logNo=220860435393]

• 이형태 (allomorph) : 한 형태소에 대한 여러 개의 변이 형태

  e.g. 영어에서 복수형 굴절형태소 이형태 : car-s, bus-es, sheep-$\empty$ (영형태, zero morph), man → men (불규칙)

  e.g. 영어에서 과거시제 이형태 : walk-ed, help-ed, go → went (불규칙)

🔸통사론 syntax

• 문법 규칙

  1. 어순을 결정
  2. 단어의 배열과 단어 그룹의 의미를 정의 → 단어의 배열이 달라지면 의미가 바뀜.
  3. 주어와 목적어 같은 문장 내의 문법적 관계 명시
  4. 단어의 결합이 의미와 어떻게 연관되는지를 설명함

• 심층 구조 VS 표층 구조

  • 심층 : 문장이 갖는 의미
  • 표층 : 심층 구조를 실제 문장으로 표현하는 구조

  ⇒ 서로 다른 표층 구조를 갖는 문장이라도 그 심층 의미는 동일하다고 할 수 있다.

• 구조적 모호성(Structural Ambiguity)

  • 구조적 모호성이 있는 표층구조 : 동일한 표층구조를 갖고 있더라도 다르게 해석할 수 있는 구조.

    e.g. “Annie bumped into a man with an umbrella” → 우산을 들고있는 남자를 때린 것인지 우산으로 남자를 때린 것인지 모호한 구조.

• 반복 (Recursion)

  • 문법규칙은 반복(recursion)이라는 중요한 속성을 가짐. 몇 번이고 반복되는 반복규칙은 구조를 생성하는 데 여러 번 적용되는 특성을 가짐

    The gun was on the table. => 반복해서 전치사구 생성하는 규칙 적용 • The gun was on the table near the window in the bedroom

  • 문장 속으로 다른 문장을 넣을 수 있다.

    • Mary helped George • Cathy knew that Mary helped George → John believed that Cathy knew that Mary helped George

• 구 구조규칙 (Phrase Structure Rules)

  • 특정 구의 구조가 하나 또는 특정된 순서로 늘어선 여러 개의 구성요소들로 이루어진다는 점을 표현