◾TextRank

• PageRank 방법론을 사용한 extractive summarization

• google의 PageRank 알고리즘을 적용.

  • PageRank : 중요한 페이지로부터 링크를 많이 받는 페이지가 중요하다
  • TextRank : 중요한 문장과 유사한 내용을 많이 가진 문장이 중요하다.

  ⇒ graph 에 데이터를 이식한 후, edge가 많은 페이지/단어를 중요한 것으로 간주하는 알고리즘.

🔻Traditional TextRank

🔸pipeline

[claude]

🔸example

S1: 인공지능은 현대 산업을 혁신하고 있다.

S2: 머신러닝은 인공지능의 핵심 기술이다.

S3: 딥러닝은 머신러닝의 한 분야이다.

S4: 오늘 날씨가 맑고 따뜻하다.

🔻TextRank with hybrid pipeline

🔸pipeline

1. LSA 기준 점수 계산
2. sentence-transformers model 기반 임베딩 벡터 추출 후 textranking
3. fushion

🔸LSA (Latent Semantic Analysis)

• 흐름: sentences → tokenize → term-sentence matrix → TF-IDF weighting → SVD decomposition → sentence importance score
  • term-sentence matrix
  • 🔸TF-IDF 기반 벡터화
  • 🔻SVD (sumy 라이브러리의 LSA) & latent topic space projection scoring

🔸LSA with Global Vocab IDF