🔻배경지식

🔸Kernel

• Kernel (=Window)

  -chatGPT-

  1. 컴퓨터 과학에서의 커널 (Kernel):
     • 운영체제에서의 커널: 운영체제의 핵심 부분으로, 시스템 자원을 관리하고 프로세스 간 통신, 입출력 관리, 메모리 관리 등을 담당하는 소프트웨어 부분을 의미합니다.
     • 머신러닝에서의 커널 (Kernel): 머신러닝에서 사용되는 용어로, 주로 커널 트릭(Kernel Trick)과 관련이 있습니다. 커널 트릭은 원래 특성 공간에서 계산하기 어려운 고차원 특성 공간에서의 내적을 계산할 때 사용되는 기법입니다. SVM (Support Vector Machine)과 같은 알고리즘에서 사용되며, 이를 통해 복잡한 비선형 문제를 다룰 수 있습니다. 커널 함수는 두 데이터 포인트 간의 유사도를 계산하는 함수로 사용되며, 가우시안 커널과 다항식 커널 등이 일반적으로 사용됩니다.
  2. 수학에서의 커널 (Kernel):
     • 수학에서는 "커널"이라는 용어가 다양한 분야에서 사용됩니다. 예를 들면, 미적분학에서 사용되는 커널은 주로 적분 변환에서 활용됩니다. 또한, 확률론과 통계학에서는 커널 함수가 커널 밀도 추정(Kernel Density Estimation) 등에 사용됩니다.

  • SQL 에서의 ‘window’ = 행 집합, 즉 데이터 포인트들의 집합

• 커널, 윈도우는 특정 데이터 포인트들의 집합이고, 커널 함수는 해당 커널에 속한 데이터 포인트 간의 유사도를 계산하는 어떤 함수이다. SVM에서는 데이터를 고차원으로 매핑하는 기능과 유사도 분석을 동시에 수행하는 용도로 사용된다.

🔸Kernel functions

• 대표적으로 사용되는 Gaussian Kernel

  • 공식)

    $$ k_h(\bold{x},\bold{x}')=exp(-\frac{||\bold{x}-\bold{x}'||^2}{2h^2})=exp(-\frac{(\bold{x}-\bold{x}')^T\cdot(\bold{x}-\bold{x}')}{2h^2}) $$

    • $\bold{x},\bold{x}'$ : 데이터 포인트
    • $h$ : 대역폭(bandwidth)
• 이외에도 linear, polynomial, sigmoid 커널 함수가 있다.
• 아직 잘 이해가 되진 않지만, 데이터 포인트에 대한 ‘어떤 확률분포’를 만드는 기능이 있는 것 같다.
• Kernel 함수의 대역폭(bandwidth)
  • KDE의 kurtosis(첨도)와 관련 있는 변수.
    • h값이 작아질수록 첨도가 증가한다 → 분포가 뾰족해진다. → overfitting
    • h값이 커질수록 첨도가 감소한다 → 분포가 평탄(smooth)해진다. → underfitting
  • h는 하이퍼 파라미터로 학습을 통해 적절한 값을 설정해야 한다.
    • 🔸mean shift 대역폭(h) 최적화

🔻KDE

🔸개념

• kernel 함수를 통해 어떤 변수의 확률 밀도 함수(PDF)를 추정하는 방법

• 각각의 kernel 함수를 통해 생성된 분포들을 weighted sum하는 함수

  

  • weight sum)

    $$ KDE = W\cdot K_h(x-x_i) $$