저차원 공간의 벡터를 고차원으로 매핑한 뒤 벡터 내적값을 구해 비선형 문제를 선형적으로 푸는 방법이다.
$$ \phi(\mathbf{x})\cdot\phi(\mathbf{x}') = K(\mathbf{x},\mathbf{x}') $$
ref : 🔸Multiple Regression
Linear regression
$$ y=\mathbf{w}^T\mathbf{x} \\\mathbf{w},\mathbf{x}\in\R^D,y\in\R $$
Polynomial regression
$$ y=\mathbf{w}^T\phi(\mathbf{x}) \\\mathbf{w},\phi(\mathbf{x})\in\R^D,y\in\R \\\phi:\R^D\rightarrow \R^M $$
→ 더 복잡한 모델을 만들 수 있다.
이 multiple regression을 풀기 위해선 회귀 계수 벡터 $\bold{w}$에 대해 손실 함수를 편미분하여 0이 되는 지점의 w 벡터를 구해야 한다.
$$ \bold{w}^*=\argmin_{\bold{w}}L(\bold{x}) \\\rightarrow \bold{w}=(\phi^T\phi)^{-1}\phi^Ty $$
그러나 $(\phi^T\phi)^{-1}$처럼 행력의 역행렬을 구하는 연산은 많은 컴퓨팅 자원을 소요하기 때문에 직접 역행렬을 구하지 않고 근사하는 방식을 사용한다.
→ Kernelization, 의사역행렬(Moore-Penrose pseudoinverse), SVD, QR Decomposition 등
$$ L(\bold{x})=\sum_{i=1}^n(y_i-\hat{y_i})^2=\sum_{i=1}^n(y_i-\bold{w}^T\phi(x_i))^2 \\\text{Let }\quad\alpha_i=\sum_{i=1}^n(y_i-\bold{w}^T\phi(x_i)) \\L(\bold{x})=(\bold{y}-\bold{w}^T\phi(\bold{x}))^T(\bold{y}-\bold{w}^T\phi(\bold{x}))=(\bold{y}-\bold{w}^T\phi(\bold{x}))^T(\bold{y}-\bold{w}^T\phi(\bold{x}))
$$