Linear Discriminant Analysis

전체 데이터를 특정 직선에 projection하였을 때 같은 class 내의 데이터 사이의 거리를 가깝게 하는 벡터를 찾는다. 즉, 각 클래스의 covariance의 합이 최대한 작게, 각 class간의 거리는 최대한 크게 하는 벡터 W를 찾는다.

$$\begin{array}{c}{\mathrm{w}}^{\mathrm{T}}{\mathrm{\Sigma }}_0\mathrm{w}+{\mathrm{w}}^{\mathrm{T}}{\mathrm{\Sigma }}_1\mathrm{w}\\ ||{\mathrm{w}}^{\mathrm{T}}{\mu }_0-{\mathrm{w}}^{\mathrm{T}}{\mu }_1||\end{array}$$

각 클래스의 covariance의 합과 class 간 거리는 위와 같이 쓸 수 있다. 따라서 cost function은 다음과 같이 쓸 수 있다.

$$\begin{array}{c}\mathrm{J}=\frac{{\mathrm{w}}^{\mathrm{T}}{\mathrm{\Sigma }}_0\mathrm{w}+{\mathrm{w}}^{\mathrm{T}}{\mathrm{\Sigma }}_1\mathrm{w}}{||{\mathrm{w}}^{\mathrm{T}}{\mu }_0-{\mathrm{w}}^{\mathrm{T}}{\mu }_1||}\end{array}$$

${\mathrm{S}}_{\mathrm{w}}$와 ${\mathrm{S}}_{\mathrm{b}}$는 각각 집단 내 산포 행렬과 집단 간 산포 행렬로 대칭행렬이며 다음과 같이 표현된다.

$$\begin{array}{c}{\mathrm{S}}_{\mathrm{w}}={\mathrm{\Sigma }}_1+{\mathrm{\Sigma }}_2\\ {\mathrm{\Sigma }}_{\mathrm{i}}=\sum _{\mathrm{x}\in {\chi }_{\mathrm{i}}}(\mathrm{x}-{\mu }_{\mathrm{i}})(\mathrm{x}-{\mu }_{\mathrm{i}}{)}^{\mathrm{T}}\\ {\mathrm{S}}_{\mathrm{b}}=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{\mathrm{T}}\\ \mathrm{J}=\frac{{\mathrm{w}}^{\mathrm{T}}{\mathrm{S}}_{\mathrm{b}}\mathrm{w}}{{\mathrm{w}}^{\mathrm{T}}{\mathrm{S}}_{\mathrm{w}}\mathrm{w}}\end{array}$$

최대화를 위해 목적함수 J(w)를 미분하여 0이 되는 지점을 찾으면 다음과 같은 식을 얻을 수 있다.