Gram-Shmidt Process

주어진 벡터를 이용하여 직교 기저를 얻기 위한 과정이다.

$$\begin{array}{rl}{u}_1& =v_1\\ u_2& =v_2-pro{j}_{u_1}(v_2),\\ u_3& =v_3-pro{j}_{u_1}(v_3)-pro{j}_{u_2}(v_3),\\ & ⋮\\ u_k& =v_k-\sum _{i=1}^{k-1}pro{j}_{u_i}(v_k),\end{array}$$

각 벡터에서 직교하는 성분만을 남겨 서로 수직하도록 한다.

$$\begin{array}{rl}{e}_i& =u_i/||u_i||\end{array}$$

위와 같이 직교 벡터들을 정규화하면, 벡터 공간의 정규 직교 기저가 된다. 즉, 주어진 벡터들이 span하는 공간의 정규 직교 기저를 얻을 수 있다.

$\mathrm{A}x=\mathrm{b}$ 꼴의 least squared 문제에서 직교 행렬의 성질을 이용하여 다음과 같이 활용할 수 있다.

$$\begin{array}{rl}\mathrm{A}\hat{x}& =\mathrm{B}\\ {\mathrm{A}}^{\mathrm{T}}\mathrm{A}\hat{x}& ={\mathrm{A}}^{\mathrm{T}}\mathrm{B}\\ \hat{x}& ={\mathrm{A}}^{\mathrm{T}}B\end{array}$$