Linear Algebra

[Linear Algebra] Projection onto a line and a subspace

빛나유 2015. 7. 12. 19:42

우리가 보통 "Presentation을 한다"라 하면 ppt 파일을 하얀 곳에 projector로 뿌려서 발표하는 것을 말한다. 여기서 projector가 하는 일은 화면을 벽에 뿌려주는 일이다. 제목에 나오는 Projection은 뿌려주는 의미의 Project를 의미한다. 아래의 그림에서 보면 vector b가 vector a에 project되어 vector p가 되었다.

여기서 e는 error의 e인데, 왜 갑자기 error? 나중에 설명하기로 하자. 아무튼 위의 그림을 보면 아래와 같이 수식을 표현할 수 있다.


참고로, 위의 수식에서 는 X-HAT이라고 읽고 편의상 아래에서는 X^로 표현하려한다.

자, 이제 우리는 vector a와 vector b가 있으면 vector p를 구할 수 있다. 예제를 통해서 구해보자. 위의 그림에서 a = (3.1)로 놓고 b = (1,1)로 놔보자.


이런 식으로 써먹는단다. 자 지금까지 한 것은 Projecting onto a line이다. 우리는 (3,1)이라는 line에 vector b를 project했다. 이제부터는 subspace에 projecting을 할 것이다. 즉 어떤 공간에(subspace)에 projecting을 한다는 것이다. 


subspace의 정의를 생각해보자. subspace는 하나의 vector가 linear combination으로 이루고 있는 공간이다. n개의 vector a1, a2, ..., an이 A라는 subspace를 이루고 있다고 하면 c1a1 + c2a2 + ... + cnan이 A에 속해야 된다. 우리는 vector b를 A에 projecting 시킬 것이다. 그러면 아래와 같은 그림이 나오게 된다.

subspace A위에 있는 모든 a1, ..., an이 vector e와 Orthogonal하게 된다. 따라서 아래와 같은 식이 성립하게 된다.


e = b - aX^이므로 

위의 식을 행렬화하면 아래와 같이 된다.


마지막 식은 중요한 식이다. 막 A에 T(A)에.. 역행렬A에 막 아주 난리가 났다. 조금 머리가 많이 아프다. 아래의 예제를 통해서 이해해보자.

위의 결론으로 봤을 때, 우리는 particular vector b를 알고 있었다. b = (6,0,0) 이었다. 이 값을 통해서 우리는 X^를 알고 vector p를 구했다. 그리고 기존에 증명한 수식을 이용해서 projection matrix P를 구했다. 즉 마지막에 보이는 3x3 matrix P에 어떤 3x1 matrix b를 곱하면 그 vector p는 A의 column space(subspace)에 project되게 되는 것이다.


후 이번 포스팅은 내용의 난이도 보다도 수식 작성하고 하는 것이 조금 귀찮고 해서 오래걸렸다. 몇 줄 안되는 포스팅이지만 난 무려 3시간씩이나 걸렸다.


다음 포스팅에서는 최종적으로 Ax = b with no solution x를 풀어볼 것이다. 답이 없는 Ax = b를 풀겠다고? 무슨 말인지 다음 포스팅을 통해 확인해보면 된다.