[Linear Algebra] Orthogonality of vector

이번 포스팅에서는 Orthogonality에 대해서 공부해보려고 한다.

우선 Orthogonality를 공부하기 전에 이것을 왜 공부하는지부터 알아보도록 하자. 

위와 같이 세 개의 점이 있다고 해보자. 위의 세 개의 점은 한 직선 상에 있지 않다. 따라서 위의 세 점을 지나는 하나의 선은 없다. 아래의 식을 보자.

그렇다면 그냥 포기할까? 아니다! 우리는 위의 식에서 가장 가까운 해를 구할 것이다. 그것을 알기 위해서 가장 먼저 공부해야 하는 개념이 Orthogonality이다. 직각이라는 말이다.

자 이제 위의 그래프는 조금 나중에 생각해보고 본격적으로 Orthogonality를 공부해보자. 보통 두 개의 vector가 Orthogonal하다는 말은 두 vector가 90도를 이룬다는 말이다. 두 개의 vector가 Orthogonal하면 두 vector의 dot product은 0이 된다. 이 orthogonality를 subspace에 적용하여 말해보면 아래와 같은 정의를 내릴 수 있다.

두 개의 subspace V와 W가 Orthogonal이면 V에 있는 모든 vector v와 W에 있는 모든 vector w는 Orthogonal이다. 따라서 v · w = 0 이다. 이를 행렬로 표현하면 (V Transpose)W = 0 이라는 말이 된다.

이제는 우리가 이전 포스팅에서 공부했던 Four Subspace에서 어떤 subspace들이 서로 Orthogonal한지 알아보자. 결론부터 말하면, A라는 matrix에 대해서, row space of A와 null space of A가 Orthogonal하고, column space of A와 null space of A Transpose가 Orthogonal하다.

두 정리 중 하나만 증명을 해보자. "row space of A와 null space of A가 Orthogonal하다"를 증명해보도록 하자. 이 말은 다시 말하면, null space of A에 있는 모든 vector x는 A의 모든 row space와 Orthogonal하다는 말이다.

나머지 하나의 정리 역시 거의 똑같은 방법으로 증명이 가능하다.

이번 포스팅은 조금 짧게 끝내자. 오늘 공부한 이 개념을 이용해서 projection을 다음 포스팅에서 공부해보려고 한다.