[Linear Algebra] Four Fundamental Subspaces

이번 포스팅에서는 Four Fundamental Subspaces에 대해서 이야기해보려고 한다. 이 네 개의 Subspace를 잘 이해하면 Linear Algebra의 상당부분을 이해한 것이라고 봐도 된다고 하드라. (그래서 내가 아직 잘 Linear Algebra를 모르고 있는 것 같다-_-)

아무튼 Four Fundamental Subspace가 무엇인지 알아보자. 우리가 하나의 Matrix A가 있을 때, 이 Matrix의 Four Fundamental Subspace를 아래와 같이 이야기 한다.

1. Column Space of A

2. Null space of A

3. Column space of A Transpose

4. Null space of A Transpose

이 네개의 space에 대하여 basis와 dimension을 구해볼 생각이다. 자, Column space of A부터 생각해보자. (단 A는 mxn matrix)

1. Column space of A

1.1 basis : pivot column

Column space of A의 basis는 우선 쉽게 생각해보면 모든 Column들의 Linear Combination이다. 그래 맞는 말이긴 하다. 그런데 이 답에서 조금 불필요한 부분을 빼보려고 한다. Column space of A의 basis는 pivot column들이다.

pivot column들이 basis임을 증명하기 위해서는 pivot column들이 independent한지와 pivot column들이 Column space of A를 span하는지를 보면 된다.

1.1.1 Are pivot columns of A independent? YES

이것을 보이기 위해서 pivot column들의 linear combination이 0이 되는 것이 zero vector 밖에 없다는 것을 보이면 된다.

1.1.2 Does pivot Column span Column space of A? YES

1.1.1과 1.1.2에 의해서 Column space of A의 basis가 pivot column임을 보였다.

1.2 Dimension : r

이건 굳이 설명할 필요가 없다. dimension의 정의가 "한 space에서의 basis를 이루는 Vector의 개수"이기 때문이다. Column space of A의 basis는 pivot column인데, 하나의 Column space of A에 pivot column 개수는 몇 개인가? r 개이다. 

dimension의 정의를 "한 space에서의 basis를 이루는 Vector의 개수"라고 수학적으로 설명했었는데, 이제 조금 더 직관적으로 이해가 되는 것 같기도 하다. 우리는 지금까지 예를 들어, 3차원이면 X Y Z 축 세 개가 있으니까 3차원이라고 이야기해왔다. 그런데 X, Y, Z를 각각 말해보면 (1,0,0), (0,1,0), (0,0,1)이며 이는 서로 independent하고 R3를 span한다. 즉, 하나의 공간을 모두 표현할 수 있는 벡터의 개수가 dimension이라는 말인 것 같다.

2. Null space of A

2.1 basis : All linear combination of free columns

Ax = 0의 special solution을 구해보면 금방 안다.

위에서 볼 수 있듯이, special solution이라함은 free column에서의 각각의 element를 하나만 1로 놓고 나머지는 0으로 놓았을 때의 답이다. 그 1이 된 free variable은 Null space of A내에서 Identity matrix를 이룬다. 따라서 자연스럽게 free variable이 basis가 될 수밖에 없다.

2.2 dimension : n-r

이 역시 그리 어렵지 않게 생각해볼 수 있다. Column space에는 n개의 element가 있다. 그 중에 r개가 pivot column이고 n-r개가 free column일 것이다. free column으로 special solution을 만들면 당연히 n-r개의 special solution이 나올 것이고 이는 basis를 이룰 것이며, 따라서 n-r dimension이다.

3. Column space of A Transpose

3.1 basis : First r column space of A Transpose

A Transpose는 Matrix A의 행과 열을 바꾼 것이다. 즉 A Transpose의 Column space는 A의 row space이다. 그래 앞으로는 row space라고 말하련다. row space의 basis는 무엇이 될까? 간단하다. 일반적으로 A가 row reduced echelon form인 R이 되려면 어떻게 해야하는가? A의 row에 대하여 곱하고 더하고 빼는 등의 계산을 해야한다. 즉, A의 rowspace와 R의 row space는 같은 공간이다. 그런데 R에서 보면, 마지막 m-r개의 행은 분명 0으로 이루어진 행들일 것이다. 따라서, 처음 r개의 행이 R의 basis를 이루며, 이 말은 A의 basis 또한 처음 r개의 행이라는 것이다. 조금 복잡할 수도 있으므로 아래의 예를 통해 보자.

3.2 dimension : r

이것 또한 당연하다. 처음 r개의 row가 basis였으므로 r이 dimension이다.

4 Nullspace of A Transpose

4.1 basis : m-r rows from the last row of matrix

조금 조금씩 이해해보니까 당연할 수 밖에 없다는 생각이 막 든다. 좋은 현상이다.

4.2 dimension : m-r

굳이 설명 안 해도 된다. basis가 마지막 m-r이므로 dimension 역시 m-r 이다.

눈치상 봐서 알겠지만 우리는 basis를 알면 dimension은 정말 쉽게 구하게 된다. basis를 이루는 vector들의 개수가 dimension이니까. 

휴, Four Fundamental Subspace 이제 설명 마쳤다. 여기서 가장 어려웠던 내용은 column space of A의 basis가 pivot column이라는 내용이었다. 이해하는데도 하루 종일이 걸렸고, 이해했다고 생각하여 포스팅을 쓰는데도 조금씩 햇깔려서 저부분 쓰는데만 3시간 걸린듯 하다. 이렇게 하나 이해하고 나니까 나머지는 술술 풀리드라. 아마도 column space of A의 basis를 이해하는 과정에서 나의 이해도도 많이 좋아져서 그런 듯 하다.

(이제 다시 강의를 듣자. 빨리 Eigenvector와 Eigenvalue 부분을 공부해야 되는딩...)