[Linear Algebra] AI와 선형대수를 공부한다면 당연히 알아야 할 Eigenvalue!! 1편

AI를 공부하면서 선형대수를 공부할 때 반드시 알아야하는 Singular Value Decomposition(SVD)를 알려면 고윳값, 고유벡터에 대해서도 알아야한다. 이에 대해 간단하게 알아보자!

 

이번 글에서는 아래 내용에 대해서 정리할 예정이다.

 

- 고유벡터(Eigenvector) $x$가 어떤 line Ax 위에 있다는 것은 $Ax = \lambda x$ 를 만족한다는 의미이며 이때 $\lambda$를 고윳값(Eigenvalue)이라 부른다.

 

- 만약 $Ax = \lambda x$를 만족하면, $A^{2}x = \lambda^{2}x $, $ A^{-1}x = \lambda^{-1}x $, $ (A + cI)x = (\lambda + c)x$ 를 만족하며 모두 같은 벡터 $x$를 의미한다.

 

- 만약 $Ax = \lambda x$를 만족하면, $(A-\lambda I)x = 0 $을 만족하고, $A - \lambda I$ 는 singular이고 $\det{(A-\lambda I)} = 0$ 을 만족하며 n개의 eigenvalues를 갖는다.

 

- $\det{A} = (\lambda_1)(\lambda_2)\cdots(\lambda_n)$ 대각합(diagonal sum) $a_{11} + a_{22} + \cdots + a_{nn} = sum \ of \ \lambda 's$ 를 통해 고윳값 여부를 확인할 수 있다.

 

- Projection Matrix는 고윳값으로 1, 0 / Reflection Matrix는 고윳값으로 1, -1 / Rotation Matrix 는 고윳값으로 1, -1을 갖는다.

정의

어떤 Vectors $x$가 $Ax$ 와 같은 direction을 갖는다고 할 때 우리는 $x$를 eigenvectors라 부른다.

따라서 basic equation은 $Ax = \lambda x$라 표현할 수 있으며, 이때 $\lambda$를 $A$의 고윳값이라 한다.

 

Ex) $ A = \begin{bmatrix} 0.8 & 0.3 \\ 0.2 & 0.7 \end{bmatrix} $ 에 대해서 고윳값, 고유벡터를 구해보자.

$$ \det{\begin{bmatrix} 0.8-\lambda & 0.3 \\ 0.2 & 0.7-\lambda \end{bmatrix}} = \lambda^2 - 0.15\lambda + 0.56 - 0.6 \\ = \lambda^2 - 1.5\lambda + 0.5 = (\lambda - 1) (\lambda - 0.5)$$

$$ (A - I)x_1 = 0 (A-\lambda I : singular) $$ $$ Ax_1 = x_1, x_1 =  \begin{pmatrix}a  \\ b \end{pmatrix}$$

$$ -0.8a + 0.3b = a, 0.2a = 0.3b $$ $$ a=3, b=2 , x_1 = \begin{pmatrix} 3 \\ 2 \end{pmatrix}$$

마찬가지로 $\lambda = 0.5$에 대해서 같은 방법으로 풀면

$$ x_2 = \begin{pmatrix} 1 \\ -1 \end{pmatrix} $$

 

Note) A를 제곱할 경우 matrix면 고유벡터들은 그대로 유지되며, 고윳값들은 기존 값에 제곱된 값들이 된다.

$ Ax = \lambda x$라 하면 $ A^2x = AAx = A\lambda x = \lambda Ax = \lambda^2x $

 

정리해보면 Matrix A를 곱하는 것은 각각의 고유벡터에 고유값을 곱하는 것과 같다고 보면된다.

 

다음 글에서는 고윳값을 구하는 방법에 대해서 다뤄보려고 한다.