지난 글에서 Eigen Value, Eigen Vector를 구하고 이를 통한 Matrix의 Eigen Decomposition에 대해서 알아보았다. 이번 포스팅에서는 일반적인 직사각형의 matrix에 대한 Decompostion이 가능한 SVD(Singular Value Decomposition) 에 대해서 작성해보려고 한다. SVD는 Singular Value Decomposition의 약자로 m by n matrix를 여러개의 간단한 형태로 Decomposition 하는 것을 의미한다. Eigen Decomposition과 비슷하지만 어떤 matrix 더라도 Decomposition이 가능하다는 것이 큰 특징이다. SVD와 Eigen Vectors는 큰 연관성을 갖는다. 어떤 matrix $A$에 ..

고윳값(Eigenvalues), 고유벡터(Eigenvectors)를 구하는 방법에 대해서 알아보자 다음은 동치관계이다. 1. $\lambda$ : 행렬 $A$의 고윳값 2. $A-\lambda I$ 는 singular 3. $\det{(A-\lambda I)} = 0 $ : eigenvalues를 구하기위한 equation으로 특성다항식('characteristic polynomial')이라 부르며 오직 $\lambda$ 에 대한 식이다. 이를 바탕으로 각 $\lambda$에 대해서 $(A-\lambda I)x = 0 $을 풀어서 eigenvector $x$를 구하면 된다. 예제를 통해 확인해보자 singular $ A = \begin{bmatrix} 1 & 2 \\ 2 & 4 \end{bmatrix}$..

AI를 공부하면서 선형대수를 공부할 때 반드시 알아야하는 Singular Value Decomposition(SVD)를 알려면 고윳값, 고유벡터에 대해서도 알아야한다. 이에 대해 간단하게 알아보자! 이번 글에서는 아래 내용에 대해서 정리할 예정이다. - 고유벡터(Eigenvector) $x$가 어떤 line Ax 위에 있다는 것은 $Ax = \lambda x$ 를 만족한다는 의미이며 이때 $\lambda$를 고윳값(Eigenvalue)이라 부른다. - 만약 $Ax = \lambda x$를 만족하면, $A^{2}x = \lambda^{2}x $, $ A^{-1}x = \lambda^{-1}x $, $ (A + cI)x = (\lambda + c)x$ 를 만족하며 모두 같은 벡터 $x$를 의미한다. - 만약..