지난 글에서 Eigen Value, Eigen Vector를 구하고 이를 통한 Matrix의 Eigen Decomposition에 대해서 알아보았다. 이번 포스팅에서는 일반적인 직사각형의 matrix에 대한 Decompostion이 가능한 SVD(Singular Value Decomposition) 에 대해서 작성해보려고 한다. SVD는 Singular Value Decomposition의 약자로 m by n matrix를 여러개의 간단한 형태로 Decomposition 하는 것을 의미한다. Eigen Decomposition과 비슷하지만 어떤 matrix 더라도 Decomposition이 가능하다는 것이 큰 특징이다. SVD와 Eigen Vectors는 큰 연관성을 갖는다. 어떤 matrix $A$에 ..

AI를 공부하면서 선형대수를 공부할 때 반드시 알아야하는 Singular Value Decomposition(SVD)를 알려면 고윳값, 고유벡터에 대해서도 알아야한다. 이에 대해 간단하게 알아보자! 이번 글에서는 아래 내용에 대해서 정리할 예정이다. - 고유벡터(Eigenvector) $x$가 어떤 line Ax 위에 있다는 것은 $Ax = \lambda x$ 를 만족한다는 의미이며 이때 $\lambda$를 고윳값(Eigenvalue)이라 부른다. - 만약 $Ax = \lambda x$를 만족하면, $A^{2}x = \lambda^{2}x $, $ A^{-1}x = \lambda^{-1}x $, $ (A + cI)x = (\lambda + c)x$ 를 만족하며 모두 같은 벡터 $x$를 의미한다. - 만약..