LU factorization 을 조금 변형한 형태. (실제적으로 많이 사용되지 않는 편이나, 가끔 나오는 경우가 있음. LDU를 쉽게 설명하려면 다음의 LU factorization의 형태에서 출발하면 됨. $$A=\begin{matrix} \begin{bmatrix}1 & 0 & 0 & 0 \\* & 1 & 0 & 0 \\* & * & 1 & 0 \\* & * & * & 1\end{bmatrix} & \begin{bmatrix}\blacksquare & * & * & * & * \\0 & \blacksquare & * & * & * \\0 & 0 & 0 & \blacksquare & * \\0 & 0 & 0 & 0 & 0\end{bmatrix} \\ L & U \end{matrix}$$ $*$은 어떤..

Vector의 Norm을 이용한 Matrix의 Norm의 정의는 다음과 같음. $$\|A\|=\underset{\textbf{x}\ne\textbf{0}}{\text{max}} \frac{\|A\textbf{x}\|}{\|\textbf{x}\|}$$ $\textbf{x}$ : 임의의 column vector. 위의 Matrix의 Norm에 대한 정의로부터 다음이 성립. $$\|A\textbf{x}\|\le\|A\|\|\textbf{x}\|$$ Condition number (조건수) 행렬의 조건수는 방정식 $A\textbf{x}=\textbf{b}$ 의 민감도를 나타내는 지표임. 행렬 $A$ 의 조건수가 크면 (←민감한 경우) 일정한 크기의 input의 상대 오차에 대해서 solution(해)의 상대 오..

linear algebra는 다음을 다루고 제공하는 분야임. vector, matrix, tensor 등을 사용하여, 대용량의 숫자로 이루어진 데이터를 효과적으로 계산 및 처리하는 방법을 다룸. 기하학적으로 이해가능한 1~3차원”에서 출발하여 “딥러닝과 같은 기계학습에서 이용하는 고차원 벡터 공간“에서의 대용량 데이터 분석을 위한 이론적 그리고 수학적 기반을 제공. Linear Algebra 관련해서 원서의 용어(terminology)에 대한 정확한 개념을 가지고 있는 것이 기계학습이나 AI 분야의 응용기술을 이해하는데 필요함. 컴퓨터의 발달로 점점 linear algebra에서 실제 손으로 하는 계산 보다는 개념이 중요해지고 있으며, 사람은 가장 효율적인 계산법을 고르고, 적절한 입력 데이터를 vect..

다음과 같은 Matrix equation으로 표현되는 system of linear systems를 homogeneous라고 부름. $$ A\textbf{x}=\textbf{0} $$ 여기서 $\textbf{0}$ 는 모든 element가 0인 zero vector를 의미함. 모든 term(항)들의 degree가 1차로 동일(homogeneous)함. Homogeneous linear system 은 결국, linear system이고 linear이므로 degree가 1임. 여기서 모든 구성 항들이 동일(homogeneous)한 차수(degree)를 가지려면 모두 1차여야 한다. Trivial solution (자명해) homogeneous linear system은 항상 consistent인데, 이유는..

David C. Lay의 Linear Algebra and its applications, 5th ed. $A$가 $m \times n$ matrix이면, 다음의 statement들은 equivalent임. 1. $\mathbb{R}^m$에 속하는 임의의 vector $\textbf{b}$에 대해, matrix equation $A\textbf{x}=\textbf{b}$는 consistent함. (solution을 가짐.) 2. $\mathbb{R}^m$에 속하는 임의의 vector $\textbf{b}$는 matrix $A$의 columne들의 linear combination임. 3. matrix $A$의 column vector들로 구성된 Span은 $\mathbb{R}^m$이 된다. 4. matr..