[LA] Linear Combination 및 Vector equation, Matrix equation

Linear Combination

linear equation 에서 variable 이 scalar가 아닌 vector로 바꾼 경우라고 생각하면 쉽다

• scalar를 component가 1개인 vector라고 생각할 수 있으므로, linear equaiton의 일반화 라고 봐도 된다.
• weighted sum이라고도 불림.

정의는 다음과 같음 (from LInear Algebra and its application, 5th ed. David C. Ray)

---

Given vectors $\textbf{v}_1,\textbf{v}_2,\cdots,\textbf{v}_p$ in $\mathbb{R^n}$ and given scalars $c_1,c_2,\cdots,c_p$,
the vector $\textbf{y}$ defined by
$$\textbf{y}=c_1\textbf{v}_1+\cdots+c_p \textbf{v}_p$$
is called a linear combination of $\textbf{v}_1,\textbf{v}_2,\cdots,\textbf{v}_p$ with weights $c_1,c_2,\cdots,c_p$.

---

• 위의 정의식에서 vector $\textbf{v}$를 scalar $x$로 변경할 경우, linear equation이 됨.
• 기계학습 등에서는 weight들은 real number로 쓰는 경우가 대부분임.
• weight이 0인 경우도 포함됨을 주의할 것.

Vector equation and Matrix equation

Linear combination의 위 정의식은 $\textbf{y}$에 대한 vector equation이라고도 볼 수 있음.

다음과 같은 linear system이 있다고 하자.

$$\begin {aligned} x_1 +2x_2 &= 7 \\ -2x_1 +5 x_2 &= 4 \\ -5 x_1 + 6 x_2 &= -3 \end {aligned}$$

 

이를 vector equation으로 나타내면 다음과 같음.

$$x_1\begin{bmatrix}1 \\ -2 \\ -5 \end{bmatrix} + x_2\begin{bmatrix}2 \\ 5 \\ 6 \end{bmatrix} = \begin{bmatrix}7 \\ 4 \\ -3 \end{bmatrix}$$

 

참고로 이를 augmented matrix로 표현하면 다음과 같음.

$$\begin {bmatrix} 1 & 2 & 7 \\ -2 & 5 & 4 \\ -5 & 6 & -3 \end {bmatrix}$$

 

이를 matrix equation으로 표현하면 다음과 같음. $$\begin {bmatrix} 1 & 2 \\ -2 & 5 \\ -5 & 6 \end {bmatrix}\begin {bmatrix} x_1 \\ x_2 \\ \end {bmatrix}=\begin {bmatrix} 7 \\ 4 \\ -3 \end {bmatrix}$$

 

이들은 모두 표현방법만 다를 뿐 solution을 공유하는 equivalent 를 만족한다.

즉, 가장 편한 방식으로 골라 쓸 수 있음.