Linear Algebra – Lesson 3. 乘法和逆矩阵

Schedule

  • Matrix Multiplication (4 ways) 矩阵乘法的四种形式
  • Inverse of A , AB , A^T
  • Gauss-Jordan method to find A^{-1}

Matrix Multiplication – 矩阵乘法

点乘法

矩阵乘法的Standard Rule是点乘法,将对应矩阵的行与列相乘,得到结果矩阵中的对应位置的元素.

对于 m \times n 的矩阵 A , 将其与 n \times p 的矩阵 B 相乘,得到 m \times p 的结果矩阵 C=AB .

C_{34} = (\text{row 3 of A}) * (\text{col 4 of B}) = a_{31} * b_{14} + a_{32}*b_{24}+…=\sum_{k=1}^n a_{3k}b_{k4}

Column Way – 列角度

对于矩阵乘法 A*B=C (其中 Am \times n 的矩阵, Bn \times p 的矩阵, Cm \times p 的矩阵).

可以将 A 考虑成 n 个单独的列向量,从而将矩阵乘法看做是根据 B 每列对 A 各列进行线性组合,从而得到结果中对应的 p 列,即:

Columns of C are combinations of columns of A.

Tips :

这里其实可以转换下思路, 因为对于矩阵乘法 A*B=C , C 的大小是 m \times p, 而 A 的大小为 m \times n, 所以是 A 中的 m 被保留给了 C.

m 是行数, 也可以理解为 A 中列的长度, 所以是 A 中的列按照 B 中的每列进行 p 次自由组合, 这 p 次组合保留了 A 中每列的长度, 也就是 m.

Row Way – 行角度

同理,对于矩阵乘法 A*B=C (其中 Am \times n 的矩阵, Bn \times p 的矩阵, Cm \times p 的矩阵).

可以将 B 考虑成 n 个单独的行向量,从而将矩阵乘法看做是 A 中每行与 B 相乘,从而得到结果中对应的 m 行,即:

Rows of C are combinations of rows of B.

Columns times Rows – 列与行相乘

之前的值,行与列相乘得到的是一个数,那么列与行相乘呢?

对于 m \times n 的矩阵 An \times p 的矩阵 B , 假设 A 中的一列与 B 中的一行相乘,如下所示:

\begin{bmatrix} 2\\3\\4 \end{bmatrix} \cdot \begin{bmatrix} 1&6 \end{bmatrix} = \begin{bmatrix} 2&12\\3&18\\4&24 \end{bmatrix}

可以看出结果中每行均是倍数关系,且每列也都是倍数关系.

那么我们可以从中得出我们的第四种求解矩阵乘法的方法:

AB 等于 A 各列与 B 各行乘积之和.

AB= \text{Sum of (cols of A)} \cdot \text{(rows of B)}

矩阵相乘, A 中含有 n 列,与 B 中行数相同,所以不用担心出现不匹配的情况.

e.g.

\begin{bmatrix} 2&7\\3&8\\4&9 \end{bmatrix} * \begin{bmatrix} 1&6\\0&0 \end{bmatrix}=\begin{bmatrix} 2\\3\\4 \end{bmatrix} * \begin{bmatrix} 1&6 \end{bmatrix}+\begin{bmatrix} 7\\8\\9 \end{bmatrix} * \begin{bmatrix} 0&0 \end{bmatrix}

在上述的例子中 \begin{bmatrix} 2\3\4 \end{bmatrix}*\begin{bmatrix}1&6\end{bmatrix}=\begin{bmatrix}2&12\3&18\4&24\end{bmatrix} , 可以将结果矩阵的行空间和列空间均看做直线.

由此可以引出 Block Multiplication 的概念.

Block Multiplication – 块乘法

\begin{bmatrix} A_1&A_2\\A_3&A_4 \end{bmatrix} * \begin{bmatrix} B_1&B_2\\B_3&B_4 \end{bmatrix} = \begin{bmatrix} A_1 * B_1 + A_2 * B_3&A_1 * B_2 + A_2 * B_4\\A_3 * B_1 + A_4 * B_3&A_3 * B_2 + A_4 * B_4 \end{bmatrix}

Inverses(square matrices)

不是所有的矩阵都有逆.

关于矩阵,我们经常问的问题是:

  • 如果一个矩阵是方阵,那么这个方阵是否可逆?
  • 如果一个矩阵可逆, 如何求逆?

    对于方阵来说,其左逆等于其右逆,即 A^{-1}A=AA^{-1}=I (证明很简单,在等式两边各乘以求中一个逆即可).

    对于非方阵来说,左逆是不等于右逆的,因为形状不同所以无法相乘.

存在逆矩阵的矩阵被称为可逆的(invertible)或非奇异的(non-singular).

Singular Matrix – 奇异矩阵

奇异矩阵即非可逆矩阵.

举个例子: A = \begin{bmatrix} 1&3\\2&6 \end{bmatrix} 可以看出 A行列式(determinant) 为0.

假设 A 乘以某矩阵得到单位阵,那么结果中的列将会是 A 中的列的线性组合.

如果 A 中的列向量是共线的,则由 A 中的列向量线性组合生成的结果矩阵中的列将无法组成单位阵.

这样的线性组合无法组成单位阵,因为 A 中的列向量是共线的.

如果存在非零向量 x ,使得 Ax=0 ,那么可以说 A 不可逆.

证明: 假设逆存在,则同时满足 Ax = 0 \And A^{-1}A = I, 从而得出 A^{-1}Ax = Ix = x =0 , 而 x \neq 0 , 与假设相悖, 从而假设不成立.

对于例子中的矩阵 A ,可以找到向量 x = \begin{bmatrix} 3\\-1 \end{bmatrix} ,从而使得 Ax=0 ,所以 A 不可逆.

求逆

假设有如下的矩阵,需要对其求逆,则需满足:

\begin{bmatrix} 1&3\\2&7 \end{bmatrix} \cdot \begin{bmatrix} a&c\\b&d \end{bmatrix} = \begin{bmatrix} 1&0\\0&1 \end{bmatrix}

A times column j of A^{-1} = column j of I

Gauss-Jordan 高斯-约旦 消元法

\left[
\begin{array}{cc|cc}
1&3&1&0 \
2&7&0&1
\end{array}
\right] \rightarrow
\left[
\begin{array}{cc|cc}
1&3&1&0 \
0&1&-2&1
\end{array}
\right]\rightarrow
\left[
\begin{array}{cc|cc}
1&0&7&-3 \
0&1&-2&1
\end{array}
\right]

从而得出 A|I \rightarrow I|A^{-1}

简化形式可得 E[A | I] = [I | A^{-1}].

这里,因为 EA=I,所以 EI = E =A^{-1} .

发表评论

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据