矩阵分析 (一) 线性空间和线性变换_深度学习与先进智能决策的专栏文章_微信文章

我的微信公众号名称：深度学习与先进智能决策 微信公众号ID：MultiAgent1024 公众号介绍：主要研究分享深度学习、机器博弈、强化学习等相关内容！期待您的关注，欢迎一起学习交流进步！

我们曾在线性代数里学过向量空间，它是由向量做成的集合。在这个集合里向量可以相加，向量可以乘以一个倍数，由此我们可以讨论向量的线性组合、向量的线性相关等概念。

线性空间的概念

线性空间

定义1.1：数域：一个对和、差、积、商运算都封闭的复数的非空集合 $P$ 称为数域。
定义1.2：设 $V$ 是一个非空的集合，如果在 $V$ 中定义二元运算（加法）,
- 即 $V$ 中任意两个元素 $\alpha$ , $\beta$ 经过这个运算结果仍是 $V$ 中的一个元素，这个元素称为 $\alpha$ 与 $\beta$ 的和，记 $\alpha + \beta$ 。
- 在数域 $P$ 与 $V$ 之间定义一个运算叫作数量乘法，即对于 $P$ 中的任意数 $k$ 与 $V$ 中的任意一个元素 $\alpha$ ，经过这一运算的结果仍然是 $V$ 中的一个元素，称为 $k$ 与 $\alpha$ 的数量乘积，记 $k\alpha$ 。

如果上述运算满足以下规则，则称 $V$ 为数域 $P$ 上的线性空间。 $V$ 中的元素也称为向量。

对任意的 $\alpha$ ， $\beta$ $\in$ $V$ ，则称 $V$ 为数域 $P$ 上的线性空间， $V$ 中的元素也称为向量。
对任意的 $\alpha$ ， $\beta$ , $\gamma$ ， $\in$ $V$ , $(\alpha + \beta) + \gamma = \alpha + (\beta + \gamma)$ ；
在 $V$ 中存在一个零元素，记作 $0$ ，对任意的 $\alpha + 0 = \alpha$ ；
对任意的 $\alpha \in V$ ，都有 $\alpha$ 的负元素，记作 $-\alpha$ ;
对任意的 $\alpha \in V$ ，有 $1 \cdot \alpha = \alpha$ ;
对任意的 $\alpha \in V$ ， $k,l \in P$ ， $k(l \alpha) = (kl)\alpha$ ;
对任意的 $\alpha \in V$ ， $k,l \in P$ ， $(k+l)\alpha = k \alpha + l\alpha$
对任意的 $k \in P$ ， $\alpha,\beta \in V$ ， $k(\alpha+\beta) = k \alpha + k\beta$

线性空间的例子，基底、坐标

定义1.3：(线性相关)在 $V$ 中有一组元素 $\alpha_{1}$ ， $\alpha_{2}$ ， $\cdots$ ， $\alpha_{n}$ 线性无关，且其他元素都可以被它们线性表达，则称 $\alpha_{1}$ ， $\alpha_{2}$ ， $\cdots$ ， $\alpha_{n}$ 为 $V$ 的一组基， $n$ 为空间 $V$ 的维数，记作 $dimV=n$ ，而表达式的系数是这个元素的坐标。
例题：求 $P_{3}[t]$ 中多项式 $1+t+t^{2}$ 在基底1， $t-1$ ， $(t-2)(t-1)$ 下的坐标：

解：

1+t+t^{2} = k_{1} \times 1+k_{2} \times (t-1) + k_{3}(t-2)(t-1)

令其对应项相等即可。

基变换与坐标变换

一般来说，一个元素在不同的基底下有不同的坐标，它们的坐标有什么关系呢？

设 $V$ 是 $P$ 上的 $n$ 维线性空间， $\alpha_{1}$ ， $\alpha_{2}$ ， $\cdots$ ， $\alpha_{n}$ 和 $\beta_{1}$ ， $\beta_{2}$ ， $\cdots$ ， $\beta_{n}$ 是 $V$ 的两个不同的基底，因为 $\alpha_{1}$ ， $\alpha_{2}$ ， $\cdots$ ， $\alpha_{n}$ 是基底，所以 $\beta_{1}$ ， $\beta_{2}$ ， $\cdots$ ， $\beta_{n}$ 可以被这个基底线性表达，这两个基底的关系是：

=(\alpha_{1}，\alpha_{2}，\cdots，\alpha_{n})A

利用过渡矩阵就可以得到这个元素的两个坐标之间的关系：

\alpha=\left(\beta_{1}, \beta_{2}, \cdots, \beta_{n}\right)\left(\begin{array}{c}{l_{1}} \\ {l_{2}} \\ {\vdots} \\ {l_{n}}\end{array}\right)

=\left(\alpha_{1}, \alpha_{2}, \cdots, \alpha_{n}\right) A\left(\begin{array}{c}{l_{1}} \\ {l_{2}} \\ {\vdots} \\ {l_{n}}\end{array}\right)

=\left( \alpha_{1}, \alpha_{2}, \cdots, \alpha_{n}\right) \left(\begin{array}{c}{k_{1}} \\ {k_{2}} \\ {\vdots} \\ {k_{n}}\end{array} \right)

\left(\begin{array}{c}{k_{1}} \\ {k_{2}} \\ {\vdots} \\ {k_{2}}\end{array} \right)=A\left(\begin{array}{c}{l_{1}} \\ {l_{2}} \\ {\vdots} \\ {l_{n}}\end{array} \right)

子空间和维数定理

子空间及生成方式

我们知道三维线性空间 $R^{3}$ 的二维平面 $R^{2}$ 也是一个线性空间，这种类型的空间叫作子空间。

定义1.5：设 $V$ 是数域 $P$ 上的线性空间， $W$ 是 $V$ 的非空子集，如果 $W$ 对于线性空间 $V$ 所定义的加法运算及数乘运算也构成 $P$ 上的线性空间，则称 $W$ 为 $V$ 的线性子空间，简称子空间。
定理1.1：设 $W$ 是 $P$ 上的线性空间 $V$ 的非空子集，则 $W$ 是 $V$ 的线性子空间的充要条件是： 1）：若 $\alpha，\beta \in W$ ，则 $\alpha + \beta \in W$ ； 2）：若 $\alpha \in W$ ， $k \in P$ ，则 $k\alpha \in W$ 。 $\{0\}$ 及 $V$ 本身也是 $V$ 的子空间，这两个子空间是 $V$ 的平凡子空间。
设 $\alpha_{1}$ ， $\alpha_{2}$ ， $\cdots$ ， $\alpha_{m}$ 是 $V$ 上的 $m$ 个元素，由这 $m$ 个元素的任意组合构成的集合 $\{k_{1}\alpha_{1}+\cdots+k_{m}\alpha_{m}\}$ 对 $V$ 中的加法及数乘封闭，因而这个子集是 $V$ 中的子空间。记作：

L(\alpha_{1}，\alpha_{2}，\cdots，\alpha_{m})

用原有的子空间生成新的子空间的方法： 1）：设 $V_{1}$ ， $V_{2}$ 是 $V$ 的子空间，则 $V_{1} \cap V_{2}$ 是 $V$ 的子空间，叫做两个子空间的交子空间。 2）：设 $V_{1}$ ， $V_{2}$ 是 $V$ 的子空间， $V_{1}+V_{2}$ 也是 $V$ 的子空间，这里：