线性代数

• 理解线性

• 在一维空间看到一条线，二维空间看到个平面， 三维以上超平面，反正直的，均匀的。

• 什么叫线性的问题解决
• 很多非线性问题可以通过线性问题来解决。
• 线性方程组
  以前我们是用的消元法，现在还是流行用矩阵来解决这些问题。

• 

• 线性可分和线性不可分

• 在一个空间内能够把两个东西分开，在超平面内能把这些分开。

• 理解过拟合
  -

• 

• 参数量过多，数据太少，导致xy可以采取任何值，最后导致无穷解
  参数量过少，数据太多，导致解决不了，最终模型不够聪明，导致无法算出。
• 核方法 - 解决非线性问题可以采用非线性函数解决问题，也可以采取核函数升维解决问题。
• 张量

• 标量 - 0维张量
• 向量 - 一维张量维
• 矩阵 - 二维张量，向量组合在一起就叫做矩阵
• 张量 - 三维以上，张量

• 范数

• 衡量向量大小
• 二范数，向量的模。
• 0范数表示非0的个数，1范数就是绝对值，2范数就是模长距离。
• 谱范数

• 归一化 Normalize

• 将数据限制到[-1,1]的操作
• 利于反向传播
• 常用归一化 二范数归一化

• 行列式

• 衡量矩阵大小
• 具体如何计算，需要计算机去算。
• 行列相等叫做方阵

• 常用的矩阵

• 上三角阵
• 下三角阵
• 0矩阵
• 1矩阵
• 单位矩阵

• 内积与投影

• 

• 一个向量在另外一个向量上的投影，判断两个向量之间的相似程度
• 余弦相似度

• 

• 判断两个向量之间的相似程度。判断正相关，负相关
  最大正相关，最大负相关，垂直就是不相关。

• 

• 相关性
  空间变换中调整其中一个轴的值，导致另外一个轴的值发生变化，可以理解为这两个轴相关。

• 垂直一定不相关，但是不相关不一定垂直

• 线性变换

• 点移动，坐标系不变
• 坐标系变，点不变。
• 改变整个空间，让整个坐标系一起移动
• 变换矩阵
• 向量乘以一个变换矩阵就等于这个矩阵做了一个线性变换，得到一个新的向量。
• 矩阵乘法的意义：线性变换的意义，就是乘以一个变换矩阵得到一个新的张量。

• 仿射变换

• 线性变换是一种特殊的仿射变换，图像的旋转，平移什么的，都只需要乘以一个变换矩阵。

• 特征方程

• 

• 一个向量经过变换矩阵，再投影到x轴上，与这个向量乘以一个标量投影到x轴上结果等价。
  特征向量就是轴。
  计算需要浮点数
• 相似矩阵

• 

• AB矩阵等价，称为相似矩阵。
• 奇异值分解

• 余弦相似度，斜对角阵。
  对角阵乘以一个矩阵好算。

• 谱范数
• 当不上方阵时，求得伪逆，叫做奇异值。称为谱。