一、线性分类判别

对于二分类问题，LDA针对的是：数据服从高斯分布，且均值不同，方差相同。

概率密度：

p是数据的维度。

分类判别函数：

可以看出结果是关于x的一次函数：wx+w0，线性分类判别的说法由此得来。

参数计算：

 

二、二次分类判别

对于二分类问题，QDA针对的是：数据服从高斯分布，且均值不同，方差不同。

数据方差相同的时候，一次判别就可以，如左图所示;但如果方差差别较大，就是一个二次问题了，像右图那样。

 从sklearn给的例子中，也容易观察到：

QDA对数据有更好的适用性，QDA判别公式：

 

三、Fisher判据

　　A-Fisher理论推导

 Fisher一个总原则是：投影之后的数据，最小化类内误差，同时最大化类间误差

其中，分别对应投影后的类均值。对应投影后的类内方差。

重写类内总方差、类间距离：

 准则函数重写：

容易求解：

其中常借助SVD求解：Sw = U∑VT，Sw-1 = U∑-1VT,借助特征值分解也是可以的。