Python實現(xiàn)線性判別分析(LDA)的MATLAB方式-創(chuàng)新互聯(lián)
線性判別分析（linear discriminant analysis），LDA。也稱為Fisher線性判別（FLD）是模式識別的經(jīng)典算法。
創(chuàng)新互聯(lián)-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價比興山網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式興山網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋興山地區(qū)。費用合理售后完善，十年實體公司更值得信賴。（1）中心思想：將高維的樣本投影到最佳鑒別矢量空間，來達(dá)到抽取分類信息和壓縮特種空間維數(shù)的效果，投影后保證樣本在新的子空間有大的類間距離和最小的類內(nèi)距離。也就是說在該空間中有最佳的可分離性。
（2）與PCA的不同點：PCA主要是從特征的協(xié)方差出發(fā)，來找到比較好的投影方式，最后需要保留的特征維數(shù)可以自己選擇。但是LDA更多的是考慮了類別信息，即希望投影后不同類別之間數(shù)據(jù)點的距離更大，同一類別的數(shù)據(jù)點更緊湊。
從圖中也可以看出，LDA的投影后就已經(jīng)將不同的類別分開了。
所以說，LDA是以分類為基準(zhǔn)的，考慮的是如何選擇投影方向使得分類更好，是有監(jiān)督的。但是PCA是一種無監(jiān)督的降維方式，它只是單純的降維，只考慮如何選擇投影面才能使得降維以后的樣本信息保留的大。
（3）LDA的維度：LDA降維后是與類別個數(shù)直接相關(guān)的，而與數(shù)據(jù)本身的維度沒有關(guān)系。如果有C個類別，LDA降維后一般會選擇1-C-1維。對于很多二分類問題，LDA之后就剩下一維，然后再找到一個分類效果最好的閾值就可以進(jìn)行分類了。
（4）投影的坐標(biāo)系是否正交：
PCA的投影坐標(biāo)系都是正交的，而LDA是根據(jù)類別的標(biāo)注，主要關(guān)注的是分類能力，因此可以不去關(guān)注石否正交，而且一般都不正交。
（5）LDA步驟：
（a）計算各個類的樣本均值：
這個地方需要注意的是，分別求出每個類別樣本的Sbi或者Swi后，在計算總體的Sb和Sw時需要做加權(quán)平均，因為每個類別中的樣本數(shù)目可能是不一樣的。
（d）LDA作為一個分類的算法，我們希望類內(nèi)的聚合度高，即類內(nèi)散度矩陣小，而類間散度矩陣大。這樣的分類效果才好。因此引入Fisher鑒別準(zhǔn)則表達(dá)式：
（inv(Sw)Sb）的特征向量。且最優(yōu)投影軸的個數(shù)d<=C-1;
（e）所以，只要計算出矩陣inv(Sw)Sb的大特征值對應(yīng)的特征向量，該特征向量就是投影方向W。
（6）計算各點在投影后的方向上的投影點：
MATLAB實現(xiàn)代碼：
%這是訓(xùn)練數(shù)據(jù)集
%2.9500 6.6300 0
%2.5300 7.7900 0
%3.5700 5.6500 0
%3.1600 5.4700 0
%2.5800 4.4600 1
%2.1600 6.2200 1
%3.2700 3.5200 1
X=load('22.txt');
pos0=find(X(:,3)==0);
pos1=find(X(:,3)==1);
X1=X(pos0,1:2);
X2=X(pos1,1:2);
hold on
plot(X1(:,1),X1(:,2),'r+','markerfacecolor', [ 1, 0, 0 ]);
plot(X2(:,1),X2(:,2),'b*','markerfacecolor', [ 0, 0, 1 ]);
grid on
%輸出樣本的二維分布
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。
本文標(biāo)題：Python實現(xiàn)線性判別分析(LDA)的MATLAB方式-創(chuàng)新互聯(lián)
文章來源：http://m.jiaotiyi.com/article/coseej.html