趙勇. SVM改進(jìn)算法的研究現(xiàn)狀與趨勢. 人工智能研討論壇,
SVM版.
由于SVM有著良好的統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)，優(yōu)良的泛化能力，在模式識(shí)別（人臉識(shí)別、文本識(shí)別、手寫體識(shí)別等）、函數(shù)擬合、建模和控制領(lǐng)域得到了應(yīng)用，取得了
良好的評(píng)價(jià)。但同時(shí)，在目前SVM的應(yīng)用中還存在一些問題，如對(duì)不同的應(yīng)用問題核函數(shù)參數(shù)的選擇比較困難，對(duì)較復(fù)雜問題其分類精度不是很高，以及對(duì)大規(guī)模
分類問題訓(xùn)練時(shí)間長等。由此，促生了對(duì)SVM算法進(jìn)行改進(jìn)的研究熱潮，并在從中孕育出了許多具有實(shí)用價(jià)值的優(yōu)良改進(jìn)算法。
目前針對(duì)SVM應(yīng)用中出現(xiàn)的問題，主要針對(duì)SVM的一些不足之處進(jìn)行如下方面的改進(jìn)和完善：
1.
對(duì)學(xué)習(xí)訓(xùn)練速度的改進(jìn)：SVM的訓(xùn)練速度與支持向量的數(shù)量有關(guān)，支持向量個(gè)數(shù)越大，訓(xùn)練的計(jì)算量就越大，識(shí)別的計(jì)算量也同樣很大。于是，就需要提高SVM
的計(jì)算速度，以便于處理大規(guī)模問題。因此，降低支持向量數(shù)目、簡化支持向量成為一項(xiàng)非常有意義的工作。
在國外，Burges[8]通過在給定精度損失下生成支持向量縮減集合的方式得到簡化支持向量機(jī)，它的計(jì)算量很大且在簡化的同時(shí)犧牲了識(shí)別精度。Lee
等[9]提出RSVM (Reduced Support Vector Machine)，Lin
等[10]對(duì)這種方法作了進(jìn)一步的研究，該方法人為地將支持向量限制在一個(gè)訓(xùn)練樣本子集中,它只有在訓(xùn)練樣本很多且支持向量所占比例極高的情況下能減少支
持向量，在一般情況下支持向量個(gè)數(shù)反而可能會(huì)增加。Scholkopf 等人[11,
12]提出了所謂的υ-SVM,證明了參數(shù)υ與支持向量數(shù)目及誤差之間的關(guān)系，但這種方法在參數(shù)υ過小時(shí)將降低機(jī)器泛化能力。
在國內(nèi)，劉向東和陳兆乾[13]提出了一種快速支持向量機(jī)分類算法FCSVM，實(shí)驗(yàn)表明在幾乎不損失識(shí)別精度的情況下識(shí)別速度有不同程度的提高。
該方法通過變換，用少量的支持向量代替全部支持向量進(jìn)行分類計(jì)算，但在求解變換矩陣時(shí)需要求解復(fù)雜優(yōu)化問題。李紅蓮[14]等提出了一種大規(guī)模樣本集的支
持向量機(jī)學(xué)習(xí)策略：首先用小規(guī)模的樣本集訓(xùn)練得到初始分類器，然后用這個(gè)分類器對(duì)大規(guī)模訓(xùn)練集進(jìn)行修剪，得到一個(gè)規(guī)模很小的約減集，再用這個(gè)約減集進(jìn)行訓(xùn)
練得到最終的分類器。實(shí)驗(yàn)表明這種方法既減少了訓(xùn)練時(shí)間，也減少了識(shí)別速度，且在最優(yōu)閾值時(shí)識(shí)別率還可能有所提高，但在計(jì)算時(shí)需對(duì)閾值進(jìn)行選擇.
2.
對(duì)SVM多分類算法的研究：經(jīng)典SVM算法在二分類問題上得到了很好的研究和應(yīng)用，但是現(xiàn)實(shí)中，大多情況是多分類問題。如何將SVM良好的二分類處理能力
有效地延伸到多分類問題上，是擴(kuò)大SVM應(yīng)用領(lǐng)域?qū)嶋H所要求，是目前研究的一個(gè)重要方面。
相關(guān)資料：
目前，將二分類方法轉(zhuǎn)化為多分類方法常用的思路有兩種：一是間接構(gòu)造，通過多個(gè)2 類分類器組合起來完成多類分類,如DAGSVM 等方法[5]
；二是利用Weston等人提出的方法直接構(gòu)造多類SVM分類器,如k-SVM[6] 。
（1）間接構(gòu)造多分類器：這一方法根據(jù)訓(xùn)練樣本組成的不同可以分為“one against one”和“one against
all”兩種類型。對(duì)于構(gòu)造k類的分類器：前者的每一個(gè)SVM的訓(xùn)練樣本是由兩個(gè)不同類別的樣本組成，需要構(gòu)造(k(k-1)/2)個(gè)SVM完成整個(gè)分類
任務(wù)；后者的每個(gè)SVM訓(xùn)練樣本由全部樣本組成，分為屬于該類和不屬于該類兩部分，需要構(gòu)造k個(gè)SVM完成k分類。
3.
對(duì)過學(xué)習(xí)問題的優(yōu)化：當(dāng)訓(xùn)練樣本兩類樣本混雜較嚴(yán)重時(shí)，SVM也可能會(huì)出現(xiàn)過學(xué)習(xí)現(xiàn)象，使得決策面過于復(fù)雜而降低了泛化能力。因此，對(duì)過學(xué)習(xí)問題的研究和
尋找避免方法也是研究之一。
相關(guān)論文：
文獻(xiàn)[1]的做法是：先對(duì)訓(xùn)練樣本進(jìn)行裁剪，首先找出每一個(gè)點(diǎn)的最近鄰,然后對(duì)每一個(gè)點(diǎn),如果該點(diǎn)與其最近鄰屬于同類,則保留此點(diǎn);如果該點(diǎn)與其最近鄰屬
于異類,將該點(diǎn)刪除，由此使的不同類樣本的摻雜程度降低；然后在使用SVM對(duì)裁剪后的樣本進(jìn)行學(xué)習(xí)。由此，改進(jìn)得到了作者所命名的NN-SVM，在試驗(yàn)中
表現(xiàn)出較好的效果。
4.
對(duì)SVM樣本孤立點(diǎn)和噪點(diǎn)處理的改進(jìn)：改進(jìn)對(duì)訓(xùn)練樣本中噪點(diǎn)的處理提高其泛化能力，因?yàn)镾VM在構(gòu)造最優(yōu)分類面時(shí)所有的樣本具有相同的作用,因此,存在對(duì)
噪聲或野值敏感的問題。于是，如何消除噪點(diǎn)影響也是改進(jìn)SVM的研究方向之一。提出了很多模糊支持向量機(jī)的方法，如F-SVM[7]等。
相關(guān)論文：
文獻(xiàn)[2]從“出錯(cuò)樣本點(diǎn)都在分界面附近”考慮，認(rèn)為要提高SVM的分類性能應(yīng)盡量利用分界面附近的樣本提供的信息。同時(shí)，經(jīng)過推導(dǎo)得出SVM可以看成
“每類只有一個(gè)代表點(diǎn)的最近鄰（Nearest Neighbour,
NN）分類器”。由此分析，作者將SVM和NN結(jié)合起來，對(duì)樣本在空間的不同分布使用不同的分類法：當(dāng)樣本和SVM最優(yōu)分類面的距離大于一個(gè)給定的閾值
時(shí)，使用SVM分類，反之則用KNN分類（以每類的所有的支持向量機(jī)作為代表點(diǎn)組）。以此構(gòu)造出SVM-KNN分類器，以提高SVM的預(yù)測精度。
5. 對(duì)SVM在線學(xué)習(xí)算法的研究：
6. 對(duì)SVM回歸預(yù)測算法的改進(jìn)：
相關(guān)論文：
文獻(xiàn)[3]觀察到支持向量回歸算法建立的預(yù)測模型, 通常把待預(yù)測樣本輸入, 只能獲得一個(gè)點(diǎn)輸出,
至于這個(gè)預(yù)測值到底可信與否并不知道。于是，根據(jù)局部預(yù)測的思想,
對(duì)每個(gè)待預(yù)測樣本都找到它的一個(gè)鄰近集（距離待預(yù)測樣本距離小于某個(gè)閾值的點(diǎn)的集合）, 然后以這個(gè)鄰近集作為訓(xùn)練集,
并且根據(jù)這個(gè)鄰近集中回歸預(yù)測的正確率（預(yù)測結(jié)果誤差在允許范圍內(nèi)的點(diǎn)的個(gè)數(shù)與臨近集樣本數(shù)的比值）來定義該待預(yù)測樣本的預(yù)測信任度,
從而對(duì)每個(gè)待預(yù)測樣本都能提供一個(gè)預(yù)測信任度。
參考文獻(xiàn)：
[1] 李紅蓮, 王春花, 袁保宗. 一種改進(jìn)的支持向量機(jī)NN-SVM[J]. 計(jì)算機(jī)學(xué)報(bào), 2003, 26(8): 1015-1020.
[2] 李蓉, 葉世偉, 史忠植. SVM-KNN分類器——一種提高SVM分類精度的新方法[J]. 電子學(xué)報(bào), 2002, 30(5):
745-748.
[3] 孫德山, 吳今培. 支持向量回歸中的預(yù)測信任度[J]. 計(jì)算機(jī)科學(xué), 2003, 30(8): 126-127.
[4] Platt J . Fast training of support vector machines using sequential
minimal optimization [A]. Advances in Kernel Methods-Support Vector
Learning [C]. Cambridge: MIT Press, 1999. 185-208.
[5] Platt J C , Cristianini N , Shawe-Taylor J . Large margin DAG’s for
multiclass classification. Advances in Neural Information Processing
Systems. Cambridge , MA : MIT Press , 2000 , 12 : 547-553.
[6] Weston J , Watkins C. Multi-class support vector machines :
[Technical Report SD2 TR298204]. Department of Computer Science , Royal
Holloway University of London ,1998
[7] Inoue T , Abe S. Fuzzy Support Vector Machines for Pattern
Classification. In : Proceedings of International Joint Conference on
Neural Networks , 2001. 1449～1454.
[8] C J C Burges . Simplified support vector decision rule[A ] . Proc
13th Int Conf Machine Learning[ C ] . San Mateo , CA ,1996. 71 - 77.
[9] Y J Lee , O L Mangasarian. RSVM : Reduced support vector machines [A
] . Proc of the First SIAM International Conference on Data Mining[ C] .
Chicago ,2001.
[10] K M Lin ,C J Lin. A study on reduced support vector machines[J ] .
IEEE Transactions on Neural Networks ,2003 ,14 (6) :1449 - 1559.
[11] B Scholkopf , et al . New support vector algorithms [J ] . Neural
Computation ;2000 ,12 (5) :1207 - 1245.
[12] P H Chen ,C J Lin ,B Schǒlkopf . A tutorial onυ2support vector
machines [J ] . Applied Stochastic Models in Business and Industry ,2005
,21 (2) :111 - 136.
[13] 劉向東, 陳兆乾. 一種快速支持向量機(jī)分類算法的研究[J ] . 計(jì)算機(jī)研究與發(fā)展,2004 ,41 (8) :1327 -
1332.
Xiang dong Liu , Zhao2qian Chen. A fast classification algorithm of
support vector machines [J ] . J ournal of Computer Research and
Development ,2004 ,41 (8) :132721332. (in Chinese)
[14] 李紅蓮,等. 針對(duì)大規(guī)模訓(xùn)練集的支持向量機(jī)的學(xué)習(xí)策略[J ] . 計(jì)算機(jī)學(xué)報(bào),2004 ,27 (5) :716 - 719.
Hong lian Li , et al . A learning strategy of SVM used to large
training set [ J ] . Chinese J ournal of Computers , 2004 , 27 (5) : 716
- 719. (in Chinese) |
|
