SVM的主要思想可以概括為兩點: (1) 它是針對線性可分情況進行分析,對于線性不可分的情況,

                 通過使用非線性映射算法將低維輸入空間線性不可分的樣本轉(zhuǎn)化為高維特征空間使其線性可分,從而

                 使得高維特征空間采用線性算法對樣本的非線性特征進行線性分析成為可能; (2) 它基于結(jié)構(gòu)風(fēng)險最小

                 化理論之上在特征空間中建構(gòu)最優(yōu)分割超平面,使得學(xué)習(xí)器得到全局最優(yōu)化,并且在整個樣本空間的期

                 望風(fēng)險以某個概率滿足一定上界。

                          支持向量機的目標(biāo)就是要根據(jù)結(jié)構(gòu)風(fēng)險最小化原理,構(gòu)造一個目標(biāo)函數(shù)將兩類模式盡可能地區(qū)分開來,                  通常分為兩類情況來討論, (1) 線性可分,(2) 線性不可分。

                         1. 1 　線性可分情況

　　                   在線性可分的情況下,就會存在一個超平面使得訓(xùn)練樣本完全分開,該超平面可描述為:

                                                   w ·x + b = 0 (1) 　　

                 其中,“·”是點積, w 是n 維向量, b 為偏移量。

                       最優(yōu)超平面是使得每一類數(shù)據(jù)與超平面距離最近的向量與超平面之間的距離最大的這樣的平面.

                 最優(yōu)超平面可以通過解下面的二次優(yōu)化問題來獲得：

                    滿足約束條件：         , i = 1 ,2 ,3 ,......, n.            (3) 　　

                 在特征數(shù)目特別大的情況,可以將此二次規(guī)劃問題轉(zhuǎn)化為其對偶問題：

                                                          (4)

                                                                             (5)

                                                                              (6)

                    滿足約束條件:                                   (7)

                 這里 是Lagrange 乘子, 是最優(yōu)超平面的法向量, 是最優(yōu)超平面的偏移量,在這類

               優(yōu)化問題的求解與分析中, KKT條件將起到很重要的作用,在(7) 式中,其解必須滿足：

                                                               (8)

               從式(5) 可知,那些 = 0 的樣本對分類沒有任何作用,只有那些 > 0 的樣本才對分類起作用,這些樣

               本稱為支持向量,故最終的分類函數(shù)為：

                                                                (9)

               根據(jù)f ( x) 的符號來確定X 的歸屬。