一、監(jiān)督式學(xué)習(xí) Supervised Learning

在監(jiān)督式學(xué)習(xí)下，每組訓(xùn)練數(shù)據(jù)都有一個(gè)標(biāo)識(shí)值或結(jié)果值，如客戶流失對(duì)應(yīng)1，不流失對(duì)應(yīng)0。在建立預(yù)測(cè)模型的時(shí)候，監(jiān)督式學(xué)習(xí)建立一個(gè)學(xué)習(xí)過(guò)程，將預(yù)測(cè)的結(jié)果與訓(xùn)練數(shù)據(jù)的實(shí)際結(jié)果進(jìn)行比較，不斷的調(diào)整預(yù)測(cè)模型，直到模型的預(yù)測(cè)結(jié)果達(dá)到一個(gè)預(yù)期的準(zhǔn)確率。

1. 分類 Classification

（1）K最近鄰 K-Nearest Neighbor (KNN)

（2）樸素貝葉斯 Naive Bayes

（3）決策樹 Decision Tree

◆ C4.5

◆ 分類回歸樹 Classification And Regression Tree (CART)

（4）支持向量機(jī)器 Support Vector Machine (SVM)

2. 回歸 Regression

（1）線性回歸 linear regression

（2）局部加權(quán)回歸 Locally weighted regression

（3）邏輯回歸 logistic Regression

（4）逐步回歸 stepwise regression

（5）多元自適應(yīng)回歸樣條法 multivariate adaptive regression splines

（6）局部散點(diǎn)平滑估計(jì) Locally estimated scatter plot smoothing ( LOESS )

（7）嶺回歸 Ridge Regression

（8）Least Absolute Shrinkage and Selection Operator ( LASSO )

（9）彈性網(wǎng)絡(luò) Elastic Net

（10）多項(xiàng)式回歸 Polynomial Regression

3. 排序 Rank

（1）單文檔分類 Pointwise

◆ McRank

（2）文檔對(duì)方法（Pairwise）

◆ Ranking SVM

◆ RankNet

◆ Frank

◆ RankBoost

（3）文檔列表方法（Listwise）

◆ AdaRank

◆ SoftRank

◆ LambdaMART

4. 匹配學(xué)習(xí)

（1）人工神經(jīng)網(wǎng)絡(luò)

◆ 感知神經(jīng)網(wǎng)絡(luò) Perception Neural Network

◆ 反向傳遞 Back Propagation

◆ Hopfield網(wǎng)絡(luò)

◆ 自組織映射 Self-Organizing Map ( SOM )

◆ 學(xué)習(xí)矢量量化 Learning Vector Quantization ( LVQ )

二、半監(jiān)督學(xué)習(xí)

在半監(jiān)督學(xué)習(xí)方式下，訓(xùn)練數(shù)據(jù)有部分被標(biāo)識(shí)，部分沒有被標(biāo)識(shí)，這種模型首先需要學(xué)習(xí)數(shù)據(jù)的內(nèi)在結(jié)構(gòu)，以便合理的組織數(shù)據(jù)來(lái)進(jìn)行預(yù)測(cè)。算法上，包括一些對(duì)常用監(jiān)督式學(xué)習(xí)算法的延伸，這些算法首先試圖對(duì)未標(biāo)識(shí)數(shù)據(jù)進(jìn)行建模，在此基礎(chǔ)上再對(duì)標(biāo)識(shí)的數(shù)據(jù)進(jìn)行預(yù)測(cè)。如深度學(xué)習(xí)：

1. 深度學(xué)習(xí) Deep Learning

深度學(xué)習(xí)是 監(jiān)督學(xué)習(xí)的匹配學(xué)習(xí)中人工神經(jīng)網(wǎng)絡(luò)延伸出來(lái)發(fā)展出來(lái)的。

（1）受限波爾茲曼機(jī) Restricted Boltzmann Machine ( RBM )

（2）深度信念網(wǎng)絡(luò) Deep Belief Networks ( DBN )

（3）卷積網(wǎng)絡(luò) Convolutional Network

（4）棧式自編碼 Stacked Auto-encoders

三、無(wú)監(jiān)督學(xué)習(xí) Unsupervised Learning

在非監(jiān)督式學(xué)習(xí)中，數(shù)據(jù)并不被特別標(biāo)識(shí)，學(xué)習(xí)模型是為了推斷出數(shù)據(jù)的一些內(nèi)在結(jié)構(gòu)。

1. 聚類 Cluster

（1）K均值 k-means

（2）最大期望算法 Expectation Maximization ( EM )

（3）降維方法 Dimensionality Reduction

◆ 主成分分析Principal Component Analysis ( PCA )

◆ 偏最小二乘回歸 Partial Least Squares Regression ( PLS )

◆ Sammon映射 Sammon Mapping

◆ 多維尺度分析 Multidimensional Scaling ( MDS )

◆ 投影尋蹤 Projection Pursuit

◆ RD

2. 關(guān)聯(lián)規(guī)則 Association Rule

（1）Apriori

（2）Eclat

四、增強(qiáng)學(xué)習(xí) Reinforcement Learning

在之前的討論中，我們總是給定一個(gè)樣本x，然后給或者不給標(biāo)識(shí)值或結(jié)果值（給了就是監(jiān)督式學(xué)習(xí)，不給就是無(wú)監(jiān)督式學(xué)習(xí)）。之后對(duì)樣本進(jìn)行擬合、分類、聚類或者降維等操作。然而對(duì)于很多序列決策或者控制問(wèn)題，很難有這么規(guī)則的樣本。比如，四足機(jī)器人的控制問(wèn)題，剛開始都不知道應(yīng)該讓其動(dòng)那條腿，在移動(dòng)過(guò)程中，也不知道怎么讓機(jī)器人自動(dòng)找到合適的前進(jìn)方向。

增強(qiáng)學(xué)習(xí)要解決的是這樣的問(wèn)題：一個(gè)能感知環(huán)境的自治agent，怎樣通過(guò)學(xué)習(xí)選擇能達(dá)到其目標(biāo)的最優(yōu)動(dòng)作。這個(gè)很具有普遍性的問(wèn)題應(yīng)用于學(xué)習(xí)控制移動(dòng)機(jī)器人，在工廠中學(xué)習(xí)最優(yōu)操作工序以及學(xué)習(xí)棋類對(duì)弈等。當(dāng)agent在其環(huán)境中做出每個(gè)動(dòng)作時(shí)，施教者會(huì)提供獎(jiǎng)勵(lì)或懲罰信息，以表示結(jié)果狀態(tài)的正確與否。例如，在訓(xùn)練agent進(jìn)行棋類對(duì)弈時(shí)，施教者可在游戲勝利時(shí)給出正回報(bào)，而在游戲失敗時(shí)給出負(fù)回報(bào)，其他時(shí)候?yàn)榱慊貓?bào)。agent的任務(wù)就是從這個(gè)非直接的，有延遲的回報(bào)中學(xué)習(xí)，以便后續(xù)的動(dòng)作產(chǎn)生最大的累積效應(yīng)。

1. Q-Learning

2. 時(shí)間差學(xué)習(xí) Temporal difference learning

五、其他

集成算法

集成算法用一些相對(duì)較弱的學(xué)習(xí)模型獨(dú)立地就同樣的樣本進(jìn)行訓(xùn)練，然后把結(jié)果整合起來(lái)進(jìn)行整體預(yù)測(cè)。

1. Boosting

2. Bootstrapped Aggregation ( Bagging )

3. AdaBoost

4. 堆疊泛化 Stacked Generalization

5. 梯度推進(jìn)機(jī) Gradient Boosting Machine ( GBM )

6. 隨機(jī)森林 Random Forest