最近一周，下班后都在kaggle上玩。kaggle現(xiàn)在做的越來越好，對于我們這種搞機(jī)器學(xué)習(xí)的新手來說，這個網(wǎng)站提供了很多實際數(shù)據(jù)。關(guān)注這個網(wǎng)站也有快一年時間了，這里不僅傳遞著數(shù)據(jù)和算法，更多的是傳遞著全球數(shù)據(jù)愛好者們對數(shù)據(jù)的信仰。

最近在做的是手寫數(shù)字識別的那道題。手寫數(shù)字識別，是機(jī)器學(xué)習(xí)用于解決實際問題的一個相當(dāng)成功的案例。幾乎所有機(jī)器學(xué)習(xí)的書籍中都會提到這個例子，國內(nèi)甚至還有人專門利用各種算法解決該問題而寫成了一本不薄的書。這個問題的解決，涉及到很多內(nèi)容，除去機(jī)器學(xué)習(xí)中的一些分類算法之外，更多的是工程上的一些問題。比如如何收集大量的手寫數(shù)字樣本，如何提取圖像中的信息，在諸多的學(xué)習(xí)算法中如何找出一個最合適的（未必是預(yù)測準(zhǔn)確度最高的，也許還要考慮時間，成本等其他的因素）。工程師的思維和一個理科學(xué)生的思維之間的差別，在于，工程師往往需要綜合考慮很多因素，得出一個最適宜的解決問題的方案，而一個理科學(xué)生，可能會對自己所掌握的算法數(shù)量和難度引以為傲，但是卻會忽視算法之外的一些事。

關(guān)于手寫數(shù)字識別這個例子，數(shù)據(jù)情況是，訓(xùn)練樣本量73.2M，測試集48.7M。每一個觀測，是一個28*28像素的手寫數(shù)字的圖片，該圖片用長度為28*28的向量來表示，在訓(xùn)練集中，人工標(biāo)識出了每一個觀測對應(yīng)的數(shù)字標(biāo)簽。這是一個典型的有指導(dǎo)學(xué)習(xí)問題。目的是從訓(xùn)練集中學(xué)習(xí)出數(shù)字識別的規(guī)則，然后在測試集上進(jìn)行檢驗。目前kaggle上的最好成績（測試集上的識別準(zhǔn)確率）已經(jīng)達(dá)到了99.47%。

我也嘗試了幾種不同算法來做這個問題，這個過程中也遇到了很多不可避免的工程方面的問題。

我依然是使用最為順手的R作為工具，但是由于32位版本最多只能分配2g內(nèi)存，而很多算法需要儲存大矩陣，因此總會出現(xiàn)“無法分配xx內(nèi)存的矢量”這樣的錯誤提示，令人吐血不止。關(guān)于R語言對大數(shù)據(jù)的處理，目前已經(jīng)有些解決方案，R本身也有bigmemory包之類的。但是內(nèi)存依然無法滿足需要。這也是R語言最為人所詬病的一點。

我所采用的解決方法比較簡單，每次隨機(jī)從訓(xùn)練樣本中抽出三分之一的數(shù)據(jù)作為訓(xùn)練集，訓(xùn)練完成得到模型之后便把所用的訓(xùn)練數(shù)據(jù)刪掉（騰出內(nèi)存來），然后用模型在檢測集上進(jìn)行分類，將分類結(jié)果輸出寫到硬盤上，然后刪除內(nèi)存上的相應(yīng)結(jié)果。重復(fù)多次這樣的過程，得到多組結(jié)果，然后再按照少數(shù)服從多數(shù)的原則在多組結(jié)果中進(jìn)行投票，得到最終的預(yù)測結(jié)果。這樣的方法，顯得很不靠譜。也很令人心痛，因為明明有那么多數(shù)據(jù)可以用，但是由于計算機(jī)和自身水平的限制無法利用，只能提取一小部分來利用。這是令人氣郁的。然而，即便只用了三分之一的數(shù)據(jù)，可是當(dāng)你還是發(fā)現(xiàn)，訓(xùn)練依然需要消耗大量的時間時，你也只能遺憾的接受這樣殘酷的現(xiàn)實了。

算法方面，我選取了naive bayes，k-nearest neighborhood（k=10），generalized linear model（with lasso regularization），randomForest以及support vector machine。這些方法都是最為基本（常用）的機(jī)器學(xué)習(xí)算法。除了naive bayes算法預(yù)測準(zhǔn)確度較低，60%左右之外，剩下幾種算法的預(yù)測準(zhǔn)確度都在92%到96%。其中SVM算法精度最高，這個結(jié)果是預(yù)料之中的。令我感到比較意外的是加了L1范數(shù)懲罰項的廣義線性模型的效果也比較出色。這個模型使用了cross-validation，因此整個過程非常耗時，這個模型僅使用了三分之一的樣本，并不似其他算法，我都做了model average，但是還是得到了比較滿意的預(yù)測效果。讓我又一次對Efron，hastie，freedman他們充滿了敬仰。

照例，代碼將共享。