一：介紹

       定義：線性回歸在假設(shè)特證滿足線性關(guān)系，根據(jù)給定的訓(xùn)練數(shù)據(jù)訓(xùn)練一個(gè)模型，并用此模型進(jìn)行預(yù)測(cè)。為了了解這個(gè)定義，我們先舉個(gè)簡(jiǎn)單的例子；我們假設(shè)一個(gè)線性方程 Y=2x+1, x變量為商品的大小，y代表為銷售量；當(dāng)月份x =5時(shí)，我們就能根據(jù)線性模型預(yù)測(cè)出 y =11銷量；對(duì)于上面的簡(jiǎn)單的例子來(lái)說(shuō)，我們可以粗略把 y =2x+1看到回歸的模型；對(duì)于給予的每個(gè)商品大小都能預(yù)測(cè)出銷量；當(dāng)然這個(gè)模型怎么獲取到就是我們下面要考慮的線性回歸內(nèi)容；并且在現(xiàn)實(shí)中影響銷量（y）的因素好有很多，我們就拿商品大?。▁?)，商品價(jià)格為例 (x?)為例:

      在機(jī)器學(xué)習(xí)之前，獲取數(shù)據(jù)是第一步（無(wú)米難巧婦之炊），假定我們的樣本如下：其中x1 為商品的大小，x2 為商品的價(jià)格，y 為商品的銷量；

二 ：模型推導(dǎo)

        為了推導(dǎo)模型，在假設(shè)數(shù)據(jù)滿足線性模型條件下，可以設(shè)定線性模型為;x1特征為商品的大小，X2特征為商品的價(jià)格；

       模型假定好后，我們把訓(xùn)練數(shù)據(jù)代入上面的設(shè)定模型中，可以通過(guò)模型預(yù)測(cè)一個(gè)樣本最終值；

      然后樣本真實(shí)值 y 和模型訓(xùn)練預(yù)測(cè)的值之間是有誤差 ε ,再假設(shè)訓(xùn)練樣本的數(shù)據(jù)量很大的時(shí)候,根據(jù)中心極限定律可以得到   ∑ε   滿足 （u ,δ2）高斯分布的；由于方程有截距項(xiàng) ，故使用可以 u =0; 故滿足（0，δ2）的高斯分布；

如上面可知，對(duì)于每一個(gè)樣本 x ,代入到 p (y |x ;θ) 都會(huì)得到一個(gè)y 的概率；又因?yàn)樵O(shè)定樣本是獨(dú)立同分布的；對(duì)其求最大似然函數(shù)：

對(duì)其化簡(jiǎn)如下：

以上就得到了回歸的損失函數(shù)最小二乘法的公式，對(duì)于好多介紹一般對(duì)線性回歸的線性損失函數(shù)就直接給出了上面的公式二乘法。下面我們就對(duì)上面做了階段性的總結(jié)：線性回歸，根據(jù)大數(shù)定律和中心極限定律假定樣本無(wú)窮大的時(shí)候，其真實(shí)值和預(yù)測(cè)值的誤差ε 的加和服從u=0,方差=δ2的高斯分布且獨(dú)立同分布，然后把ε =y-?x 代入公式，就可以化簡(jiǎn)得到線性回歸的損失函數(shù)；

    第二步：對(duì)損失函數(shù)進(jìn)行優(yōu)化也就是求出w,b，使的損失函數(shù)最小化；第一種方法使用矩陣（需要滿足可逆條件）

 以上就是按矩陣方法優(yōu)化損失函數(shù)，但上面方法有一定的局限性，就是要可逆；下面我們來(lái)說(shuō)一說(shuō)另外一個(gè)優(yōu)化方法 梯度下降法；對(duì)于梯度下降法的說(shuō)明和講解資料很多，深入的講解這里不進(jìn)行，可以參考：http://www.cnblogs.com/ooon/p/4947688.html這篇博客，博主對(duì)梯度下降方法進(jìn)行了講解，我們這里就簡(jiǎn)單的最了流程解說(shuō);

總體流程就如上所示，就是求出每個(gè)變量的梯度；然后順著梯度方向按一定的步長(zhǎng)a,進(jìn)行變量更新；下面我們就要求出每個(gè)變量的梯度，下面對(duì)每個(gè)θ進(jìn)行梯度求解公式如下：

如上我們求出變量的梯度；然后迭代代入下面公式迭代計(jì)算就可以了：

上面每次更新變量，都要把所有的樣本的加起來(lái)，數(shù)據(jù)量大的時(shí)候效率不高，下面還有一種就是按單個(gè)樣本進(jìn)行優(yōu)化，就是隨機(jī)梯度下降：

按上面優(yōu)化步驟就可以求出w,b,就可以獲得優(yōu)化的特征方程：說(shuō)這么多先上個(gè)代碼：

圖像顯示如下：

從上面圖像可以看出，當(dāng)模型復(fù)雜度提高的時(shí)候，對(duì)訓(xùn)練集的數(shù)據(jù)擬合很好，但會(huì)出現(xiàn)過(guò)度擬合現(xiàn)象，為了防止這種過(guò)擬合現(xiàn)象的出現(xiàn)，我們?cè)趽p失函數(shù)中加入了懲罰項(xiàng)，根據(jù)懲罰項(xiàng)不同分為以下：

最后一個(gè)為Elastic Net 回歸，把 L1 正則和 L2 正則按一定的比例結(jié)合起來(lái)：

L1會(huì)趨向于產(chǎn)生少量的特征，而其他的特征都是0，而L2會(huì)選擇更多的特征，這些特征都會(huì)接近于0。Lasso在特征選擇時(shí)候非常有用，而Ridge就只是一種規(guī)則化而已。在所有特征中只有少數(shù)特征起重要作用的情況下，選擇Lasso比較合適，因?yàn)樗茏詣?dòng)選擇特征。而如果所有特征中，大部分特征都能起作用，而且起的作用很平均，那么使用Ridge也許更合適。對(duì)于各種回歸的比較可以看下圖：