|
【導(dǎo)讀】機(jī)器學(xué)習(xí)中，調(diào)參是一項繁瑣但至關(guān)重要的任務(wù)，因為它很大程度上影響了算法的性能。手動調(diào)參十分耗時，網(wǎng)格和隨機(jī)搜索不需要人力，但需要很長的運(yùn)行時間。因此，誕生了許多自動調(diào)整超參數(shù)的方法。貝葉斯優(yōu)化是一種用模型找到函數(shù)最小值方法，已經(jīng)應(yīng)用于機(jī)器學(xué)習(xí)問題中的超參數(shù)搜索，這種方法性能好，同時比隨機(jī)搜索省時。此外，現(xiàn)在有許多Python庫可以實現(xiàn)貝葉斯超參數(shù)調(diào)整。本文將使用Hyperopt庫演示梯度提升機(jī)（Gradient Boosting Machine，GBM） 的貝葉斯超參數(shù)調(diào)整的完整示例。文章由貝葉斯優(yōu)化方法、優(yōu)化問題的四個部分、目標(biāo)函數(shù)、域空間、優(yōu)化過程、及結(jié)果展示幾個部分組成。 作者｜William Koehrsen 編譯｜專知 整理｜YIngying，李大囧 貝葉斯優(yōu)化方法 貝葉斯優(yōu)化通過基于目標(biāo)函數(shù)的過去評估結(jié)果建立替代函數(shù)（概率模型），來找到最小化目標(biāo)函數(shù)的值。貝葉斯方法與隨機(jī)或網(wǎng)格搜索的不同之處在于，它在嘗試下一組超參數(shù)時，會參考之前的評估結(jié)果，因此可以省去很多無用功。 超參數(shù)的評估代價很大，因為它要求使用待評估的超參數(shù)訓(xùn)練一遍模型，而許多深度學(xué)習(xí)模型動則幾個小時幾天才能完成訓(xùn)練，并評估模型，因此耗費(fèi)巨大。貝葉斯調(diào)參發(fā)使用不斷更新的概率模型，通過推斷過去的結(jié)果來“集中”有希望的超參數(shù)。 Python中的選擇 Python中有幾個貝葉斯優(yōu)化庫，它們目標(biāo)函數(shù)的替代函數(shù)不一樣。在本文中，我們將使用Hyperopt，它使用Tree Parzen Estimator（TPE）。其他Python庫包括Spearmint（高斯過程代理）和SMAC（隨機(jī)森林回歸）。 優(yōu)化問題的四個部分 貝葉斯優(yōu)化問題有四個部分：
數(shù)據(jù)集 在本例中，我們將使用Caravan Insurance數(shù)據(jù)集，其目標(biāo)是預(yù)測客戶是否購買保險單。 這是一個有監(jiān)督分類問題，訓(xùn)練集和測試集的大小分別為5800和4000。評估性能的指標(biāo)是AUC（曲線下面積）評估準(zhǔn)則和ROC（receiver operating characteristic，以真陽率和假陽率為坐標(biāo)軸的曲線圖）曲線，ROC AUC越高表示模型越好。 數(shù)據(jù)集如下所示：  因為Hyperopt最小化目標(biāo)函數(shù)，我們的目標(biāo)函數(shù)返回1-ROC AUC，從而提高ROC AUC。 梯度提升模型 梯度提升機(jī)（GBM）是一種基于使用弱學(xué)習(xí)器（如決策樹）組合成強(qiáng)學(xué)習(xí)器的模型。 GBM中有許多超參數(shù)控制整個集合和單個決策樹，如決策樹數(shù)量，決策樹深度等。簡單了解了GBM，接下來我們介紹這個問題對應(yīng)的優(yōu)化模型的四個部分。 目標(biāo)函數(shù) 目標(biāo)函數(shù)是需要我們最小化的。 它的輸入為一組超參數(shù)，輸出需要最小化的值（交叉驗證損失）。Hyperopt將目標(biāo)函數(shù)視為黑盒，只考慮它的輸入和輸出。 在這里，目標(biāo)函數(shù)定義為： def objective(hyperparameters): 我們評估的是超參數(shù)在驗證集上的表現(xiàn)，但我們不將數(shù)據(jù)集劃分成固定的驗證集和訓(xùn)練集，而是使用K折交叉驗證。使用10倍交叉驗證和提前停止的梯度提升機(jī)的完整目標(biāo)函數(shù)如下所示。 import lightgbm as lgb 關(guān)鍵點(diǎn)是cvresults = lgb.cv(...)。為了實現(xiàn)提前停止的交叉驗證，我們使用LightGBM函數(shù)cv，它輸入為超參數(shù)，訓(xùn)練集，用于交叉驗證的折數(shù)等。我們將迭代次數(shù)（numboostround）設(shè)置為10000，但實際上不會達(dá)到這個數(shù)字，因為我們使用earlystopping_rounds來停止訓(xùn)練，當(dāng)連續(xù)100輪迭代效果都沒有提升時，則提前停止，并選擇模型。因此，迭代次數(shù)并不是我們需要設(shè)置的超參數(shù)。 一旦交叉驗證完成，我們就會得到最好的分?jǐn)?shù)（ROC AUC），然后，因為我們最小化目標(biāo)函數(shù)，所以計算1- ROC AUC，然后返回這個值。 域空間 域空間表示我們要為每個超參數(shù)計算的值的范圍。在搜索的每次迭代中，貝葉斯優(yōu)化算法將從域空間為每個超參數(shù)選擇一個值。當(dāng)我們進(jìn)行隨機(jī)或網(wǎng)格搜索時，域空間是一個網(wǎng)格。在貝葉斯優(yōu)化中，想法是一樣的，但是不是按照順序（網(wǎng)格）或者隨機(jī)選擇一個超參數(shù)，而是按照每個超參數(shù)的概率分布選擇。 而確定域空間是最困難的。如果我們有機(jī)器學(xué)習(xí)方法的經(jīng)驗，我們可以通過在我們認(rèn)為最佳值的位置放置更大的概率來使用它來告知我們對超參數(shù)分布的選擇。然而，不同數(shù)據(jù)集之間最佳模型不一樣，并且具有高維度問題（許多超參數(shù)），超參數(shù)之間也會互相影響。在我們不確定最佳值的情況下，我們可以將范圍設(shè)定的大一點(diǎn)，讓貝葉斯算法為我們做推理。 首先，我們看看GBM中的所有超參數(shù)： import lgb 其中一些我們不需要調(diào)整（例如objective和randomstate），我們將使用提前停止來找到最好的n_estimators。 但是，我們還有10個超參數(shù)要優(yōu)化！ 首次調(diào)整模型時，我通常會創(chuàng)建一個以默認(rèn)值為中心的寬域空間，然后在后續(xù)搜索中對其進(jìn)行細(xì)化。 例如，讓我們在Hyperopt中定義一個簡單的域，這是GBM中每棵樹中葉子數(shù)量的離散均勻分布： from hyperopt import hp 這里選擇離散的均勻分布，因為葉子的數(shù)量必須是整數(shù)（離散），并且域中的每個值都可能（均勻）。 另一種分布選擇是對數(shù)均勻，它在對數(shù)標(biāo)度上均勻分布值。 我們將使用對數(shù)統(tǒng)一（從0.005到0.2）來獲得學(xué)習(xí)率，因為它在幾個數(shù)量級上變化： # Learning rate log uniform distribution 下面分別繪制了均勻分布和對數(shù)均勻分布的圖。 這些是核密度估計圖，因此y軸是密度而不是計數(shù)！   現(xiàn)在，讓我們定義整個域： # Define the search space 這里我們使用了許多不同的域分發(fā)類型：
# boosting type domain 這里我們使用條件域，這意味著一個超參數(shù)的值取決于另一個超參數(shù)的值。 對于提升類型“goss”，gbm不能使用子采樣（僅選擇訓(xùn)練觀察的子樣本部分以在每次迭代時使用）。 因此，如果提升類型是“goss”，則子采樣率設(shè)置為1.0（無子采樣），否則為0.5-1.0。 這是使用嵌套域?qū)崿F(xiàn)的。 定義域空間之后，我們可以從中采樣查看樣本。 # Sample from the full space example 優(yōu)化算法 雖然這是貝葉斯優(yōu)化中概念上最難的部分，但在Hyperopt中創(chuàng)建優(yōu)化算法只需一行。 要使用Tree Parzen Estimator，代碼為： from hyperopt import tpe 在優(yōu)化時，TPE算法根據(jù)過去的結(jié)果構(gòu)建概率模型，并通過最大化預(yù)期的改進(jìn)來決定下一組超參數(shù)以在目標(biāo)函數(shù)中進(jìn)行評估。 結(jié)果歷史 跟蹤結(jié)果并不是絕對必要的，因為Hyperopt將在內(nèi)部為算法執(zhí)行此操作。 但是，如果我們想知道幕后發(fā)生了什么，我們可以使用Trials對象來存儲基本的訓(xùn)練信息，還可以使用從目標(biāo)函數(shù)返回的字典（包括損失和范圍）。 制創(chuàng)建Trials對象也只要一行代碼： from hyperopt import Trials 為了監(jiān)控訓(xùn)練運(yùn)行進(jìn)度，可以將結(jié)果歷史寫入csv文件，防止程序意外中斷導(dǎo)致評估結(jié)果消失。 import csv 然后在目標(biāo)函數(shù)中我們可以在每次迭代時添加行寫入csv： # Write to the csv file ('a' means append) 優(yōu)化 一旦我們定義好了上述部分，就可以用fmin運(yùn)行優(yōu)化： from hyperopt import fmin 在每次迭代時，算法從代理函數(shù)中選擇新的超參數(shù)值，該代理函數(shù)基于先前的結(jié)果構(gòu)建并在目標(biāo)函數(shù)中評估這些值。 這繼續(xù)用于目標(biāo)函數(shù)的MAX_EVALS評估，其中代理函數(shù)隨每個新結(jié)果不斷更新。 結(jié)果 從fmin返回的最佳對象包含在目標(biāo)函數(shù)上產(chǎn)生最低損失的超參數(shù)： {'boosting_type': 'gbdt', 一旦我們有了這些超參數(shù)，我們就可以使用它們來訓(xùn)練完整訓(xùn)練數(shù)據(jù)的模型，然后評估測試數(shù)據(jù)。 最終結(jié)果如下： The best model scores 0.72506 AUC ROC on the test set. 作為參考，500次隨機(jī)搜索迭代返回了一個模型，該模型在測試集上評分為0.7232 ROC AUC，在交叉驗證中評分為0.76850。沒有優(yōu)化的默認(rèn)模型在測試集上評分為0.7143 ROC AUC。 在查看結(jié)果時，請記住一些重要的注意事項：
另一個重點(diǎn)是超參數(shù)優(yōu)化的效果將隨數(shù)據(jù)集的不同而不同。相對較小的數(shù)據(jù)集（訓(xùn)練集大小為6000），調(diào)整超參數(shù)，最終得到的模型的提升并不大，但數(shù)據(jù)集更大時，效果會很明顯。 因此，通過貝葉斯概率來優(yōu)化超參數(shù)，我們可以：
可視化結(jié)果 繪制結(jié)果圖表是一種直觀的方式，可以了解超參數(shù)搜索過程中發(fā)生的情況。此外，通過將貝葉斯優(yōu)化與隨機(jī)搜索進(jìn)行比較，可以看出方法的不同之處。 首先，我們可以制作隨機(jī)搜索和貝葉斯優(yōu)化中采樣的learning_rate的核密度估計圖。作為參考，我們還可以顯示采樣分布。垂直虛線表示學(xué)習(xí)率的最佳值（根據(jù)交叉驗證）。  我們將學(xué)習(xí)率定義為0.005到0.2之間的對數(shù)正態(tài)，貝葉斯優(yōu)化結(jié)果看起來與采樣分布類似。 這告訴我們，我們定義的分布看起來適合于任務(wù)，盡管最佳值比我們放置最大概率的值略高。 這可用于告訴域進(jìn)一步搜索。 另一個超參數(shù)是增強(qiáng)類型，在隨機(jī)搜索和貝葉斯優(yōu)化期間評估每種類型的條形圖。 由于隨機(jī)搜索不關(guān)注過去的結(jié)果，我們預(yù)計每種增強(qiáng)類型的使用次數(shù)大致相同。  根據(jù)貝葉斯算法，gdbt提升模型比dart或goss更有前途。 同樣，這可以幫助進(jìn)一步搜索，貝葉斯方法或網(wǎng)格搜索。 如果我們想要進(jìn)行更明智的網(wǎng)格搜索，我們可以使用這些結(jié)果來定義圍繞超參數(shù)最有希望的值的較小網(wǎng)格。 由于我們有它們，讓我們看看參考分布，隨機(jī)搜索和貝葉斯優(yōu)化中的所有數(shù)字超參數(shù)。 垂直線再次表示每次搜索的超參數(shù)的最佳值：       在大多數(shù)情況下（subsampleforbin除外），貝葉斯優(yōu)化搜索傾向于在超參數(shù)值附近集中（放置更多概率），從而產(chǎn)生交叉驗證中的最低損失。這顯示了使用貝葉斯方法進(jìn)行超參數(shù)調(diào)整的基本思想：花費(fèi)更多時間來評估有希望的超參數(shù)值。 此處還有一些有趣的結(jié)果可能會幫助我們在將來定義要搜索的域空間時。僅舉一個例子，看起來regalpha和reglambda應(yīng)該相互補(bǔ)充：如果一個是高（接近1.0），另一個應(yīng)該更低。不能保證這會解決問題，但通過研究結(jié)果，我們可以獲得可能適用于未來機(jī)器學(xué)習(xí)問題的見解！ 搜索的演變 隨著優(yōu)化的進(jìn)展，我們期望貝葉斯方法關(guān)注超參數(shù)的更有希望的值：那些在交叉驗證中產(chǎn)生最低誤差的值。我們可以繪制超參數(shù)與迭代的值，以查看是否存在明顯的趨勢。 黑星表示最佳值。 colsamplebytree和learningrate會隨著時間的推移而減少，這可能會指導(dǎo)我們未來的搜索。 最后，如果貝葉斯優(yōu)化工作正常，我們預(yù)計平均驗證分?jǐn)?shù)會隨著時間的推移而增加（相反，損失減少）： 來自貝葉斯超參數(shù)優(yōu)化的驗證集上的分?jǐn)?shù)隨著時間的推移而增加，表明該方法正在嘗試“更好”的超參數(shù)值（應(yīng)該注意，僅根據(jù)驗證集上的表現(xiàn)更好）。隨機(jī)搜索沒有顯示迭代的改進(jìn)。 繼續(xù)搜索 如果我們對模型的性能不滿意，我們可以繼續(xù)使用Hyperopt進(jìn)行搜索。我們只需要傳入相同的試驗對象，算法將繼續(xù)搜索。 隨著算法的進(jìn)展，它會進(jìn)行更多的挖掘 - 挑選過去表現(xiàn)良好的價值 ， 而不是探索 - 挑選新價值。因此，開始完全不同的搜索可能是一個好主意，而不是從搜索停止的地方繼續(xù)開始。如果來自第一次搜索的最佳超參數(shù)確實是“最優(yōu)的”，我們希望后續(xù)搜索專注于相同的值。 經(jīng)過另外500次訓(xùn)練后，最終模型在測試集上得分為0.72736 ROC AUC。 （我們實際上不應(yīng)該評估測試集上的第一個模型，而只依賴于驗證分?jǐn)?shù)。理想情況下，測試集應(yīng)該只使用一次，以便在部署到新數(shù)據(jù)時獲得算法性能的度量）。同樣，由于數(shù)據(jù)集的小尺寸，這個問題可能導(dǎo)致進(jìn)一步超參數(shù)優(yōu)化的收益遞減，并且最終會出現(xiàn)驗證錯誤的平臺（由于隱藏變量導(dǎo)致數(shù)據(jù)集上任何模型的性能存在固有限制未測量和噪聲數(shù)據(jù)，稱為貝葉斯誤差。 結(jié)論 可以使用貝葉斯優(yōu)化來完成機(jī)器學(xué)習(xí)模型的超參數(shù)自動調(diào)整。與隨機(jī)或網(wǎng)格搜索相比，貝葉斯優(yōu)化對目標(biāo)函數(shù)的評估較少，測試集上的更好的泛化性能。 在本文中，我們使用Hyperopt逐步完成了Python中的貝葉斯超參數(shù)優(yōu)化。除了網(wǎng)格和隨機(jī)搜索之外，我們還能夠提高梯度增強(qiáng)機(jī)的測試集性能，盡管我們需要謹(jǐn)慎對待訓(xùn)練數(shù)據(jù)的過度擬合。此外，我們通過可視化結(jié)果表看到隨機(jī)搜索與貝葉斯優(yōu)化的不同之處，這些圖表顯示貝葉斯方法對超參數(shù)值的概率更大，導(dǎo)致交叉驗證損失更低。 使用優(yōu)化問題的四個部分，我們可以使用Hyperopt來解決各種各樣的問題。貝葉斯優(yōu)化的基本部分也適用于Python中實現(xiàn)不同算法的許多庫。從手動切換到隨機(jī)或網(wǎng)格搜索只是一小步，但要將機(jī)器學(xué)習(xí)提升到新的水平，需要一些自動形式的超參數(shù)調(diào)整。貝葉斯優(yōu)化是一種易于在Python中使用的方法，并且可以比隨機(jī)搜索返回更好的結(jié)果。 原文鏈接： https:///automated-machine-learning-hyperparameter-tuning-in-python-dfda59b72f8a |
|
|
