【新智元導(dǎo)讀】本文盤點(diǎn)了數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)面試中的常見(jiàn)問(wèn)題，著眼于不同類型的面試問(wèn)題。如果您計(jì)劃向數(shù)據(jù)科學(xué)領(lǐng)域轉(zhuǎn)行，這些問(wèn)題一定會(huì)有所幫助。本文約5000字，閱讀大約需要10分鐘。

技術(shù)的不斷進(jìn)步使得數(shù)據(jù)和信息的產(chǎn)生速度今非昔比，并且呈現(xiàn)出繼續(xù)增長(zhǎng)的趨勢(shì)。此外，目前對(duì)解釋、分析和使用這些數(shù)據(jù)的技術(shù)人員需求也很高，這在未來(lái)幾年內(nèi)會(huì)呈指數(shù)增長(zhǎng)。這些新角色涵蓋了從戰(zhàn)略、運(yùn)營(yíng)到管理的所有方面。因此，當(dāng)前和未來(lái)的需求將需要更多的數(shù)據(jù)科學(xué)家、數(shù)據(jù)工程師、數(shù)據(jù)戰(zhàn)略家和首席數(shù)據(jù)官這樣類似的角色。

本文將著眼于不同類型的面試問(wèn)題。如果您計(jì)劃向數(shù)據(jù)科學(xué)領(lǐng)域轉(zhuǎn)行，這些問(wèn)題一定會(huì)有所幫助。

在統(tǒng)計(jì)學(xué)研究中，統(tǒng)計(jì)學(xué)中最常見(jiàn)的三個(gè)“平均值”是均值，中位數(shù)和眾數(shù)：

• 算術(shù)平均值：它是統(tǒng)計(jì)學(xué)中的一個(gè)重要概念。算術(shù)平均值也可稱為平均值，它是通過(guò)將兩個(gè)或多個(gè)數(shù)字/變量相加，然后將總和除以數(shù)字/變量的總數(shù)而獲得的數(shù)量或變量。

• 中位數(shù)：中位數(shù)也是觀察一組數(shù)據(jù)平均情況的一種方法。它是一組數(shù)字的中間數(shù)字。結(jié)果有兩種可能性，因?yàn)閿?shù)據(jù)總數(shù)可能是奇數(shù)，也可能是偶數(shù)。如果總數(shù)是奇數(shù)，則將組中的數(shù)字從最小到最大排列。中位數(shù)恰好是位于中間的數(shù)，兩側(cè)的數(shù)量相等。如果總數(shù)是偶數(shù)，則按順序排列數(shù)字并選擇兩個(gè)中間數(shù)字并加上它們?nèi)缓蟪?，它將是該組的中位數(shù)。

• 眾數(shù)：眾數(shù)也是觀察平均情況的方法之一。眾數(shù)是一個(gè)數(shù)字，指在一組數(shù)字中出現(xiàn)最多的數(shù)字。有些數(shù)列可能沒(méi)有任何眾數(shù)；有些可能有兩個(gè)眾數(shù)，稱為雙峰數(shù)列。

標(biāo)準(zhǔn)差（Sigma）：標(biāo)準(zhǔn)差用于衡量數(shù)據(jù)在統(tǒng)計(jì)數(shù)據(jù)中的離散程度。

回歸：回歸是統(tǒng)計(jì)建模中的一種分析方法。這是衡量變量間關(guān)系的統(tǒng)計(jì)過(guò)程；它決定了一個(gè)變量和一系列其他自變量之間關(guān)系的強(qiáng)度。

線性回歸：是預(yù)測(cè)分析中使用的統(tǒng)計(jì)技術(shù)之一，該技術(shù)將確定自變量對(duì)因變量的影響強(qiáng)度。

統(tǒng)計(jì)學(xué)的兩個(gè)主要分支：

• 描述性統(tǒng)計(jì)：描述性統(tǒng)計(jì)使用類似均值或標(biāo)準(zhǔn)差的指數(shù)來(lái)總結(jié)樣本數(shù)據(jù)。描述性統(tǒng)計(jì)方法包括展示、組織和描述數(shù)據(jù)。

• 推斷性統(tǒng)計(jì)：推斷統(tǒng)計(jì)得出的結(jié)論來(lái)自隨機(jī)變化的數(shù)據(jù)，如觀察誤差和樣本變異。

相關(guān)性：相關(guān)性被認(rèn)為是測(cè)量和估計(jì)兩個(gè)變量間定量關(guān)系的最佳技術(shù)。相關(guān)性可以衡量?jī)蓚€(gè)變量相關(guān)程度的強(qiáng)弱。

協(xié)方差：協(xié)方差對(duì)應(yīng)的兩個(gè)變量一同變化，它用于度量?jī)蓚€(gè)隨機(jī)變量在周期中的變化程度。這是一個(gè)統(tǒng)計(jì)術(shù)語(yǔ)；它解釋了一對(duì)隨機(jī)變量之間的關(guān)系，其中一個(gè)變量的變化時(shí)，另一個(gè)變量如何變化。

協(xié)方差和相關(guān)性是兩個(gè)數(shù)學(xué)概念；這兩種方法在統(tǒng)計(jì)學(xué)中被廣泛使用。相關(guān)性和協(xié)方差都可以構(gòu)建關(guān)系，并且還可測(cè)量?jī)蓚€(gè)隨機(jī)變量之間的依賴關(guān)系。雖然這兩者在數(shù)學(xué)上有相似之處，但它們含義并不同。

結(jié)合數(shù)據(jù)分析，統(tǒng)計(jì)可以用于分析數(shù)據(jù)，并幫助企業(yè)做出正確的決策。預(yù)測(cè)性“分析”和“統(tǒng)計(jì)”對(duì)于分析當(dāng)前數(shù)據(jù)和歷史數(shù)據(jù)以預(yù)測(cè)未來(lái)事件非常有用。

統(tǒng)計(jì)數(shù)據(jù)可用于許多研究領(lǐng)域。以下列舉了統(tǒng)計(jì)的應(yīng)用領(lǐng)域：

• 科學(xué)

• 技術(shù)

• 商業(yè)

• 生物學(xué)

• 計(jì)算機(jī)科學(xué)

• 化學(xué)

• 支持決策

• 提供比較

• 解釋已經(jīng)發(fā)生的行為

• 預(yù)測(cè)未來(lái)

• 估計(jì)未知數(shù)量

在統(tǒng)計(jì)研究中，通過(guò)結(jié)構(gòu)化和統(tǒng)一處理，樣本是從統(tǒng)計(jì)總體中收集或處理的一組或部分?jǐn)?shù)據(jù)，并且樣本中的元素被稱為樣本點(diǎn)。

以下是4種抽樣方法：

• 聚類抽樣：在聚類抽樣方法中，總體將被分為群組或群集。

• 簡(jiǎn)單隨機(jī)抽樣：這種抽樣方法僅僅遵循隨機(jī)分配。

• 分層抽樣：在分層抽樣中，數(shù)據(jù)將分為組或分層。

• 系統(tǒng)抽樣：根據(jù)系統(tǒng)抽樣方法，每隔k個(gè)成員，從總體中抽取一個(gè)。

當(dāng)我們?cè)诮y(tǒng)計(jì)中進(jìn)行假設(shè)檢驗(yàn)時(shí)，p值有助于我們確定結(jié)果的顯著性。這些假設(shè)檢驗(yàn)僅僅是為了檢驗(yàn)關(guān)于總體假設(shè)的有效性。零假設(shè)是指假設(shè)和樣本沒(méi)有顯著性差異，這種差異指抽樣或?qū)嶒?yàn)本身造成的差異。

數(shù)據(jù)科學(xué)是數(shù)據(jù)驅(qū)動(dòng)的科學(xué)，它還涉及自動(dòng)化科學(xué)方法、算法、系統(tǒng)和過(guò)程的跨學(xué)科領(lǐng)域，以任何形式（結(jié)構(gòu)化或非結(jié)構(gòu)化）從數(shù)據(jù)中提取信息和知識(shí)。此外，它與數(shù)據(jù)挖掘有相似之處，它們都從數(shù)據(jù)中抽象出有用的信息。

數(shù)據(jù)科學(xué)包括數(shù)理統(tǒng)計(jì)以及計(jì)算機(jī)科學(xué)和應(yīng)用。此外，結(jié)合了統(tǒng)計(jì)學(xué)、可視化、應(yīng)用數(shù)學(xué)、計(jì)算機(jī)科學(xué)等各個(gè)領(lǐng)域，數(shù)據(jù)科學(xué)將海量數(shù)據(jù)轉(zhuǎn)化為洞見(jiàn)。

同樣，統(tǒng)計(jì)學(xué)是數(shù)據(jù)科學(xué)的主要組成部分之一。統(tǒng)計(jì)學(xué)是數(shù)學(xué)商業(yè)的一個(gè)分支，它包括數(shù)據(jù)的收集、分析、解釋、組織和展示。

R是數(shù)據(jù)分析軟件，主要的服務(wù)對(duì)象是分析師、量化分析人員、統(tǒng)計(jì)學(xué)家、數(shù)據(jù)科學(xué)家等。

R提供的函數(shù)是：

• 均值

• 中位數(shù)

• 分布

• 協(xié)方差

• 回歸

• 非線性模型

• 混合效果

• 廣義線性模型（GLM）

• 廣義加性模型（GAM）等等

在R控制臺(tái)中輸入命令（“Rcmdr”）將啟動(dòng)R Commander GUI。

使用R commander導(dǎo)入R中的數(shù)據(jù)，有三種方法可以輸入數(shù)據(jù)。

• 你可以通過(guò)Data<- New Data Set 直接輸入數(shù)據(jù)

• 從純文本（ASCII）或其他文件（SPSS，Minitab等）導(dǎo)入數(shù)據(jù)

• 通過(guò)鍵入數(shù)據(jù)集的名稱或在對(duì)話框中選擇數(shù)據(jù)集來(lái)讀取數(shù)據(jù)集

• 雖然R可以輕松連接到DBMS，但不是數(shù)據(jù)庫(kù)

• R不包含任何圖形用戶界面

• 雖然它可以連接到Excel / Microsoft Office，但R語(yǔ)言不提供任何數(shù)據(jù)的電子表格視圖

在R中，在程序的任何地方，你必須在#sign前面加上代碼行，例如：

• 減法

• 除法

• 注意運(yùn)算順序

要在R中保存數(shù)據(jù)，有很多方法，但最簡(jiǎn)單的方法是：

Data > Active Data Set > Export Active dataset，將出現(xiàn)一個(gè)對(duì)話框，當(dāng)單擊確定時(shí)，對(duì)話框?qū)⒏鶕?jù)常用的方式保存數(shù)據(jù)。

你可以通過(guò)cor函數(shù)返回相關(guān)系數(shù)，cov函數(shù)返回協(xié)方差。

在R中，t.test函數(shù)用于進(jìn)行各種t檢驗(yàn)。 t檢驗(yàn)是統(tǒng)計(jì)學(xué)中最常見(jiàn)的檢驗(yàn)，用于確定兩組的均值是否相等。

• With函數(shù)類似于SAS中的DATA，它將表達(dá)式應(yīng)用于數(shù)據(jù)集。

• BY函數(shù)將函數(shù)應(yīng)用于因子的每個(gè)水平。它類似于SAS中的BY。

R 有如下這些數(shù)據(jù)結(jié)構(gòu)：

• 向量

• 矩陣

• 數(shù)組

• 數(shù)據(jù)框

通用的形式是：

Mymatrix< - matrix (vector, nrow=r, ncol=c , byrow=FALSE, dimnames = list ( char_vector_ rowname, char_vector_colnames)

在R中，缺失值由NA（Not Available）表示，不可能的值由符號(hào)NaN（not a number）表示。

為了重新整理數(shù)據(jù)，R提供了各種方法，轉(zhuǎn)置是重塑數(shù)據(jù)集的最簡(jiǎn)單的方法。為了轉(zhuǎn)置矩陣或數(shù)據(jù)框，可以使用t函數(shù)。

通過(guò)一個(gè)或多個(gè)BY變量，使得折疊R中的數(shù)據(jù)變得容易。使用aggregate函數(shù)時(shí)，BY變量應(yīng)該在列表中。

機(jī)器學(xué)習(xí)類面試題答案

機(jī)器學(xué)習(xí)是人工智能的一種應(yīng)用，它為系統(tǒng)提供了自動(dòng)學(xué)習(xí)和改進(jìn)經(jīng)驗(yàn)的能力，而無(wú)需明確的編程。此外，機(jī)器學(xué)習(xí)側(cè)重于開(kāi)發(fā)可以訪問(wèn)數(shù)據(jù)并自主學(xué)習(xí)的程序。

在很多領(lǐng)域，機(jī)器人正在取代人類。這是因?yàn)榫幊淌沟脵C(jī)器人可以基于從傳感器收集的數(shù)據(jù)來(lái)執(zhí)行任務(wù)。他們從數(shù)據(jù)中學(xué)習(xí)并智能地運(yùn)作。

機(jī)器學(xué)習(xí)中不同類型的算法技術(shù)如下：

• 強(qiáng)化學(xué)習(xí)

• 監(jiān)督學(xué)習(xí)

• 無(wú)監(jiān)督學(xué)習(xí)

• 半監(jiān)督學(xué)習(xí)

• 轉(zhuǎn)導(dǎo)

• 元學(xué)習(xí)

監(jiān)督學(xué)習(xí)是一個(gè)需要標(biāo)記訓(xùn)練集數(shù)據(jù)的過(guò)程，而無(wú)監(jiān)督學(xué)習(xí)則不需要數(shù)據(jù)標(biāo)記。

無(wú)監(jiān)督學(xué)習(xí)包括如下：

• 數(shù)據(jù)聚類

• 數(shù)據(jù)的降維表示

• 探索數(shù)據(jù)

• 探索坐標(biāo)和相關(guān)性

• 識(shí)別異常觀測(cè)

監(jiān)督學(xué)習(xí)包括如下：

• 分類

• 語(yǔ)音識(shí)別

• 回歸

• 預(yù)測(cè)時(shí)間序列

• 注釋字符串

樸素貝葉斯的優(yōu)點(diǎn)：

• 分類器比判別模型更快收斂

• 它可以忽略特征之間的相互作用

樸素貝葉斯的缺點(diǎn)是：

• 不適用連續(xù)性特征

• 它對(duì)數(shù)據(jù)分布做出了非常強(qiáng)的假設(shè)

• 在數(shù)據(jù)稀缺的情況下不能很好地工作

樸素貝葉斯是如此的不成熟，因?yàn)樗僭O(shè)數(shù)據(jù)集中所有特征同等重要且獨(dú)立。

過(guò)擬合：統(tǒng)計(jì)模型側(cè)重于隨機(jī)誤差或噪聲而不是探索關(guān)系，或模型過(guò)于復(fù)雜。

回答：

過(guò)擬合的一個(gè)重要原因和可能性是用于訓(xùn)練模型的標(biāo)準(zhǔn)與用于判斷模型功效的標(biāo)準(zhǔn)不同。

• 大量數(shù)據(jù)

• 交叉驗(yàn)證

• 欺詐檢測(cè)

• 人臉識(shí)別

• 自然語(yǔ)言處理

• 市場(chǎng)細(xì)分

• 文本分類

• 生物信息學(xué)

參數(shù)模型是指參數(shù)有限且用于預(yù)測(cè)新數(shù)據(jù)的模型，你只需知道模型的參數(shù)即可。

非參數(shù)模型是指參數(shù)數(shù)量無(wú)限的模型，允許更大的靈活性且用于預(yù)測(cè)新數(shù)據(jù)，你需要了解模型的參數(shù)并熟悉已收集的觀測(cè)數(shù)據(jù)。

在機(jī)器學(xué)習(xí)中構(gòu)建假設(shè)或模型的三個(gè)階段是：

• 模型構(gòu)建

• 模型測(cè)試

• 模型應(yīng)用

歸納邏輯編程（ILP）：是機(jī)器學(xué)習(xí)的一個(gè)子領(lǐng)域，它使用代表背景知識(shí)和案例的邏輯程序。

分類和回歸之間的區(qū)別如下：

• 分類是關(guān)于識(shí)別類別的組成，而回歸涉及預(yù)測(cè)因變量。

• 這兩種技術(shù)都與預(yù)測(cè)相關(guān)。

• 分類預(yù)測(cè)類別的歸屬，而回歸預(yù)測(cè)來(lái)自連續(xù)集的值。

• 當(dāng)模型需要返回?cái)?shù)據(jù)集中的數(shù)據(jù)點(diǎn)的歸屬類別時(shí)，回歸不是首選。

歸納機(jī)器學(xué)習(xí)和演繹機(jī)器學(xué)習(xí)的區(qū)別：機(jī)器學(xué)習(xí)模型通過(guò)從一組觀察實(shí)例中學(xué)習(xí)，得出一個(gè)廣義結(jié)論；演繹學(xué)習(xí)要基于一些已知結(jié)論，得出結(jié)果。

決策樹(shù)的優(yōu)點(diǎn)是：

• 決策樹(shù)易于理解

• 非參數(shù)

• 調(diào)整的參數(shù)相對(duì)較少

機(jī)器學(xué)習(xí)領(lǐng)域?qū)Ｗ⒂谏钍艽竽X啟發(fā)的深度人工神經(jīng)網(wǎng)絡(luò)。Alexey Grigorevich Ivakhnenko將深度學(xué)習(xí)網(wǎng)絡(luò)帶入大眾視野。如今它已應(yīng)用于各種領(lǐng)域，如計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別和自然語(yǔ)言處理。

有研究表明，淺網(wǎng)和深網(wǎng)都可以適應(yīng)任何功能，但由于深度網(wǎng)絡(luò)有幾個(gè)不同類型的隱藏層，因此相比于參數(shù)更少的淺模型，它們能夠構(gòu)建或提取更好的特征。

代價(jià)函數(shù)：神經(jīng)網(wǎng)絡(luò)對(duì)于給定訓(xùn)練樣本和預(yù)期輸出的準(zhǔn)確度的度量。它是一個(gè)值，而非向量，因?yàn)樗瘟苏麄€(gè)神經(jīng)網(wǎng)絡(luò)的性能。它可以計(jì)算如下平均誤差函數(shù)：

梯度下降：一種基本的優(yōu)化算法，用于學(xué)習(xí)最小化代價(jià)函數(shù)的參數(shù)值。此外，它是一種迭代算法，它在最陡下降的方向上移動(dòng)，由梯度的負(fù)值定義。我們計(jì)算給定參數(shù)的成本函數(shù)的梯度下降，并通過(guò)以下公式更新參數(shù)：

反向傳播：一種用于多層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法。在此方法中，我們將誤差從網(wǎng)絡(luò)末端移動(dòng)到網(wǎng)絡(luò)內(nèi)的所有權(quán)重，從而進(jìn)行梯度的高效計(jì)算。它包括以下幾個(gè)步驟：

• 訓(xùn)練的前向傳播以產(chǎn)生輸出。

• 然后可以使用目標(biāo)值和輸出值誤差導(dǎo)數(shù)來(lái)計(jì)算輸出激活。

• 然后我們返回傳播以計(jì)算前一個(gè)輸出激活的誤差導(dǎo)數(shù)，并對(duì)所有隱藏層繼續(xù)此操作。

• 使用之前計(jì)算的輸出和所有隱藏層的導(dǎo)數(shù)，我們計(jì)算關(guān)于權(quán)重的誤差導(dǎo)數(shù)。

• 然后更新權(quán)重。

隨機(jī)梯度下降：我們僅使用單個(gè)訓(xùn)練樣本來(lái)計(jì)算梯度和更新參數(shù)。

批量梯度下降：我們計(jì)算整個(gè)數(shù)據(jù)集的梯度，并在每次迭代時(shí)進(jìn)行更新。

小批量梯度下降：它是最流行的優(yōu)化算法之一。它是隨機(jī)梯度下降的變體，但不是單個(gè)訓(xùn)練示例，使用小批量樣本。

小批量梯度下降的好處

• 與隨機(jī)梯度下降相比，這更有效。

• 通過(guò)找到平面最小值來(lái)提高泛化性。

• 小批量有助于估計(jì)整個(gè)訓(xùn)練集的梯度，這有助于我們避免局部最小值。

在反向傳播期間要使用數(shù)據(jù)標(biāo)準(zhǔn)化。數(shù)據(jù)規(guī)范化背后的主要?jiǎng)訖C(jī)是減少或消除數(shù)據(jù)冗余。在這里，我們重新調(diào)整值以適應(yīng)特定范圍，以實(shí)現(xiàn)更好的收斂。

權(quán)重初始化：非常重要的步驟之一。糟糕的權(quán)重初始化可能會(huì)阻止網(wǎng)絡(luò)學(xué)習(xí)，但良好的權(quán)重初始化有助于更快的收斂和整體誤差優(yōu)化。偏差通?？梢猿跏蓟癁榱恪ＴO(shè)置權(quán)重的規(guī)則應(yīng)接近于零，而不是太小。

自編碼：一種使用反向傳播原理的自主機(jī)器學(xué)習(xí)算法，其中目標(biāo)值設(shè)置為等于所提供的輸入。在內(nèi)部有一個(gè)隱藏層，用于描述用于表示輸入的代碼。自編碼的一些重要特征：

• 它是一種類似于主成分分析（PCA）的無(wú)監(jiān)督機(jī)器學(xué)習(xí)算法

• 最小化與主成分分析相同的目標(biāo)函數(shù)

• 它是一個(gè)神經(jīng)網(wǎng)絡(luò)

• 神經(jīng)網(wǎng)絡(luò)的目標(biāo)輸出是其輸入

玻爾茲曼機(jī)（Boltzmann Machine）：一種問(wèn)題解決方案的優(yōu)化方法。玻爾茲曼機(jī)的工作基本是為了優(yōu)化給定問(wèn)題的權(quán)重和數(shù)量。關(guān)于玻爾茲曼機(jī)的一些要點(diǎn)如下：

• 它使用循環(huán)結(jié)構(gòu)。

• 由隨機(jī)神經(jīng)元組成，其中包括兩種可能的狀態(tài)之一，1或0。

• 其中的神經(jīng)元處于連通狀態(tài)（自由狀態(tài)）或斷開(kāi)狀態(tài)（凍結(jié)狀態(tài)）。

• 如果我們?cè)陔x散Hopfield網(wǎng)絡(luò)上應(yīng)用模擬退火，那么它將成為玻爾茲曼機(jī)。

激活函數(shù)：一種將非線性引入神經(jīng)網(wǎng)絡(luò)的方法，它有助于學(xué)習(xí)更復(fù)雜的函數(shù)。沒(méi)有它，神經(jīng)網(wǎng)絡(luò)只能學(xué)習(xí)線性函數(shù)。線性函數(shù)是輸入數(shù)據(jù)的線性組合。

參考鏈接：

本文經(jīng)授權(quán)轉(zhuǎn)載自數(shù)據(jù)派，ID: datapi。

新智元春季招聘開(kāi)啟，一起弄潮AI之巔！

【2019新智元 AI 技術(shù)峰會(huì)倒計(jì)時(shí)8天】

2019年的3月27日，新智元再匯AI之力，在北京泰富酒店舉辦AI開(kāi)年盛典——2019新智元AI技術(shù)峰會(huì)。峰會(huì)以“智能云·芯世界“為主題，聚焦智能云和AI芯片的發(fā)展，重塑未來(lái)AI世界格局。

同時(shí)，新智元將在峰會(huì)現(xiàn)場(chǎng)權(quán)威發(fā)布若干AI白皮書(shū)，聚焦產(chǎn)業(yè)鏈的創(chuàng)新活躍，評(píng)述華人AI學(xué)者的影響力，助力中國(guó)在世界級(jí)的AI競(jìng)爭(zhēng)中實(shí)現(xiàn)超越。