小男孩‘自慰网亚洲一区二区,亚洲一级在线播放毛片,亚洲中文字幕av每天更新,黄aⅴ永久免费无码,91成人午夜在线精品,色网站免费在线观看,亚洲欧洲wwwww在线观看

分享

統(tǒng)計(jì)學(xué)速成班:谷歌首席決策工程師的一分鐘入門指南

 dayslee 2018-07-18


大數(shù)據(jù)文摘出品

編譯:涂世文、臻臻、元元、小魚


假設(shè)檢驗(yàn),P值,顯著性水平,置信區(qū)間,功效分析到底是什么呢?這里有一份通俗易懂的講解指南。本文介紹了統(tǒng)計(jì)學(xué)兩大學(xué)派:頻率學(xué)派和貝葉斯學(xué)派的基本觀點(diǎn),一起來看看大咖是如何講解統(tǒng)計(jì)學(xué)術(shù)語的。


統(tǒng)計(jì)學(xué)的意義是什么?這份懶人指南將用8分鐘,告訴你統(tǒng)計(jì)學(xué)所有的基本思想!如果你特別趕時(shí)間,只看加粗內(nèi)容,一分鐘就可以啦!


相關(guān)鏈接:

https:///@kozyrkov/whats-the-point-of-statistics-8163635da56c


統(tǒng)計(jì)學(xué)是什么?有人會(huì)說,統(tǒng)計(jì)學(xué)是一門有關(guān)數(shù)據(jù)處理和分析的科學(xué)。沒錯(cuò)!從定義上來看,這樣的解釋完全正確。現(xiàn)在讓我們深入了解一下它的具體內(nèi)容。


統(tǒng)計(jì)學(xué)是一門關(guān)于改變既定觀念的學(xué)科。


一般情況下,我們根據(jù)事件(統(tǒng)計(jì)參數(shù))進(jìn)行決策尚有難度,更何況有時(shí)候我們連對應(yīng)的事件都沒有。相反,我們已知的部分事件(統(tǒng)計(jì)樣本)與我們所希望知道的整體事件(統(tǒng)計(jì)總體)之間可能會(huì)存在很大的差異。這就意味測量本身是存在著不確定性的。



統(tǒng)計(jì)學(xué)是一門能在充滿不確定性的情況下改變你對事物看法的科學(xué)。當(dāng)然,首先要確定的是:你目前的看法從何而來?是基于假設(shè)檢驗(yàn)還是基于先驗(yàn)信念?或者也有可能你沒有任何看法,大腦一片空白。


貝葉斯學(xué)派從先驗(yàn)信念的角度看待問題。


貝葉斯統(tǒng)計(jì)學(xué)通過結(jié)合數(shù)據(jù)來更新人們對事物的先驗(yàn)信念。貝葉斯學(xué)派傾向于使用置信區(qū)間(即介于兩個(gè)數(shù)字之間的區(qū)間)來表示結(jié)果。


頻率學(xué)派則主張從頻率的角度看待問題

頻率學(xué)派統(tǒng)計(jì)學(xué)著重于改變一個(gè)人的選擇。人們不需要任何先驗(yàn)信念就可以做出下意識的選擇,也無需分析任何數(shù)據(jù)。頻率學(xué)派統(tǒng)計(jì)學(xué)(也被稱為古典統(tǒng)計(jì)學(xué))大多出現(xiàn)在日常生活中或者像STAT101這種統(tǒng)計(jì)學(xué)入門課程中,因此本文也對這類經(jīng)典的理論進(jìn)行介紹。


假設(shè)是對現(xiàn)實(shí)世界的一種“可能的”描述。


零假設(shè)描述的是一種缺省的情況,即默認(rèn)的選擇;備擇假設(shè)則是與零假設(shè)對立的其他一種或者多種情況。如果我用數(shù)據(jù)證明了“零假設(shè)”并不成立,那么你就可以拒絕“零假設(shè)”從而接受備擇假設(shè)。


例如:如果你每天早上用于準(zhǔn)備的時(shí)間少于15分鐘話(零假設(shè)),我們就可以一起去上課(默認(rèn)情況)。但是,如果事實(shí)(數(shù)據(jù))證明你得花更長的時(shí)間(備擇假設(shè))才能準(zhǔn)備好的話,你就只能自己一個(gè)人去了,因?yàn)樵谀銣?zhǔn)備好之前我已經(jīng)走了(備選情況)。


簡而言之,假設(shè)檢驗(yàn)的目的在于:“我們的事實(shí)證據(jù)能否拒絕零假設(shè)?”


所有的假設(shè)檢驗(yàn)都在問這樣一個(gè)問題:我們的證據(jù)能否拒絕零假設(shè)?拒絕零假設(shè)意味著我們學(xué)到了一些東西,我們應(yīng)該改變自己的觀念。不拒絕零假設(shè)意味著我們沒有學(xué)到任何新的東西。


就像我們在樹林里徒步旅行的時(shí)候,在周圍沒有看到其他人并不能證明地球上沒有人類,只是意味著我們沒有學(xué)到有關(guān)人類活動(dòng)范圍的新知識。如果沒有學(xué)到新知識,你也不必沮喪,因?yàn)槟阋呀?jīng)知道確切的應(yīng)對方法。既然你沒有學(xué)到新知識,也就沒有理由改變觀念,所以繼續(xù)采取默認(rèn)做法就可以了。


那么我們怎么判斷我們是否學(xué)到了新內(nèi)容?所謂“新內(nèi)容”,就是與默認(rèn)選擇完全相悖,可以讓我們新知識。為了得到上面問題的答案,我們可以查看兩個(gè)統(tǒng)計(jì)參數(shù),P值和置信區(qū)間。


P值理論是統(tǒng)計(jì)學(xué)中重要的一部分。


P值闡述了這樣一個(gè)統(tǒng)計(jì)參數(shù):如果接受原假設(shè),觀察樣本對原假設(shè)的支持程度。通過P值可以判斷假設(shè)是否成立。P值越小,意味著默認(rèn)結(jié)果出現(xiàn)的概率越小,“新內(nèi)容”出現(xiàn)的可能性越大,統(tǒng)計(jì)越顯著,說明你應(yīng)該改變先前的觀念。


進(jìn)行假設(shè)檢驗(yàn),我們只需要將P值與顯著性水平進(jìn)行比較。這就像是一個(gè)旋鈕,可以用來控制我們承受風(fēng)險(xiǎn)的大小。顯著性水平指當(dāng)原假設(shè)正確時(shí),人們卻因拒絕它而犯錯(cuò)的上限概率。如果你將顯著性水平設(shè)置為0,那么就意味著你拒絕了備擇假設(shè)。那么停下筆吧!別分析數(shù)據(jù)了,直接按默認(rèn)方法去做吧。(但堅(jiān)持默認(rèn)做法也有可能是錯(cuò)誤的。)



如何使用P值來獲取假設(shè)檢驗(yàn)的結(jié)果。如果P值小于顯著性水平,拒絕原假設(shè);如果P值大于顯著性水平,接受原假設(shè)。


置信區(qū)間可以用來表示假設(shè)檢驗(yàn)的結(jié)果。它的用法是,檢驗(yàn)其是否與零假設(shè)重疊。如果重疊,那么就意味著我們沒有得到任何新結(jié)論。如果不重疊,請改變你的看法吧。


置信區(qū)間與零假設(shè)不重疊的話,就改變你的看法吧。


雖然置信區(qū)間的定義晦澀難懂,但它有兩大優(yōu)點(diǎn)有助于描述數(shù)據(jù)特性:(1)區(qū)間總是包含最合理的假設(shè)(2)數(shù)據(jù)量越大,區(qū)間范圍越窄。請注意,置信區(qū)間和P值并沒有簡練精辟的定義,因?yàn)楫?dāng)初設(shè)計(jì)這兩個(gè)統(tǒng)計(jì)參數(shù)的目的不在于方便教學(xué)。它們只是總結(jié)檢驗(yàn)結(jié)果的方法。(如果你上了一節(jié)統(tǒng)計(jì)課,發(fā)現(xiàn)根本記不住這些的定義,原因就在于此。我來代表統(tǒng)計(jì)學(xué)說一句:不是你的鍋,是我自己的鍋。)


這樣做的意義是,如果你按照我剛才描述的方法進(jìn)行測試,數(shù)學(xué)可以保證你犯錯(cuò)誤的風(fēng)險(xiǎn)被限制在你選擇的顯著性水平以內(nèi)(這就是為什么你親自設(shè)置顯著性水平很重要……數(shù)學(xué)計(jì)算就是為了保證你所選擇的風(fēng)險(xiǎn)設(shè)置得以實(shí)現(xiàn),如果你不費(fèi)心選擇就沒有意義了。)


數(shù)學(xué)理論是建立零假設(shè)的基礎(chǔ),這也是P值理論的來源。



數(shù)學(xué)可以制造和檢驗(yàn)零假設(shè)這個(gè)“玩具宇宙”(親愛的統(tǒng)計(jì)學(xué)家們,這多么的酷啊?。亢喼碧崃耍。⑸蓴?shù)據(jù),從而與已有的數(shù)據(jù)集進(jìn)行相似度對比。如果你的零假設(shè)玩具宇宙與現(xiàn)實(shí)數(shù)據(jù)相似的可能性太低,你的P值將會(huì)很低,你最終會(huì)拒絕零假設(shè)......那就改變主意接受備擇假設(shè)吧!


那些瘋狂的公式、概率、分布是用來做什么的呢?它們讓我們得以描述那些統(tǒng)治零假設(shè)世界的一系列規(guī)則,從而判斷零假設(shè)是否與真實(shí)世界相符。如果不是,你就可以大喊:“太荒唐了!拉出去砍了!”如果相符,你聳聳肩,遺憾沒學(xué)到新知識。以后我們再深入討論這個(gè)話題。


就目前而言,只需將數(shù)學(xué)的作用看作是幫我們建立了多個(gè)小的玩具世界,幫助我們進(jìn)行檢驗(yàn),看看真實(shí)數(shù)據(jù)如果放進(jìn)玩具世界中是否合理。P值和置信區(qū)間是幫你總結(jié)的方法,讓你不需要瞇眼費(fèi)力來閱讀關(guān)于這個(gè)世界的冗長描述。他們代表著終極判斷:用它們來查看是否采取你默認(rèn)的做法。任務(wù)完成!


我們做準(zhǔn)備工作了嗎?這是功效所衡量的內(nèi)容。


等一下,我們是否做足了準(zhǔn)備工作,確保我們實(shí)實(shí)在在的收集了足夠的證據(jù),讓我們有足夠的把握地改變觀念了嗎?這個(gè)問題的答案是由功效這個(gè)概念所衡量的。不改變觀念很簡單,只要不去尋找支持它的證據(jù)就好了。你的功效越大,說明你給自己更多機(jī)會(huì)來改變觀念。功效是拒絕原假設(shè)且結(jié)果正確的概率。


當(dāng)繼續(xù)采取默認(rèn)做法,我們雖然沒學(xué)到什么,如果用功效對原假設(shè)進(jìn)行衡量也能讓我們感覺更好。至少我們做了足夠的準(zhǔn)備,也進(jìn)行了嘗試。如果沒有用功效進(jìn)行衡量,我們肯定不會(huì)改變自己的觀念。這樣甚至不需要去分析數(shù)據(jù)了。


功效分析用于檢查在著手之前你是否準(zhǔn)備了足夠的數(shù)據(jù)


功效分析是對給定數(shù)量的數(shù)據(jù)檢測預(yù)期功效大小的一種方法,你可以借助功效分析制定研究計(jì)劃。


不確定性意味著,即使你擁有世上最棒的數(shù)學(xué)方法,也可能得出錯(cuò)誤的結(jié)論。


統(tǒng)計(jì)是什么?在不確定性中找確定性的神奇魔法。但沒有哪種魔法可以做到這一點(diǎn),人們總會(huì)犯錯(cuò)誤。提到錯(cuò)誤,在頻率統(tǒng)計(jì)中有兩類經(jīng)常出現(xiàn)的錯(cuò)誤。


第一類錯(cuò)誤是指原假設(shè)是對的,我們卻拒絕了原假設(shè)。大概就是,老兄,雖然你對這個(gè)默認(rèn)做法很滿意,但你的數(shù)學(xué)計(jì)算說服你放棄它。第二類錯(cuò)誤是指原假設(shè)是錯(cuò)的,我們卻接受了原假設(shè)。(我們統(tǒng)計(jì)學(xué)家對命名真是有創(chuàng)意。猜一猜哪一個(gè)錯(cuò)誤更糟糕?第一類?沒錯(cuò),很有創(chuàng)意吧。)


第一類錯(cuò)誤就像是給一個(gè)無辜的人定罪,而第二類錯(cuò)誤則是未能給一個(gè)有罪的人定罪。犯這兩類錯(cuò)誤的概率是平衡的(提高抓住壞人的概率也同時(shí)提高了錯(cuò)判好人的概率),除非你擁有更多證據(jù)(數(shù)據(jù)!),可以使犯兩類錯(cuò)誤的概率都變小,整體結(jié)果都會(huì)變得更好。這就是為什么統(tǒng)計(jì)學(xué)家希望你擁有大量、豐富的數(shù)據(jù)!當(dāng)你擁有更多的數(shù)據(jù)時(shí),一切都變得更好了!


數(shù)據(jù)越多越容易杜絕錯(cuò)誤的結(jié)論。



什么是多重比較校正(multiplecomparisons correction)呢?如果你打算對同一個(gè)受試群體詢問多個(gè)問題時(shí),那么你必須以不同的、不斷調(diào)整的方式詢問。如果你一遍又一遍地審訊無辜的嫌疑人(當(dāng)你持續(xù)探測你的數(shù)據(jù)),最終某個(gè)隨機(jī)事件總會(huì)讓案子看起來有罪。


“統(tǒng)計(jì)顯著”(statistically significant)這個(gè)術(shù)語并不意味著在零假設(shè)的世界里發(fā)生了重要的事情,它僅僅意味著我們改變了看法。這種改變也可能是錯(cuò)誤的,都怪煩人的不確定性!


別浪費(fèi)你的時(shí)間來嚴(yán)謹(jǐn)?shù)鼗卮疱e(cuò)誤的問題了,試試統(tǒng)計(jì)學(xué)的方法吧!


那什么是第三類錯(cuò)誤呢?這是一個(gè)統(tǒng)計(jì)學(xué)的笑話:它指的是正確地拒絕了錯(cuò)誤的零假設(shè)。換句話說,運(yùn)用的數(shù)學(xué)方法都是正確的,卻回答了錯(cuò)誤的問題。


解決這個(gè)錯(cuò)誤的問題的一個(gè)方法可以在“智能決策工程”(Decision Intelligence Engineering)這個(gè)視頻中找到。智能決策工程是一個(gè)使用數(shù)據(jù)科學(xué)解決商業(yè)問題和優(yōu)化決策的新學(xué)科。通過掌握智能決策這種方法,你可以避免犯第三類錯(cuò)誤和無用的數(shù)據(jù)分析。


相關(guān)鏈接:

https://www./watch?v=x1k37Na1iLc&t=374s


總而言之,統(tǒng)計(jì)學(xué)是一種改變你的觀念的科學(xué)。目前分為兩種流派,更常見的是頻率統(tǒng)計(jì)派——檢驗(yàn)?zāi)闶欠駪?yīng)該拒絕你的原假設(shè)。貝葉斯統(tǒng)計(jì)派則是根據(jù)數(shù)據(jù)更新先驗(yàn)信念。如果你在開始分析數(shù)據(jù)之前大腦一片空白,那就先看看你的數(shù)據(jù),然后跟著直覺走吧。


相關(guān)報(bào)道:

https:///statistics-for-people-in-a-hurry-a9613c0ed0b


今日機(jī)器學(xué)習(xí)概念】

Have a Great Definition


Contributors

回復(fù)“志愿者”加入我們

    本站是提供個(gè)人知識管理的網(wǎng)絡(luò)存儲(chǔ)空間,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點(diǎn)。請注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息,謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請點(diǎn)擊一鍵舉報(bào)。
    轉(zhuǎn)藏 分享 獻(xiàn)花(0

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多