小男孩‘自慰网亚洲一区二区,亚洲一级在线播放毛片,亚洲中文字幕av每天更新,黄aⅴ永久免费无码,91成人午夜在线精品,色网站免费在线观看,亚洲欧洲wwwww在线观看

分享

【文獻(xiàn)與探索】人工智能責(zé)任:讓算法承擔(dān)責(zé)任

 治理學(xué)術(shù) 2021-02-14

類別:網(wǎng)絡(luò)治理

導(dǎo)言


人工智能(AI)算法以微妙而又根本的方式支配著我們的生活方式,并正在改變我們的社會(huì)。利用大數(shù)據(jù)潛在的高效、低成本或“中立”的解決方案,已促使公共機(jī)構(gòu)在提供公共服務(wù)時(shí)采用算法系統(tǒng)。在最新一項(xiàng)研究中,通過(guò)對(duì)公共部門從業(yè)人員的深度訪談,荷蘭萊頓大學(xué)Madalina Busuioc教授指出,由于人工智能算法已經(jīng)滲透到我們公共存在的高風(fēng)險(xiǎn)方面,從招聘和教育決策到政府使用執(zhí)法權(quán)力(警務(wù))或限制自由的決定(保釋和判刑)。這必然會(huì)引發(fā)重要的問(wèn)責(zé)制問(wèn)題:人工智能算法系統(tǒng)帶來(lái)了哪些問(wèn)責(zé)制挑戰(zhàn),以及我們?nèi)绾卧谒惴Q策中保護(hù)問(wèn)責(zé)制?本文為公共部門從業(yè)人員提供了與公共部門決策中使用人工智能系統(tǒng)相關(guān)的明顯問(wèn)責(zé)挑戰(zhàn)的見(jiàn)解。從明確的公共行政角度出發(fā),并考慮到目前在這一領(lǐng)域已明顯出現(xiàn)的挑戰(zhàn),批判性地反思并以概念指導(dǎo)的方式描繪出這些系統(tǒng)對(duì)公共問(wèn)責(zé)制的影響和它們?cè)斐傻南拗疲峁┝舜_保算法問(wèn)責(zé)制的具體政策建議。這將對(duì)管理員維護(hù)監(jiān)督系統(tǒng)功能的能力,以及他們?yōu)樗惴Q策向公民履行賬戶賦予職責(zé)的能力變得至關(guān)重要。論文發(fā)表在PAR上面。 

文獻(xiàn)來(lái)源Busuioc, M. (2021), Accountable Artificial Intelligence: Holding Algorithms to Account. Public Administration Review. online first, 1-12. DOI: https:///10.1111/puar.13293。

研究主題


在私人部門和公共部門使用算法系統(tǒng)中遇到越來(lái)越多偏見(jiàn)的例子,例如,將“醫(yī)生”與“父親”、“護(hù)士”與“母親”聯(lián)系在一起;人們一直發(fā)現(xiàn),面部識(shí)別算法在少數(shù)族裔中顯示的錯(cuò)誤率要高得多(Buolamwini和Gebru,2018;Lohr,2018;Snow,2018;Medium,2019),這可能導(dǎo)致在警務(wù)使用中造成錯(cuò)誤逮捕和對(duì)已經(jīng)處于邊緣地位群體的歧視(Garvie和Frankle,2016);用于大學(xué)招生、預(yù)測(cè)考試成績(jī)的算法最近顯示出嚴(yán)重失敗,對(duì)來(lái)自弱勢(shì)背景的優(yōu)秀學(xué)生有不同的負(fù)面影響(Broussard,2020;Katwala,2020)。這正是本文要解決的主題。

同時(shí),人工智能(AI)的算法系統(tǒng)無(wú)疑是建立在巨大的技術(shù)創(chuàng)新基礎(chǔ)上的,人工智能被認(rèn)為可以“加速發(fā)現(xiàn)過(guò)程”(Appenzeller,2017),上述例子強(qiáng)調(diào)了監(jiān)督人工智能算法決策的重要性。隨著算法系統(tǒng)在公共部門變得越來(lái)越普遍,它們引起了人們對(duì)有意義的監(jiān)督和問(wèn)責(zé)制的重要關(guān)注(Bullock,2019;Diakopoulos,2014;European Parliament Study,2019;Pasquale,2015;Yeung,2018;Yeung和 Lodge,2019;Young,Bullock和Lecy,2019),并需要首先識(shí)別和診斷與這些系統(tǒng)相關(guān)的問(wèn)責(zé)制缺陷可能存在的地方。

本文采用公共管理視角的主題,但利用更廣泛的多學(xué)科的文獻(xiàn),包括計(jì)算機(jī)科學(xué)相關(guān)文獻(xiàn)。討論對(duì)問(wèn)責(zé)制至關(guān)重要的核心方面(具體來(lái)說(shuō),人工智能算法的解釋和可解釋性),以便在確保問(wèn)責(zé)制的技術(shù)現(xiàn)實(shí)和挑戰(zhàn)方面充分地為我們的討論奠定基礎(chǔ)。

算法的興起和制衡的需要


雖然媒體報(bào)道的世界末日?qǐng)鼍安](méi)有在現(xiàn)實(shí)中出現(xiàn),但人工智能已經(jīng)出現(xiàn)了。人工智能算法以更微妙但更根本的方式支配著我們的生活方式,并正在改變我們的社會(huì)。數(shù)據(jù)、計(jì)算和機(jī)器模式識(shí)別(依賴于一系列被稱為“深度學(xué)習(xí)”或“神經(jīng)網(wǎng)絡(luò)”的方法)帶來(lái)的巨大技術(shù)進(jìn)步,使得人工智能算法在構(gòu)建技術(shù)和人類交互方面無(wú)處不在。

這項(xiàng)技術(shù)存在于一系列普通的應(yīng)用中:從我們手機(jī)上的文本預(yù)測(cè)器,或語(yǔ)音轉(zhuǎn)語(yǔ)音的翻譯,再到在Netflix上向我們推薦電影的算法。但它并不局限于這些常見(jiàn)的、“低風(fēng)險(xiǎn)”的應(yīng)用。算法也控制著我們的互聯(lián)網(wǎng)搜索引擎的運(yùn)作——它們檢索和排序搜索信息,并最終決定用戶和社交媒體可以獲得哪些信息。高頻交易算法運(yùn)行著我們的電子市場(chǎng);算法為自動(dòng)個(gè)人信貸決策和關(guān)鍵健康決策提供信息,并管理半自動(dòng)駕駛(Pasquale,2015)。他們還將對(duì)道德的生死決定進(jìn)行編碼,例如,在發(fā)生事故的情況下,自動(dòng)駕駛汽車是否應(yīng)該優(yōu)先保護(hù)司機(jī)/乘客或行人(Bonnefon,Shariff和Rahwan,2016)。

重要的是,這樣的算法不僅日益成為推動(dòng)這一領(lǐng)域創(chuàng)新的私人參與者的權(quán)限,也越來(lái)越受到政府和公共(監(jiān)管)機(jī)構(gòu)的依賴(AI Now Institute NYU,2018;Citron,2008;Eubanks,2018;European Parliament Study,2019;O’Neil 2016;Richardson,Schultz和Crawford,2019; Shark,2019;UK Government Office for Science,2016; Yeung,2018; Yeung和Lodge,2019)。利用大數(shù)據(jù)潛在的高效、低成本或“中立”的解決方案,已促使公共機(jī)構(gòu)在提供公共服務(wù)時(shí)采用算法系統(tǒng)(Eubanks,2018;Ferguson,2017;O’Neil,2016),這對(duì)公共管理具有根本意義:數(shù)字技術(shù)在公共部門的影響已經(jīng)被公認(rèn)為變革,AI將大大加速和深化這些過(guò)程,從根本上影響公共服務(wù)的結(jié)構(gòu)、公共服務(wù)價(jià)值觀、行使行政裁量權(quán)和專業(yè)判斷(Bullock,2019;Busch和Henriksen,2018),從而影響公共官僚機(jī)構(gòu)的本質(zhì)。

與此相關(guān),人工智能算法也被發(fā)現(xiàn)陷入了難以發(fā)現(xiàn)、突破和/或自我糾正的負(fù)反饋循環(huán)。例如,如果一個(gè)算法錯(cuò)誤地預(yù)測(cè)了一個(gè)特定的地區(qū)為“高犯罪率”,由此增加的警力將導(dǎo)致該地區(qū)逮捕更多的人,這將成為算法的新的訓(xùn)練數(shù)據(jù),重新確認(rèn)和加強(qiáng)其先前的預(yù)測(cè)。如果最初的預(yù)測(cè)有偏差,例如,由于人類對(duì)訓(xùn)練數(shù)據(jù)的偏見(jiàn)(例如,一個(gè)歷史上過(guò)度監(jiān)管的社區(qū)),這就變得尤其有問(wèn)題:算法的預(yù)測(cè)變成了“自我實(shí)現(xiàn)的預(yù)言”。與此同時(shí),由于此類系統(tǒng)的黑箱操作以及固有的復(fù)雜性,算法偏差和故障已經(jīng)被證明是很難診斷和挑戰(zhàn)的。

這有可能使“治愈方法”比“疾病”更糟糕:歷史歧視和人類偏見(jiàn)通過(guò)自動(dòng)化傳播,同時(shí)變得更加難以發(fā)現(xiàn)和挑戰(zhàn),同樣的偏見(jiàn)現(xiàn)在被重新包裝在算法黑盒中,表面上是中立和數(shù)學(xué)客觀性的。因此,要求提高人工智能算法透明度和公共監(jiān)管機(jī)制的呼聲急劇上升——例如,人臉識(shí)別(由領(lǐng)先的計(jì)算機(jī)科學(xué)家),甚至呼吁暫停該技術(shù)的使用(如2019年英國(guó)下議院科學(xué)和技術(shù)委員會(huì),Medium 2019),以及最近在業(yè)界主導(dǎo)下,暫停了其在監(jiān)管(Amazon,Mircrosoft)和市場(chǎng)退出(IBM)方面的使用。

與此同時(shí),重要的是要承認(rèn),人工智能算法將會(huì)有而且正在有非常真實(shí)和突破性的社會(huì)和個(gè)人層面的影響。正是“算法權(quán)力”的崛起(Diakopoulos,2014),即“權(quán)力越來(lái)越多地通過(guò)算法來(lái)表達(dá)”的事實(shí)(Pasquale 2015, 8),帶來(lái)了對(duì)這種權(quán)力進(jìn)行監(jiān)督的相應(yīng)需求。隨著人工智能算法滲透到我們存在的關(guān)鍵公共方面,這必然會(huì)引發(fā)重要的問(wèn)責(zé)制問(wèn)題:人工智能算法系統(tǒng)帶來(lái)了哪些問(wèn)責(zé)制挑戰(zhàn),在它們的運(yùn)行中出現(xiàn)了哪些具體的缺陷,以及我們?nèi)绾卧诠膊块T的算法決策中保護(hù)問(wèn)責(zé)制?

問(wèn)責(zé)制:一個(gè)概念框架


問(wèn)責(zé)制是指對(duì)別人負(fù)責(zé),有義務(wù)解釋和為自己的行為和不作為辯解(Olsen 2014, 107)。權(quán)力的行使(交出權(quán)力的能力)要求問(wèn)責(zé)制。然而,即使在更傳統(tǒng)的情況下,問(wèn)責(zé)制可能帶來(lái)的后果也并非總是直接的。正因?yàn)槿绱?,近年?lái),越來(lái)越多的公共行政學(xué)者致力于對(duì)公眾問(wèn)責(zé)進(jìn)行“狹義”或“最小限度”的界定,以促進(jìn)其在實(shí)踐中的研究(Bovens,2007;Bovens, Schillemans和 Goodin,2014)。在這種理解中,問(wèn)責(zé)制被定義為“行動(dòng)者與論壇(Forum)之間的一種關(guān)系,行動(dòng)者有義務(wù)解釋和證明自己的行為,論壇可以提出問(wèn)題和作出判斷,行動(dòng)者可能面臨后果” (Bovens 2007, 450)。雖然在腦海中有更多傳統(tǒng)的問(wèn)責(zé)背景(如政治-官僚關(guān)系),但這一概念似乎直接適用于算法決策。

本質(zhì)上,一個(gè)有意義的問(wèn)責(zé)過(guò)程由三個(gè)階段組成:信息、解釋或證明,以及(可能的)結(jié)果。這些“有效問(wèn)責(zé)的要求” (Olsen 2014, 113)是對(duì)外部權(quán)威行使的。換句話說(shuō),無(wú)論是正式的還是非正式的,行動(dòng)者——無(wú)論是官僚機(jī)構(gòu)、私人提供者還是公共部門機(jī)構(gòu)——都必須有義務(wù)向問(wèn)責(zé)論壇作出交代。問(wèn)責(zé)制是一種關(guān)系(Bovens 2007; Schillemans and Busuioc 2015),各種關(guān)系可以以這種方式加以概念化:例如,在官僚主義背景下,一個(gè)機(jī)構(gòu)向從其母部、議會(huì)、公民到法院或媒體等各種論壇提供解釋。在人工智能的背景下,這樣的論壇可以類似地包括傳統(tǒng)的機(jī)構(gòu)論壇,如法院、議會(huì)委員會(huì)、監(jiān)察員等,但也有專門建造的論壇,如人工智能倫理、標(biāo)準(zhǔn)化機(jī)構(gòu)和審計(jì)機(jī)構(gòu),監(jiān)測(cè)人工智能系統(tǒng)的設(shè)計(jì)和運(yùn)行。

人工智能、算法決策和權(quán)力:注意正在出現(xiàn)的問(wèn)責(zé)缺口


算法本質(zhì)上是按照順序?qū)崿F(xiàn)的任何規(guī)則集(無(wú)論是計(jì)算規(guī)則還是其他規(guī)則),以達(dá)到特定的結(jié)果。與我們研究的核心算法不同的是,這些算法自己學(xué)習(xí)支配自己行為的規(guī)則。他們發(fā)現(xiàn)數(shù)據(jù)中隱藏的模式,將特定的數(shù)據(jù)輸入與輸出配對(duì),通過(guò)釋放大量的訓(xùn)練數(shù)據(jù)(所謂的訓(xùn)練集),有效地學(xué)習(xí)輸入-輸出關(guān)系或“映射”。他們使用這些訓(xùn)練數(shù)據(jù)來(lái)確定和修改模型——各種影響結(jié)果的“特征”和它們對(duì)應(yīng)的權(quán)重(系數(shù)),然后他們使用學(xué)習(xí)到的輸入-輸出映射,對(duì)尚未看到的數(shù)據(jù)做出預(yù)測(cè)。是什么使他們?nèi)绱似毡楹褪軞g迎的是,一系列的問(wèn)題都可以在這些投入產(chǎn)出框架條款:圖像識(shí)別及其各種應(yīng)用(如視頻監(jiān)控、DNA測(cè)序,或腫瘤映射)風(fēng)險(xiǎn)評(píng)估模型(信用卡或犯罪)或推薦系統(tǒng)(新聞、購(gòu)物和社交媒體)。

這種算法在公共和私人決策中越來(lái)越受到依賴。算法決策是指使用算法作為人類分析的輔助或替代,來(lái)制定或提供(并提高)決策或行動(dòng)的質(zhì)量。原則上,算法決策可以是完全自動(dòng)化的,也可以是混合的,也就是說(shuō),需要一個(gè)人工決策者或在循環(huán)中的審查員(Citron,2008)。雖然這兩種類型都可能出現(xiàn)在公共部門(Citron,2008),但公共部門最常見(jiàn)的算法往往是為人類決策提供信息,而不是在沒(méi)有人類干預(yù)的情況下做出最終的全自動(dòng)決策(參見(jiàn)Edwards和Veale2017, 45)。事實(shí)上,在一些司法管轄區(qū),如歐盟,有權(quán)利(盡管有例外)不受完全基于自動(dòng)決策的約束(即歐盟一般數(shù)據(jù)保護(hù)條例,GDPR)。

正是出于這個(gè)原因——經(jīng)驗(yàn)相關(guān)性——調(diào)查明確地聚焦于混合決策,其中AI算法為公共部門的人類決策提供信息。這是目前公共部門使用人工智能算法的相關(guān)緊迫背景,特別是從問(wèn)責(zé)制的角度來(lái)看,考慮到其在非常規(guī)高風(fēng)險(xiǎn)場(chǎng)景中的依賴性。因此,當(dāng)我們?cè)趩?wèn)責(zé)的意義上談?wù)撔袆?dòng)者時(shí),我們?nèi)匀辉谶@個(gè)語(yǔ)境中,像在傳統(tǒng)語(yǔ)境中一樣談?wù)撊祟愋袆?dòng)者。由于算法尚未實(shí)現(xiàn)感知或意識(shí)——盡管媒體大肆炒作,但在所謂的“人工一般智能”(AGI)或“人類水平的人工智能”(Ng,2018)方面幾乎沒(méi)有明顯進(jìn)展——公共部門算法的使用和操作的責(zé)任必然在于人類行為者:人工智能系統(tǒng)供應(yīng)商、公共部門采用者以及用戶,了解他們創(chuàng)建并分別購(gòu)買和部署的算法系統(tǒng)的操作及含義。

當(dāng)我們談到混合算法決策時(shí),需要注意的是,我們必須談到兩個(gè)層次:人工智能算法輸出、推薦或決定(實(shí)現(xiàn)這些的算法過(guò)程)以及隨后算法輸出和人類決策者之間的互動(dòng)。因此,混合系統(tǒng)的算法問(wèn)責(zé)制涉及并需要審查兩個(gè)相互關(guān)聯(lián)的階段:最初的算法結(jié)果和如何得出這些結(jié)果。例如,AI模型設(shè)計(jì)、設(shè)置和操作的透明度和合理性,這必然決定了算法結(jié)果。以及這些算法建議在人類決策和/或行動(dòng)中所扮演的角色。

后一個(gè)方面對(duì)有意義的監(jiān)督也特別重要,不應(yīng)低估。正如我們將在下面的文章中看到的,在兩者的結(jié)合處,有可能出現(xiàn)意想不到的新偏差來(lái)源。換句話說(shuō),要使基于算法輸入和評(píng)估的決策和行動(dòng)對(duì)有意義的詢問(wèn)、解釋和論證開(kāi)放(例如,根據(jù)算法生成的“熱點(diǎn)地圖”,決定將警察資源部署到特定區(qū)域),就需要對(duì)算法過(guò)程和人-算法交互進(jìn)行拆解。

信息:不對(duì)稱組成的

深度學(xué)習(xí)工具固有的不透明性。從信息的角度來(lái)看,一個(gè)特別有問(wèn)題的特性是許多系統(tǒng)固有的不透明性。給定特定的輸入,我們知道最終的算法輸出,即做出的“分類”(例如,“高風(fēng)險(xiǎn)”或“低風(fēng)險(xiǎn)”),達(dá)成的決策(例如,“拒絕信用”),或預(yù)測(cè)的具體結(jié)果(例如,風(fēng)險(xiǎn)評(píng)估評(píng)分)。然而,算法是如何得出特定的預(yù)測(cè)結(jié)果的(它認(rèn)為輸入數(shù)據(jù)的哪些部分對(duì)預(yù)測(cè)結(jié)果很重要)通常是不透明的。當(dāng)然,并非所有人工智能算法模型都需要不透明。雖然“黑匣子”算法帶來(lái)了復(fù)雜的不透明性和可解釋性挑戰(zhàn),更簡(jiǎn)單的可解釋ML算法卻沒(méi)有,但通常也被認(rèn)為功能不那么強(qiáng)大(Rudin,2019)。不透明性是“深度學(xué)習(xí)”算法的一個(gè)關(guān)鍵子集,也是“人工智能革命的主要驅(qū)動(dòng)力”(Ford 2018, 10)。神經(jīng)網(wǎng)絡(luò)由多個(gè)隱藏的(或中介)人工神經(jīng)元層組成,這些神經(jīng)元將輸入和輸出聯(lián)系起來(lái),通常被稱為“黑盒”,即“向用戶隱藏其內(nèi)部邏輯的系統(tǒng)”(Guidotti等,2019)。這種系統(tǒng)的不透明性也是由于這樣一個(gè)事實(shí),即當(dāng)模型的相關(guān)“特征”(有助于預(yù)測(cè)的參數(shù))由系統(tǒng)自身通過(guò)篩選大量數(shù)據(jù)來(lái)識(shí)別時(shí),它們可以逃避人類的解釋——也逃避設(shè)計(jì)者的解釋。其有效性的關(guān)鍵正是其不透明性的根源:機(jī)器分析的特征可能無(wú)法被人類意識(shí)識(shí)別為有效或可識(shí)別的特征。

保密和專有算法。讓事情變得更加困難的是,由于算法往往是專有的,包括在公共部門使用時(shí),信息的可用性可能會(huì)受到進(jìn)一步的限制。商業(yè)算法是由私人盈利性公司開(kāi)發(fā)和銷售的,其工作原理通常不會(huì)被公開(kāi)披露(Carlson,2017;Citron,2008)。Pasquale(2011, 237)在這種背景下追溯了從“合法性——通過(guò)透明——到保證——通過(guò)保密”的轉(zhuǎn)變,并“對(duì)信息時(shí)代社會(huì)秩序的基礎(chǔ)產(chǎn)生了深刻的困擾”。并重申:“目前的法律阻礙了對(duì)自動(dòng)權(quán)力機(jī)構(gòu)的問(wèn)責(zé)”。因此,即使算法的功能和操作是可以理解的(比如使用決策樹(shù)等簡(jiǎn)單的人工智能算法),但由于專利原因,這些功能和操作仍然是保密的:“商業(yè)機(jī)密是理解算法等自動(dòng)授權(quán)的核心障礙”(Diakopoulos 2014, 12)。在美國(guó)《信息自由法》(FOIA)(Diakopoulos,2014)和歐盟GDPR(Wachter, Mittelstadt和Floridi,2017)中,商業(yè)秘密豁免限制了獲取信息的權(quán)利。例如,《信息自由法》商業(yè)秘密豁免“允許聯(lián)邦政府拒絕對(duì)其系統(tǒng)中集成的任何第三方軟件的透明度要求”(Diakopoulos 2014, 12),和商業(yè)秘密的保護(hù)算法提出的制造商為了逃避披露義務(wù)(Carlson,2017)或拒絕參加獨(dú)立測(cè)試算法的性能。公共機(jī)構(gòu)實(shí)際上正在犧牲其對(duì)算法操作和功能進(jìn)行有意義的監(jiān)督的能力,以及其履行自己的透明性和合理性義務(wù)的能力。

算法的復(fù)雜性。此外,除了系統(tǒng)特征不透明和/或公開(kāi)披露問(wèn)題之外,ML模型的復(fù)雜性還帶來(lái)了重大的信息挑戰(zhàn)。鑒于其體系結(jié)構(gòu)的復(fù)雜性和規(guī)模的參數(shù)空間,如前所述,它可以成為幾乎不可能對(duì)人類決策者掌握交互的復(fù)雜特性,即使在最好的情況下(不可能實(shí)現(xiàn))場(chǎng)景模型特性做人類理解和系統(tǒng)的源代碼是公開(kāi)的。換句話說(shuō),當(dāng)“成百上千個(gè)特征對(duì)一個(gè)預(yù)測(cè)有重大貢獻(xiàn)時(shí),期望任何用戶理解為什么會(huì)做出預(yù)測(cè)是不合理的,即使可以檢查單個(gè)權(quán)重”(Ribeiro, Singh和Guestrin2016, 1137)。由于人類信息處理的局限性,使得任何監(jiān)管系統(tǒng)都存在的傳統(tǒng)信息不對(duì)稱問(wèn)題更加嚴(yán)重。

具有永久記憶的互動(dòng)空間爭(zhēng)論和辯護(hù):審問(wèn)算法決策的困難

源于算法固有的不透明性,復(fù)雜性或?qū)S行?,這些信息缺陷對(duì)下一階段的問(wèn)責(zé)制具有直接影響:解釋或辯護(hù)。解釋導(dǎo)致特定決策結(jié)果的基本原理的能力是審問(wèn)和挑戰(zhàn)此類結(jié)果的關(guān)鍵。正是這一階段將問(wèn)責(zé)制與透明性或僅提供上述信息區(qū)分開(kāi)來(lái):能夠篩選,推動(dòng)和窺探行動(dòng)和決策背后的邏輯。可解釋的和可辯解的算法?然而,由于人工智能算法的內(nèi)在操作,解釋正是尤其難以實(shí)現(xiàn)的。對(duì)于深度學(xué)習(xí)算法來(lái)說(shuō)尤其如此。毫無(wú)疑問(wèn),這些技術(shù)挑戰(zhàn)的另一個(gè)原因是,傳統(tǒng)上,算法性能的主要評(píng)估標(biāo)準(zhǔn)是基于設(shè)計(jì)人員確定的指標(biāo),如“預(yù)測(cè)精度”,而不是模型的可解釋性。然而,計(jì)算機(jī)科學(xué)學(xué)者們?cè)絹?lái)越意識(shí)到對(duì)可解釋性的需要:“如果一個(gè)人計(jì)劃根據(jù)預(yù)測(cè)采取行動(dòng),或者選擇是否部署新模型,那么理解預(yù)測(cè)背后的原因(……)是至關(guān)重要的。(Ribeiro, Singh和 Guestrin 2016, 1135)”開(kāi)發(fā)人員越來(lái)越意識(shí)到,這種系統(tǒng)的持續(xù)依賴和擴(kuò)散將歸結(jié)為用戶對(duì)其輸出的信任,而算法的可理解性是其中的一個(gè)重要組成部分。隨著深度學(xué)習(xí)黑箱模型繼續(xù)成為最成功的算法方法,計(jì)算機(jī)科學(xué)學(xué)者一直致力于使這些模型更容易理解。正在進(jìn)行的潛在方法包括特征可視化技術(shù)——旨在可視化神經(jīng)元相互作用的隱藏層的工作,從而使內(nèi)部過(guò)程更加明確(例如Zeiler 和Fergus,2014或谷歌和OpenAI的激活地圖集)——到將“黑匣子”算法與“解釋器算法”相結(jié)合(Ribeiro,Singh和Guestrin,2016;美國(guó)國(guó)防部高級(jí)研究計(jì)劃局的XAI計(jì)劃),即本質(zhì)上使用算法來(lái)解釋算法。例如,“解釋算法”可以通過(guò)生成一個(gè)更簡(jiǎn)單的算法(比如決策樹(shù))來(lái)解釋黑盒,從而解壓縮黑盒?!敖忉屨摺彼惴ㄓ行У貙⒑谙蛔拥奶卣髦匦孪癁槿祟愵^腦可以理解的特征。然而,解釋模型也有重要的缺點(diǎn)。這種類型的技術(shù)可能要求“解釋中的‘輸入變量’與實(shí)際黑盒模型的特征不同”,以便使它們易于理解(Ribeiro, Singh和Guestrin 2016, 1137)。事后解釋可以依靠不同的關(guān)鍵變量來(lái)模擬黑盒決策邏輯——換句話說(shuō),完全不同的模型。因此,解釋模型本質(zhì)上并不是原始模型的完全忠實(shí)表示,而是原始模型的“近似”,這必然同時(shí)降低了它們的解釋潛力(Rudin,2019)。更重要的是,對(duì)于解釋需要什么,目前還沒(méi)有一個(gè)共同的標(biāo)準(zhǔn),“盡管這具有根本的重要性,但沒(méi)有一項(xiàng)工作認(rèn)真地解決量化人類解釋的可理解性等級(jí)的問(wèn)題?!保℅uidotti等2019, 36)

從隱性到顯性的價(jià)值權(quán)衡。模型的解釋或論證也必然延伸到模型功能中經(jīng)常被遺忘的方面:模型設(shè)計(jì)中固有的價(jià)值權(quán)衡。雖然人工智能算法通常被視為“中立設(shè)備”,但算法系統(tǒng)必須編碼重要的價(jià)值權(quán)衡(例如回憶和準(zhǔn)確性,精確與公平),甚至是相同價(jià)值的不同概念之間的權(quán)衡(例如,不同的公平概念)。決定如何在這些因素之間取得平衡,必然是一種政治行為,而非純粹的技術(shù)行為:根據(jù)優(yōu)先考慮的價(jià)值或概念,算法將達(dá)到不同的結(jié)果,并將成本和利益強(qiáng)加給不同的個(gè)人或社會(huì)團(tuán)體(另見(jiàn)Bovens和Zouridis,2002;Young,Bullock和Lecy,2019)。因此,算法輸出在很大程度上是其中所設(shè)計(jì)的價(jià)值選擇的產(chǎn)物。外部審查此類決策的先決條件是首先了解此類價(jià)值選擇。

算法輸出:對(duì)人類決策的行為影響是什么?重要的是,解釋算法決策的挑戰(zhàn)不僅涉及到算法模型的建立和操作,還涉及到算法輸入和人類決策之間的接口。如上所述,算法結(jié)果經(jīng)常作為人類決策的輸入。這意味著,如果我們想要理解和解釋基于算法的決策,我們不僅需要了解人工智能算法的操作,還需要了解算法結(jié)果對(duì)(約束)人類決策的影響。然而,令人驚訝的是,我們對(duì)它們對(duì)決策者和實(shí)際決策過(guò)程的影響知之甚少。決策制定者如何,以何種方式,受到算法輸入和建議的影響?算法結(jié)果在多大程度上限制了我們的決策自主權(quán)和/或偏見(jiàn)我們質(zhì)疑它們的能力?當(dāng)法官使用算法風(fēng)險(xiǎn)分?jǐn)?shù)作為決策的輸入時(shí),這些分?jǐn)?shù)對(duì)他們的決策有什么影響?

算法決策的后果

最后,問(wèn)責(zé)過(guò)程的最后階段是通過(guò)判斷——贊成、譴責(zé)或譴責(zé)某一特定行為——在這種程度上,判斷是消極的,有意義的問(wèn)責(zé)要求施加制裁,并為那些受到負(fù)面影響的人提供補(bǔ)償。在算法決策的情況下,問(wèn)責(zé)制的這一維度也變得有問(wèn)題,因?yàn)樗倪\(yùn)作密切依賴于前兩個(gè)元素的存在:信息和辯解。由于復(fù)雜的信息困難,加上上述確定的相當(dāng)多的解釋問(wèn)題,這給診斷系統(tǒng)故障和(錯(cuò)誤)行為以進(jìn)行有效的補(bǔ)救行動(dòng)帶來(lái)了相關(guān)的挑戰(zhàn)。提供補(bǔ)救措施的第一步是診斷故障,但就算法性能而言,這并非易事。

沒(méi)有理解算法特征和操作的能力,包括受算法決策不利影響的非專業(yè)觀眾,就無(wú)法有意義地挑戰(zhàn)或挑戰(zhàn)基于其決策而獲得的補(bǔ)救措施。如果沒(méi)有這些火災(zāi)警報(bào),算法系統(tǒng)將進(jìn)一步缺乏急需的糾正和學(xué)習(xí)反饋。如果沒(méi)有模型的透明度和操作的基本邏輯的解釋,領(lǐng)域?qū)<?/span>(公共部門用戶)也將無(wú)法捕捉錯(cuò)誤的模型,導(dǎo)致對(duì)其的過(guò)度依賴。這將嚴(yán)重限制他們作為有意義的決策調(diào)解人的能力。在這種情況下,假設(shè)一個(gè)人進(jìn)入決策循環(huán)可能會(huì)成為一個(gè)空洞的檢查,在這種情況下,人類調(diào)解員實(shí)際上對(duì)系統(tǒng)的功能(或故障)知之甚少,從而失去了有意義的控制權(quán)。

然而,重要的是,這并不免除公共行政官的責(zé)任——恰恰相反。為行政決定提供理由的責(zé)任是官僚合法性的一個(gè)標(biāo)志,是管理者不能外包或違背的。采用人工智能工具在公共部門責(zé)任落在地方公共部門的雇員參與決策過(guò)程:采納者(管理者)應(yīng)負(fù)責(zé)要求和購(gòu)買符合其作用的公共性的工具,并使公共行政人員能夠繼續(xù)履行其對(duì)公民的責(zé)任。這種責(zé)任延伸到確保這些系統(tǒng)進(jìn)行適當(dāng)和獨(dú)立的審查,它們的運(yùn)作得到不斷的監(jiān)測(cè),公共部門工作人員得到充分的培訓(xùn),以了解他們所依賴的工具。相應(yīng)地,在混合系統(tǒng)中,政府內(nèi)部的個(gè)人決策者對(duì)決策結(jié)果負(fù)責(zé)。他們?nèi)匀挥胸?zé)任理解模型功能的廣泛參數(shù)和潛在的失?。ㄈ绻麄?cè)谛姓Q策中依賴或遵從它的輸出)并意識(shí)到這類系統(tǒng)的潛在影響。

結(jié)論:人工智能——責(zé)任智能?


總而言之,我們已經(jīng)看到,算法使用帶來(lái)的挑戰(zhàn)會(huì)帶來(lái)打擊問(wèn)責(zé)制過(guò)程核心的缺陷:復(fù)雜的信息問(wèn)題、缺乏對(duì)算法功能的充分解釋或辯護(hù),以及隨后診斷故障和確保糾正的困難。問(wèn)責(zé)制的核心是關(guān)于可回答性——然而,當(dāng)前人工智能算法的使用對(duì)我們質(zhì)疑(和挑戰(zhàn))算法結(jié)果的集體能力構(gòu)成了嚴(yán)重挑戰(zhàn)。

上述討論表明,在算法的情況下,就像在傳統(tǒng)的設(shè)置中一樣,透明度是問(wèn)責(zé)制的一個(gè)非常必要非充分的條件。就其本身而言,模型設(shè)計(jì)的透明度在復(fù)雜人工智能模型的情況下——其特征往往是不透明的,并逃避可解釋性——將無(wú)法提供對(duì)算法決策的充分理解。模型的透明性還需要“系統(tǒng)架構(gòu)師”共同努力,以更廣泛地解釋其模型,計(jì)算機(jī)科學(xué)界必須首先開(kāi)發(fā)可理解和可解釋的模型;需要公共部門的購(gòu)買者和監(jiān)管者來(lái)要求業(yè)界必須系統(tǒng)地采用這種做法。它還需要系統(tǒng)設(shè)計(jì)者和領(lǐng)域?qū)<抑g關(guān)鍵的和持續(xù)的合作,從系統(tǒng)設(shè)計(jì)的早期階段到真實(shí)世界的實(shí)現(xiàn)(生產(chǎn))和系統(tǒng)功能的監(jiān)控。

公共管理學(xué)者也同樣扮演著重要的角色。人工智能的透明度、偏見(jiàn)、公平和問(wèn)責(zé)制不是純粹的技術(shù)問(wèn)題(機(jī)器學(xué)習(xí)),而是需要我們的學(xué)科和更廣泛的公共管理視角的認(rèn)真參與(見(jiàn)Shark和Shropshire,2019)。政府內(nèi)部采用人工智能工具所帶來(lái)的問(wèn)責(zé)制挑戰(zhàn),與官僚合法性這一更廣泛的問(wèn)題密不可分。人工智能工具將深刻影響行政決策和官僚裁量權(quán),使這些發(fā)展及其對(duì)公共行政的影響成為基礎(chǔ)。不同的人工智能工具的適用性因不同的政策領(lǐng)域和任務(wù)而異,需要充分理解和預(yù)期所涉及的權(quán)衡,以便指導(dǎo)人工智能在政府中的適當(dāng)擴(kuò)散)。

因此,監(jiān)管努力至關(guān)重要,以確保人工智能工具以深思熟慮和有效的方式發(fā)揮作用。廣泛采用各種監(jiān)管工具,其中大部分目前還缺乏。盡管在技術(shù)創(chuàng)新方面,監(jiān)管不一定是一個(gè)熱門話題,但重要的是要記住什么是關(guān)鍵所在。當(dāng)黑盒算法系統(tǒng)被公共部門同化時(shí),它們就會(huì)滲透到我們機(jī)構(gòu)的結(jié)構(gòu)中。它們滲透到我們的司法體系、教育和執(zhí)法中,始終難以捉摸,難以挑戰(zhàn)。這就是問(wèn)題所在。


如果您喜歡此文,請(qǐng)轉(zhuǎn)發(fā)和分享給朋友們。謝謝!

附參考文獻(xiàn)附參考文獻(xiàn)附參考文獻(xiàn)


參考文獻(xiàn):

Bonnefon, Jean-Francois, Azim Shariff, and Iyad Rahwan. 2016. The Social Dilemma of Autonomous Vehicles. Science 352(6293): 1573–6.

Bullock, Justin B. 2019. Artificial Intelligence, Discretion, and Bureaucracy. The American Review of Public Administration 49(7): 751–61.

Busch, Peter A., and Helle Z. Henriksen. 2018. Digital Discretion: A Systematic Literature Review of ICT and Street-Level Discretion. Information Polity 23(1): 3–28.

Calo, Ryan, and Danielle K. Citron. 2020. The Automated Administrative State: A Crisis of Legitimacy. Emory Law Journal, forthcoming. https:///abstract=3553590.

Dressel, Julia, and Hani Farid. 2018. The accuracy, fairness, and limits of predicting recidivism. Science Advances 4(1). https:///10.1126/sciadv.aao5580

O’Neil, Cathy. 2016. Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. London: Penguin.

Shark, Alan R., and Anders Shropshire. 2019. Artificial Intelligence and the Teaching of Public Policy and Administration. In Artificial Intelligence and Its Impact on Public Administration, edited by Alan R. Shark, 25–32. National Academy of Public Administration.

Young, Matthew M., Justin B. Bullock, and Jesse D. Lecy. 2019. Artificial Discretion as a Tool of Governance: A Framework for Understanding the Impact of Artificial Intelligence on Public Administration. Perspectives on Public Management and Governance 2(4): 301–13.

    本站是提供個(gè)人知識(shí)管理的網(wǎng)絡(luò)存儲(chǔ)空間,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點(diǎn)。請(qǐng)注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購(gòu)買等信息,謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請(qǐng)點(diǎn)擊一鍵舉報(bào)。
    轉(zhuǎn)藏 分享 獻(xiàn)花(0

    0條評(píng)論

    發(fā)表

    請(qǐng)遵守用戶 評(píng)論公約

    類似文章 更多