|
類別:網(wǎng)絡(luò)治理 導(dǎo)言 人工智能(AI)算法以微妙而又根本的方式支配著我們的生活方式,并正在改變我們的社會(huì)。利用大數(shù)據(jù)潛在的高效、低成本或“中立”的解決方案,已促使公共機(jī)構(gòu)在提供公共服務(wù)時(shí)采用算法系統(tǒng)。在最新一項(xiàng)研究中,通過(guò)對(duì)公共部門從業(yè)人員的深度訪談,荷蘭萊頓大學(xué)Madalina Busuioc教授指出,由于人工智能算法已經(jīng)滲透到我們公共存在的高風(fēng)險(xiǎn)方面,從招聘和教育決策到政府使用執(zhí)法權(quán)力(警務(wù))或限制自由的決定(保釋和判刑)。這必然會(huì)引發(fā)重要的問(wèn)責(zé)制問(wèn)題:人工智能算法系統(tǒng)帶來(lái)了哪些問(wèn)責(zé)制挑戰(zhàn),以及我們?nèi)绾卧谒惴Q策中保護(hù)問(wèn)責(zé)制?本文為公共部門從業(yè)人員提供了與公共部門決策中使用人工智能系統(tǒng)相關(guān)的明顯問(wèn)責(zé)挑戰(zhàn)的見(jiàn)解。從明確的公共行政角度出發(fā),并考慮到目前在這一領(lǐng)域已明顯出現(xiàn)的挑戰(zhàn),批判性地反思并以概念指導(dǎo)的方式描繪出這些系統(tǒng)對(duì)公共問(wèn)責(zé)制的影響和它們?cè)斐傻南拗疲峁┝舜_保算法問(wèn)責(zé)制的具體政策建議。這將對(duì)管理員維護(hù)監(jiān)督系統(tǒng)功能的能力,以及他們?yōu)樗惴Q策向公民履行賬戶賦予職責(zé)的能力變得至關(guān)重要。論文發(fā)表在PAR上面。 (文獻(xiàn)來(lái)源:Busuioc, M. (2021), Accountable Artificial Intelligence: Holding Algorithms to Account. Public Administration Review. online first, 1-12. DOI: https:///10.1111/puar.13293)。 研究主題 在私人部門和公共部門使用算法系統(tǒng)中遇到越來(lái)越多偏見(jiàn)的例子,例如,將“醫(yī)生”與“父親”、“護(hù)士”與“母親”聯(lián)系在一起;人們一直發(fā)現(xiàn),面部識(shí)別算法在少數(shù)族裔中顯示的錯(cuò)誤率要高得多(Buolamwini和Gebru,2018;Lohr,2018;Snow,2018;Medium,2019),這可能導(dǎo)致在警務(wù)使用中造成錯(cuò)誤逮捕和對(duì)已經(jīng)處于邊緣地位群體的歧視(Garvie和Frankle,2016);用于大學(xué)招生、預(yù)測(cè)考試成績(jī)的算法最近顯示出嚴(yán)重失敗,對(duì)來(lái)自弱勢(shì)背景的優(yōu)秀學(xué)生有不同的負(fù)面影響(Broussard,2020;Katwala,2020)。這正是本文要解決的主題。 同時(shí),人工智能(AI)的算法系統(tǒng)無(wú)疑是建立在巨大的技術(shù)創(chuàng)新基礎(chǔ)上的,人工智能被認(rèn)為可以“加速發(fā)現(xiàn)過(guò)程”(Appenzeller,2017),上述例子強(qiáng)調(diào)了監(jiān)督人工智能算法決策的重要性。隨著算法系統(tǒng)在公共部門變得越來(lái)越普遍,它們引起了人們對(duì)有意義的監(jiān)督和問(wèn)責(zé)制的重要關(guān)注(Bullock,2019;Diakopoulos,2014;European Parliament Study,2019;Pasquale,2015;Yeung,2018;Yeung和 Lodge,2019;Young,Bullock和Lecy,2019),并需要首先識(shí)別和診斷與這些系統(tǒng)相關(guān)的問(wèn)責(zé)制缺陷可能存在的地方。 本文采用公共管理視角的主題,但利用更廣泛的多學(xué)科的文獻(xiàn),包括計(jì)算機(jī)科學(xué)相關(guān)文獻(xiàn)。討論對(duì)問(wèn)責(zé)制至關(guān)重要的核心方面(具體來(lái)說(shuō),人工智能算法的解釋和可解釋性),以便在確保問(wèn)責(zé)制的技術(shù)現(xiàn)實(shí)和挑戰(zhàn)方面充分地為我們的討論奠定基礎(chǔ)。 算法的興起和制衡的需要 雖然媒體報(bào)道的世界末日?qǐng)鼍安](méi)有在現(xiàn)實(shí)中出現(xiàn),但人工智能已經(jīng)出現(xiàn)了。人工智能算法以更微妙但更根本的方式支配著我們的生活方式,并正在改變我們的社會(huì)。數(shù)據(jù)、計(jì)算和機(jī)器模式識(shí)別(依賴于一系列被稱為“深度學(xué)習(xí)”或“神經(jīng)網(wǎng)絡(luò)”的方法)帶來(lái)的巨大技術(shù)進(jìn)步,使得人工智能算法在構(gòu)建技術(shù)和人類交互方面無(wú)處不在。 這項(xiàng)技術(shù)存在于一系列普通的應(yīng)用中:從我們手機(jī)上的文本預(yù)測(cè)器,或語(yǔ)音轉(zhuǎn)語(yǔ)音的翻譯,再到在Netflix上向我們推薦電影的算法。但它并不局限于這些常見(jiàn)的、“低風(fēng)險(xiǎn)”的應(yīng)用。算法也控制著我們的互聯(lián)網(wǎng)搜索引擎的運(yùn)作——它們檢索和排序搜索信息,并最終決定用戶和社交媒體可以獲得哪些信息。高頻交易算法運(yùn)行著我們的電子市場(chǎng);算法為自動(dòng)個(gè)人信貸決策和關(guān)鍵健康決策提供信息,并管理半自動(dòng)駕駛(Pasquale,2015)。他們還將對(duì)道德的生死決定進(jìn)行編碼,例如,在發(fā)生事故的情況下,自動(dòng)駕駛汽車是否應(yīng)該優(yōu)先保護(hù)司機(jī)/乘客或行人(Bonnefon,Shariff和Rahwan,2016)。 重要的是,這樣的算法不僅日益成為推動(dòng)這一領(lǐng)域創(chuàng)新的私人參與者的權(quán)限,也越來(lái)越受到政府和公共(監(jiān)管)機(jī)構(gòu)的依賴(AI Now Institute NYU,2018;Citron,2008;Eubanks,2018;European Parliament Study,2019;O’Neil 2016;Richardson,Schultz和Crawford,2019; Shark,2019;UK Government Office for Science,2016; Yeung,2018; Yeung和Lodge,2019)。利用大數(shù)據(jù)潛在的高效、低成本或“中立”的解決方案,已促使公共機(jī)構(gòu)在提供公共服務(wù)時(shí)采用算法系統(tǒng)(Eubanks,2018;Ferguson,2017;O’Neil,2016),這對(duì)公共管理具有根本意義:數(shù)字技術(shù)在公共部門的影響已經(jīng)被公認(rèn)為變革,AI將大大加速和深化這些過(guò)程,從根本上影響公共服務(wù)的結(jié)構(gòu)、公共服務(wù)價(jià)值觀、行使行政裁量權(quán)和專業(yè)判斷(Bullock,2019;Busch和Henriksen,2018),從而影響公共官僚機(jī)構(gòu)的本質(zhì)。 與此相關(guān),人工智能算法也被發(fā)現(xiàn)陷入了難以發(fā)現(xiàn)、突破和/或自我糾正的負(fù)反饋循環(huán)。例如,如果一個(gè)算法錯(cuò)誤地預(yù)測(cè)了一個(gè)特定的地區(qū)為“高犯罪率”,由此增加的警力將導(dǎo)致該地區(qū)逮捕更多的人,這將成為算法的新的訓(xùn)練數(shù)據(jù),重新確認(rèn)和加強(qiáng)其先前的預(yù)測(cè)。如果最初的預(yù)測(cè)有偏差,例如,由于人類對(duì)訓(xùn)練數(shù)據(jù)的偏見(jiàn)(例如,一個(gè)歷史上過(guò)度監(jiān)管的社區(qū)),這就變得尤其有問(wèn)題:算法的預(yù)測(cè)變成了“自我實(shí)現(xiàn)的預(yù)言”。與此同時(shí),由于此類系統(tǒng)的黑箱操作以及固有的復(fù)雜性,算法偏差和故障已經(jīng)被證明是很難診斷和挑戰(zhàn)的。 這有可能使“治愈方法”比“疾病”更糟糕:歷史歧視和人類偏見(jiàn)通過(guò)自動(dòng)化傳播,同時(shí)變得更加難以發(fā)現(xiàn)和挑戰(zhàn),同樣的偏見(jiàn)現(xiàn)在被重新包裝在算法黑盒中,表面上是中立和數(shù)學(xué)客觀性的。因此,要求提高人工智能算法透明度和公共監(jiān)管機(jī)制的呼聲急劇上升——例如,人臉識(shí)別(由領(lǐng)先的計(jì)算機(jī)科學(xué)家),甚至呼吁暫停該技術(shù)的使用(如2019年英國(guó)下議院科學(xué)和技術(shù)委員會(huì),Medium 2019),以及最近在業(yè)界主導(dǎo)下,暫停了其在監(jiān)管(Amazon,Mircrosoft)和市場(chǎng)退出(IBM)方面的使用。 與此同時(shí),重要的是要承認(rèn),人工智能算法將會(huì)有而且正在有非常真實(shí)和突破性的社會(huì)和個(gè)人層面的影響。正是“算法權(quán)力”的崛起(Diakopoulos,2014),即“權(quán)力越來(lái)越多地通過(guò)算法來(lái)表達(dá)”的事實(shí)(Pasquale 2015, 8),帶來(lái)了對(duì)這種權(quán)力進(jìn)行監(jiān)督的相應(yīng)需求。隨著人工智能算法滲透到我們存在的關(guān)鍵公共方面,這必然會(huì)引發(fā)重要的問(wèn)責(zé)制問(wèn)題:人工智能算法系統(tǒng)帶來(lái)了哪些問(wèn)責(zé)制挑戰(zhàn),在它們的運(yùn)行中出現(xiàn)了哪些具體的缺陷,以及我們?nèi)绾卧诠膊块T的算法決策中保護(hù)問(wèn)責(zé)制? 問(wèn)責(zé)制:一個(gè)概念框架 問(wèn)責(zé)制是指對(duì)別人負(fù)責(zé),有義務(wù)解釋和為自己的行為和不作為辯解(Olsen 2014, 107)。權(quán)力的行使(交出權(quán)力的能力)要求問(wèn)責(zé)制。然而,即使在更傳統(tǒng)的情況下,問(wèn)責(zé)制可能帶來(lái)的后果也并非總是直接的。正因?yàn)槿绱?,近年?lái),越來(lái)越多的公共行政學(xué)者致力于對(duì)公眾問(wèn)責(zé)進(jìn)行“狹義”或“最小限度”的界定,以促進(jìn)其在實(shí)踐中的研究(Bovens,2007;Bovens, Schillemans和 Goodin,2014)。在這種理解中,問(wèn)責(zé)制被定義為“行動(dòng)者與論壇(Forum)之間的一種關(guān)系,行動(dòng)者有義務(wù)解釋和證明自己的行為,論壇可以提出問(wèn)題和作出判斷,行動(dòng)者可能面臨后果” (Bovens 2007, 450)。雖然在腦海中有更多傳統(tǒng)的問(wèn)責(zé)背景(如政治-官僚關(guān)系),但這一概念似乎直接適用于算法決策。 本質(zhì)上,一個(gè)有意義的問(wèn)責(zé)過(guò)程由三個(gè)階段組成:信息、解釋或證明,以及(可能的)結(jié)果。這些“有效問(wèn)責(zé)的要求” (Olsen 2014, 113)是對(duì)外部權(quán)威行使的。換句話說(shuō),無(wú)論是正式的還是非正式的,行動(dòng)者——無(wú)論是官僚機(jī)構(gòu)、私人提供者還是公共部門機(jī)構(gòu)——都必須有義務(wù)向問(wèn)責(zé)論壇作出交代。問(wèn)責(zé)制是一種關(guān)系(Bovens 2007; Schillemans and Busuioc 2015),各種關(guān)系可以以這種方式加以概念化:例如,在官僚主義背景下,一個(gè)機(jī)構(gòu)向從其母部、議會(huì)、公民到法院或媒體等各種論壇提供解釋。在人工智能的背景下,這樣的論壇可以類似地包括傳統(tǒng)的機(jī)構(gòu)論壇,如法院、議會(huì)委員會(huì)、監(jiān)察員等,但也有專門建造的論壇,如人工智能倫理、標(biāo)準(zhǔn)化機(jī)構(gòu)和審計(jì)機(jī)構(gòu),監(jiān)測(cè)人工智能系統(tǒng)的設(shè)計(jì)和運(yùn)行。 人工智能、算法決策和權(quán)力:注意正在出現(xiàn)的問(wèn)責(zé)缺口 算法本質(zhì)上是按照順序?qū)崿F(xiàn)的任何規(guī)則集(無(wú)論是計(jì)算規(guī)則還是其他規(guī)則),以達(dá)到特定的結(jié)果。與我們研究的核心算法不同的是,這些算法自己學(xué)習(xí)支配自己行為的規(guī)則。他們發(fā)現(xiàn)數(shù)據(jù)中隱藏的模式,將特定的數(shù)據(jù)輸入與輸出配對(duì),通過(guò)釋放大量的訓(xùn)練數(shù)據(jù)(所謂的訓(xùn)練集),有效地學(xué)習(xí)輸入-輸出關(guān)系或“映射”。他們使用這些訓(xùn)練數(shù)據(jù)來(lái)確定和修改模型——各種影響結(jié)果的“特征”和它們對(duì)應(yīng)的權(quán)重(系數(shù)),然后他們使用學(xué)習(xí)到的輸入-輸出映射,對(duì)尚未看到的數(shù)據(jù)做出預(yù)測(cè)。是什么使他們?nèi)绱似毡楹褪軞g迎的是,一系列的問(wèn)題都可以在這些投入產(chǎn)出框架條款:圖像識(shí)別及其各種應(yīng)用(如視頻監(jiān)控、DNA測(cè)序,或腫瘤映射)風(fēng)險(xiǎn)評(píng)估模型(信用卡或犯罪)或推薦系統(tǒng)(新聞、購(gòu)物和社交媒體)。 這種算法在公共和私人決策中越來(lái)越受到依賴。算法決策是指使用算法作為人類分析的輔助或替代,來(lái)制定或提供(并提高)決策或行動(dòng)的質(zhì)量。原則上,算法決策可以是完全自動(dòng)化的,也可以是混合的,也就是說(shuō),需要一個(gè)人工決策者或在循環(huán)中的審查員(Citron,2008)。雖然這兩種類型都可能出現(xiàn)在公共部門(Citron,2008),但公共部門最常見(jiàn)的算法往往是為人類決策提供信息,而不是在沒(méi)有人類干預(yù)的情況下做出最終的全自動(dòng)決策(參見(jiàn)Edwards和Veale2017, 45)。事實(shí)上,在一些司法管轄區(qū),如歐盟,有權(quán)利(盡管有例外)不受完全基于自動(dòng)決策的約束(即歐盟一般數(shù)據(jù)保護(hù)條例,GDPR)。 正是出于這個(gè)原因——經(jīng)驗(yàn)相關(guān)性——調(diào)查明確地聚焦于混合決策,其中AI算法為公共部門的人類決策提供信息。這是目前公共部門使用人工智能算法的相關(guān)緊迫背景,特別是從問(wèn)責(zé)制的角度來(lái)看,考慮到其在非常規(guī)高風(fēng)險(xiǎn)場(chǎng)景中的依賴性。因此,當(dāng)我們?cè)趩?wèn)責(zé)的意義上談?wù)撔袆?dòng)者時(shí),我們?nèi)匀辉谶@個(gè)語(yǔ)境中,像在傳統(tǒng)語(yǔ)境中一樣談?wù)撊祟愋袆?dòng)者。由于算法尚未實(shí)現(xiàn)感知或意識(shí)——盡管媒體大肆炒作,但在所謂的“人工一般智能”(AGI)或“人類水平的人工智能”(Ng,2018)方面幾乎沒(méi)有明顯進(jìn)展——公共部門算法的使用和操作的責(zé)任必然在于人類行為者:人工智能系統(tǒng)供應(yīng)商、公共部門采用者以及用戶,了解他們創(chuàng)建并分別購(gòu)買和部署的算法系統(tǒng)的操作及含義。 當(dāng)我們談到混合算法決策時(shí),需要注意的是,我們必須談到兩個(gè)層次:人工智能算法輸出、推薦或決定(實(shí)現(xiàn)這些的算法過(guò)程)以及隨后算法輸出和人類決策者之間的互動(dòng)。因此,混合系統(tǒng)的算法問(wèn)責(zé)制涉及并需要審查兩個(gè)相互關(guān)聯(lián)的階段:最初的算法結(jié)果和如何得出這些結(jié)果。例如,AI模型設(shè)計(jì)、設(shè)置和操作的透明度和合理性,這必然決定了算法結(jié)果。以及這些算法建議在人類決策和/或行動(dòng)中所扮演的角色。 后一個(gè)方面對(duì)有意義的監(jiān)督也特別重要,不應(yīng)低估。正如我們將在下面的文章中看到的,在兩者的結(jié)合處,有可能出現(xiàn)意想不到的新偏差來(lái)源。換句話說(shuō),要使基于算法輸入和評(píng)估的決策和行動(dòng)對(duì)有意義的詢問(wèn)、解釋和論證開(kāi)放(例如,根據(jù)算法生成的“熱點(diǎn)地圖”,決定將警察資源部署到特定區(qū)域),就需要對(duì)算法過(guò)程和人-算法交互進(jìn)行拆解。 信息:不對(duì)稱組成的 深度學(xué)習(xí)工具固有的不透明性。從信息的角度來(lái)看,一個(gè)特別有問(wèn)題的特性是許多系統(tǒng)固有的不透明性。給定特定的輸入,我們知道最終的算法輸出,即做出的“分類”(例如,“高風(fēng)險(xiǎn)”或“低風(fēng)險(xiǎn)”),達(dá)成的決策(例如,“拒絕信用”),或預(yù)測(cè)的具體結(jié)果(例如,風(fēng)險(xiǎn)評(píng)估評(píng)分)。然而,算法是如何得出特定的預(yù)測(cè)結(jié)果的(它認(rèn)為輸入數(shù)據(jù)的哪些部分對(duì)預(yù)測(cè)結(jié)果很重要)通常是不透明的。當(dāng)然,并非所有人工智能算法模型都需要不透明。雖然“黑匣子”算法帶來(lái)了復(fù)雜的不透明性和可解釋性挑戰(zhàn),更簡(jiǎn)單的可解釋ML算法卻沒(méi)有,但通常也被認(rèn)為功能不那么強(qiáng)大(Rudin,2019)。不透明性是“深度學(xué)習(xí)”算法的一個(gè)關(guān)鍵子集,也是“人工智能革命的主要驅(qū)動(dòng)力”(Ford 2018, 10)。神經(jīng)網(wǎng)絡(luò)由多個(gè)隱藏的(或中介)人工神經(jīng)元層組成,這些神經(jīng)元將輸入和輸出聯(lián)系起來(lái),通常被稱為“黑盒”,即“向用戶隱藏其內(nèi)部邏輯的系統(tǒng)”(Guidotti等,2019)。這種系統(tǒng)的不透明性也是由于這樣一個(gè)事實(shí),即當(dāng)模型的相關(guān)“特征”(有助于預(yù)測(cè)的參數(shù))由系統(tǒng)自身通過(guò)篩選大量數(shù)據(jù)來(lái)識(shí)別時(shí),它們可以逃避人類的解釋——也逃避設(shè)計(jì)者的解釋。其有效性的關(guān)鍵正是其不透明性的根源:機(jī)器分析的特征可能無(wú)法被人類意識(shí)識(shí)別為有效或可識(shí)別的特征。 保密和專有算法。讓事情變得更加困難的是,由于算法往往是專有的,包括在公共部門使用時(shí),信息的可用性可能會(huì)受到進(jìn)一步的限制。商業(yè)算法是由私人盈利性公司開(kāi)發(fā)和銷售的,其工作原理通常不會(huì)被公開(kāi)披露(Carlson,2017;Citron,2008)。Pasquale(2011, 237)在這種背景下追溯了從“合法性——通過(guò)透明——到保證——通過(guò)保密”的轉(zhuǎn)變,并“對(duì)信息時(shí)代社會(huì)秩序的基礎(chǔ)產(chǎn)生了深刻的困擾”。并重申:“目前的法律阻礙了對(duì)自動(dòng)權(quán)力機(jī)構(gòu)的問(wèn)責(zé)”。因此,即使算法的功能和操作是可以理解的(比如使用決策樹(shù)等簡(jiǎn)單的人工智能算法),但由于專利原因,這些功能和操作仍然是保密的:“商業(yè)機(jī)密是理解算法等自動(dòng)授權(quán)的核心障礙”(Diakopoulos 2014, 12)。在美國(guó)《信息自由法》(FOIA)(Diakopoulos,2014)和歐盟GDPR(Wachter, Mittelstadt和Floridi,2017)中,商業(yè)秘密豁免限制了獲取信息的權(quán)利。例如,《信息自由法》商業(yè)秘密豁免“允許聯(lián)邦政府拒絕對(duì)其系統(tǒng)中集成的任何第三方軟件的透明度要求”(Diakopoulos 2014, 12),和商業(yè)秘密的保護(hù)算法提出的制造商為了逃避披露義務(wù)(Carlson,2017)或拒絕參加獨(dú)立測(cè)試算法的性能。公共機(jī)構(gòu)實(shí)際上正在犧牲其對(duì)算法操作和功能進(jìn)行有意義的監(jiān)督的能力,以及其履行自己的透明性和合理性義務(wù)的能力。 算法的復(fù)雜性。此外,除了系統(tǒng)特征不透明和/或公開(kāi)披露問(wèn)題之外,ML模型的復(fù)雜性還帶來(lái)了重大的信息挑戰(zhàn)。鑒于其體系結(jié)構(gòu)的復(fù)雜性和規(guī)模的參數(shù)空間,如前所述,它可以成為幾乎不可能對(duì)人類決策者掌握交互的復(fù)雜特性,即使在最好的情況下(不可能實(shí)現(xiàn))場(chǎng)景模型特性做人類理解和系統(tǒng)的源代碼是公開(kāi)的。換句話說(shuō),當(dāng)“成百上千個(gè)特征對(duì)一個(gè)預(yù)測(cè)有重大貢獻(xiàn)時(shí),期望任何用戶理解為什么會(huì)做出預(yù)測(cè)是不合理的,即使可以檢查單個(gè)權(quán)重”(Ribeiro, Singh和Guestrin2016, 1137)。由于人類信息處理的局限性,使得任何監(jiān)管系統(tǒng)都存在的傳統(tǒng)信息不對(duì)稱問(wèn)題更加嚴(yán)重。 具有永久記憶的互動(dòng)空間爭(zhēng)論和辯護(hù):“審問(wèn)”算法決策的困難 源于算法固有的不透明性,復(fù)雜性或?qū)S行?,這些信息缺陷對(duì)下一階段的問(wèn)責(zé)制具有直接影響:解釋或辯護(hù)。解釋導(dǎo)致特定決策結(jié)果的基本原理的能力是審問(wèn)和挑戰(zhàn)此類結(jié)果的關(guān)鍵。正是這一階段將問(wèn)責(zé)制與透明性或僅提供上述信息區(qū)分開(kāi)來(lái):能夠篩選,推動(dòng)和窺探行動(dòng)和決策背后的邏輯。可解釋的和可辯解的算法?然而,由于人工智能算法的內(nèi)在操作,解釋正是尤其難以實(shí)現(xiàn)的。對(duì)于深度學(xué)習(xí)算法來(lái)說(shuō)尤其如此。毫無(wú)疑問(wèn),這些技術(shù)挑戰(zhàn)的另一個(gè)原因是,傳統(tǒng)上,算法性能的主要評(píng)估標(biāo)準(zhǔn)是基于設(shè)計(jì)人員確定的指標(biāo),如“預(yù)測(cè)精度”,而不是模型的可解釋性。然而,計(jì)算機(jī)科學(xué)學(xué)者們?cè)絹?lái)越意識(shí)到對(duì)可解釋性的需要:“如果一個(gè)人計(jì)劃根據(jù)預(yù)測(cè)采取行動(dòng),或者選擇是否部署新模型,那么理解預(yù)測(cè)背后的原因(……)是至關(guān)重要的。(Ribeiro, Singh和 Guestrin 2016, 1135)”開(kāi)發(fā)人員越來(lái)越意識(shí)到,這種系統(tǒng)的持續(xù)依賴和擴(kuò)散將歸結(jié)為用戶對(duì)其輸出的信任,而算法的可理解性是其中的一個(gè)重要組成部分。隨著深度學(xué)習(xí)黑箱模型繼續(xù)成為最成功的算法方法,計(jì)算機(jī)科學(xué)學(xué)者一直致力于使這些模型更容易理解。正在進(jìn)行的潛在方法包括特征可視化技術(shù)——旨在可視化神經(jīng)元相互作用的隱藏層的工作,從而使內(nèi)部過(guò)程更加明確(例如Zeiler 和Fergus,2014或谷歌和OpenAI的激活地圖集)——到將“黑匣子”算法與“解釋器算法”相結(jié)合(Ribeiro,Singh和Guestrin,2016;美國(guó)國(guó)防部高級(jí)研究計(jì)劃局的XAI計(jì)劃),即本質(zhì)上使用算法來(lái)解釋算法。例如,“解釋算法”可以通過(guò)生成一個(gè)更簡(jiǎn)單的算法(比如決策樹(shù))來(lái)解釋黑盒,從而解壓縮黑盒?!敖忉屨摺彼惴ㄓ行У貙⒑谙蛔拥奶卣髦匦孪癁槿祟愵^腦可以理解的特征。然而,解釋模型也有重要的缺點(diǎn)。這種類型的技術(shù)可能要求“解釋中的‘輸入變量’與實(shí)際黑盒模型的特征不同”,以便使它們易于理解(Ribeiro, Singh和Guestrin 2016, 1137)。事后解釋可以依靠不同的關(guān)鍵變量來(lái)模擬黑盒決策邏輯——換句話說(shuō),完全不同的模型。因此,解釋模型本質(zhì)上并不是原始模型的完全忠實(shí)表示,而是原始模型的“近似”,這必然同時(shí)降低了它們的解釋潛力(Rudin,2019)。更重要的是,對(duì)于解釋需要什么,目前還沒(méi)有一個(gè)共同的標(biāo)準(zhǔn),“盡管這具有根本的重要性,但沒(méi)有一項(xiàng)工作認(rèn)真地解決量化人類解釋的可理解性等級(jí)的問(wèn)題?!保℅uidotti等2019, 36) 從隱性到顯性的價(jià)值權(quán)衡。模型的解釋或論證也必然延伸到模型功能中經(jīng)常被遺忘的方面:模型設(shè)計(jì)中固有的價(jià)值權(quán)衡。雖然人工智能算法通常被視為“中立設(shè)備”,但算法系統(tǒng)必須編碼重要的價(jià)值權(quán)衡(例如回憶和準(zhǔn)確性,精確與公平),甚至是相同價(jià)值的不同概念之間的權(quán)衡(例如,不同的公平概念)。決定如何在這些因素之間取得平衡,必然是一種政治行為,而非純粹的技術(shù)行為:根據(jù)優(yōu)先考慮的價(jià)值或概念,算法將達(dá)到不同的結(jié)果,并將成本和利益強(qiáng)加給不同的個(gè)人或社會(huì)團(tuán)體(另見(jiàn)Bovens和Zouridis,2002;Young,Bullock和Lecy,2019)。因此,算法輸出在很大程度上是其中所設(shè)計(jì)的價(jià)值選擇的產(chǎn)物。外部審查此類決策的先決條件是首先了解此類價(jià)值選擇。 算法輸出:對(duì)人類決策的行為影響是什么?重要的是,解釋算法決策的挑戰(zhàn)不僅涉及到算法模型的建立和操作,還涉及到算法輸入和人類決策之間的接口。如上所述,算法結(jié)果經(jīng)常作為人類決策的輸入。這意味著,如果我們想要理解和解釋基于算法的決策,我們不僅需要了解人工智能算法的操作,還需要了解算法結(jié)果對(duì)(約束)人類決策的影響。然而,令人驚訝的是,我們對(duì)它們對(duì)決策者和實(shí)際決策過(guò)程的影響知之甚少。決策制定者如何,以何種方式,受到算法輸入和建議的影響?算法結(jié)果在多大程度上限制了我們的決策自主權(quán)和/或偏見(jiàn)我們質(zhì)疑它們的能力?當(dāng)法官使用算法風(fēng)險(xiǎn)分?jǐn)?shù)作為決策的輸入時(shí),這些分?jǐn)?shù)對(duì)他們的決策有什么影響? 算法決策的后果 最后,問(wèn)責(zé)過(guò)程的最后階段是通過(guò)判斷——贊成、譴責(zé)或譴責(zé)某一特定行為——在這種程度上,判斷是消極的,有意義的問(wèn)責(zé)要求施加制裁,并為那些受到負(fù)面影響的人提供補(bǔ)償。在算法決策的情況下,問(wèn)責(zé)制的這一維度也變得有問(wèn)題,因?yàn)樗倪\(yùn)作密切依賴于前兩個(gè)元素的存在:信息和辯解。由于復(fù)雜的信息困難,加上上述確定的相當(dāng)多的解釋問(wèn)題,這給診斷系統(tǒng)故障和(錯(cuò)誤)行為以進(jìn)行有效的補(bǔ)救行動(dòng)帶來(lái)了相關(guān)的挑戰(zhàn)。提供補(bǔ)救措施的第一步是診斷故障,但就算法性能而言,這并非易事。 沒(méi)有理解算法特征和操作的能力,包括受算法決策不利影響的非專業(yè)觀眾,就無(wú)法有意義地挑戰(zhàn)或挑戰(zhàn)基于其決策而獲得的補(bǔ)救措施。如果沒(méi)有這些“火災(zāi)警報(bào)”,算法系統(tǒng)將進(jìn)一步缺乏急需的糾正和學(xué)習(xí)反饋。如果沒(méi)有模型的透明度和操作的基本邏輯的解釋,領(lǐng)域?qū)<?/span>(公共部門用戶)也將無(wú)法“捕捉”錯(cuò)誤的模型,導(dǎo)致對(duì)其的過(guò)度依賴。這將嚴(yán)重限制他們作為有意義的決策調(diào)解人的能力。在這種情況下,假設(shè)一個(gè)人進(jìn)入決策循環(huán)可能會(huì)成為一個(gè)空洞的檢查,在這種情況下,人類調(diào)解員實(shí)際上對(duì)系統(tǒng)的功能(或故障)知之甚少,從而失去了有意義的控制權(quán)。 然而,重要的是,這并不免除公共行政官的責(zé)任——恰恰相反。為行政決定提供理由的責(zé)任是官僚合法性的一個(gè)標(biāo)志,是管理者不能外包或違背的。采用人工智能工具在公共部門責(zé)任落在地方公共部門的雇員參與決策過(guò)程:采納者(管理者)應(yīng)負(fù)責(zé)要求和購(gòu)買符合其作用的公共性的工具,并使公共行政人員能夠繼續(xù)履行其對(duì)公民的責(zé)任。這種責(zé)任延伸到確保這些系統(tǒng)進(jìn)行適當(dāng)和獨(dú)立的審查,它們的運(yùn)作得到不斷的監(jiān)測(cè),公共部門工作人員得到充分的培訓(xùn),以了解他們所依賴的工具。相應(yīng)地,在混合系統(tǒng)中,政府內(nèi)部的個(gè)人決策者對(duì)決策結(jié)果負(fù)責(zé)。他們?nèi)匀挥胸?zé)任理解模型功能的廣泛參數(shù)和潛在的失?。ㄈ绻麄?cè)谛姓Q策中依賴或遵從它的輸出)并意識(shí)到這類系統(tǒng)的潛在影響。 結(jié)論:人工智能——責(zé)任智能? 總而言之,我們已經(jīng)看到,算法使用帶來(lái)的挑戰(zhàn)會(huì)帶來(lái)打擊問(wèn)責(zé)制過(guò)程核心的缺陷:復(fù)雜的信息問(wèn)題、缺乏對(duì)算法功能的充分解釋或辯護(hù),以及隨后診斷故障和確保糾正的困難。問(wèn)責(zé)制的核心是關(guān)于可回答性——然而,當(dāng)前人工智能算法的使用對(duì)我們質(zhì)疑(和挑戰(zhàn))算法結(jié)果的集體能力構(gòu)成了嚴(yán)重挑戰(zhàn)。 上述討論表明,在算法的情況下,就像在傳統(tǒng)的設(shè)置中一樣,透明度是問(wèn)責(zé)制的一個(gè)非常必要非充分的條件。就其本身而言,模型設(shè)計(jì)的透明度在復(fù)雜人工智能模型的情況下——其特征往往是不透明的,并逃避可解釋性——將無(wú)法提供對(duì)算法決策的充分理解。模型的透明性還需要“系統(tǒng)架構(gòu)師”共同努力,以更廣泛地解釋其模型,計(jì)算機(jī)科學(xué)界必須首先開(kāi)發(fā)可理解和可解釋的模型;需要公共部門的購(gòu)買者和監(jiān)管者來(lái)要求業(yè)界必須系統(tǒng)地采用這種做法。它還需要系統(tǒng)設(shè)計(jì)者和領(lǐng)域?qū)<抑g關(guān)鍵的和持續(xù)的合作,從系統(tǒng)設(shè)計(jì)的早期階段到真實(shí)世界的實(shí)現(xiàn)(生產(chǎn))和系統(tǒng)功能的監(jiān)控。 公共管理學(xué)者也同樣扮演著重要的角色。人工智能的透明度、偏見(jiàn)、公平和問(wèn)責(zé)制不是純粹的技術(shù)問(wèn)題(機(jī)器學(xué)習(xí)),而是需要我們的學(xué)科和更廣泛的公共管理視角的認(rèn)真參與(見(jiàn)Shark和Shropshire,2019)。政府內(nèi)部采用人工智能工具所帶來(lái)的問(wèn)責(zé)制挑戰(zhàn),與官僚合法性這一更廣泛的問(wèn)題密不可分。人工智能工具將深刻影響行政決策和官僚裁量權(quán),使這些發(fā)展及其對(duì)公共行政的影響成為基礎(chǔ)。不同的人工智能工具的適用性因不同的政策領(lǐng)域和任務(wù)而異,需要充分理解和預(yù)期所涉及的權(quán)衡,以便指導(dǎo)人工智能在政府中的適當(dāng)擴(kuò)散)。 因此,監(jiān)管努力至關(guān)重要,以確保人工智能工具以深思熟慮和有效的方式發(fā)揮作用。廣泛采用各種監(jiān)管工具,其中大部分目前還缺乏。盡管在技術(shù)創(chuàng)新方面,監(jiān)管不一定是一個(gè)熱門話題,但重要的是要記住什么是關(guān)鍵所在。當(dāng)黑盒算法系統(tǒng)被公共部門同化時(shí),它們就會(huì)滲透到我們機(jī)構(gòu)的結(jié)構(gòu)中。它們滲透到我們的司法體系、教育和執(zhí)法中,始終難以捉摸,難以挑戰(zhàn)。這就是問(wèn)題所在。 附參考文獻(xiàn)附參考文獻(xiàn)附參考文獻(xiàn) 參考文獻(xiàn): |
|
|
來(lái)自: 治理學(xué)術(shù) > 《待分類》