控制算法官僚：困境與路徑

段哲哲

深圳大學(xué)政府管理學(xué)院

城市治理研究院助理教授

摘要：在當(dāng)今算法時(shí)代，被賦予決策權(quán)力的算法官僚越來越多地被用來推動(dòng)、引導(dǎo)、刺激、控制、操縱和約束人類行為。算法官僚本質(zhì)是對(duì)傳統(tǒng)官僚工具理性的延續(xù)，但兩者在組織結(jié)構(gòu)、服務(wù)供給、知識(shí)來源、信息管理與價(jià)值導(dǎo)向上存在差異；依照自動(dòng)化與自學(xué)習(xí)兩個(gè)維度將算法官僚簡(jiǎn)化為高自動(dòng)化機(jī)器學(xué)習(xí)型、低自動(dòng)化機(jī)器學(xué)習(xí)型、低自動(dòng)專家系統(tǒng)型、高自動(dòng)專家系統(tǒng)型等四類。算法官僚運(yùn)行會(huì)產(chǎn)生政治人物與官僚機(jī)構(gòu)、官僚和外部機(jī)構(gòu)、外部機(jī)構(gòu)管理層和數(shù)據(jù)科學(xué)家、數(shù)據(jù)科學(xué)家和算法間四重委托代理關(guān)系。為實(shí)現(xiàn)算法官僚興利與除弊的平衡，應(yīng)建立事前、事中與事后管控機(jī)制，從政治路徑與技術(shù)路徑動(dòng)態(tài)強(qiáng)化對(duì)算法官僚的控制。

一、引言

在當(dāng)今算法時(shí)代，數(shù)學(xué)和計(jì)算機(jī)科學(xué)以強(qiáng)大的方式結(jié)合在一起，影響人類行為和社會(huì)治理。政府運(yùn)作的日益數(shù)字化產(chǎn)生了大量關(guān)于個(gè)人偏好和行為的行政數(shù)據(jù)，對(duì)這些數(shù)據(jù)的分析與運(yùn)用的價(jià)值凸顯。隨著監(jiān)控技術(shù)的普及和物聯(lián)網(wǎng)的發(fā)展，“監(jiān)視資本主義”（surveillance capitalism）開始泛濫，網(wǎng)絡(luò)系統(tǒng)能夠?qū)崟r(shí)搜集越來越多的潛在有用數(shù)據(jù)。與此同時(shí)，應(yīng)用這些數(shù)據(jù)的工具性門檻降低，大量開源軟件如R、python等以低成本、高效方式處理分析大量數(shù)據(jù)。這三個(gè)總體變化挑戰(zhàn)了舊的公共行政運(yùn)作方式，當(dāng)前日常公共管理很大程度上開始依賴算法來挖掘、解析、排序和配置數(shù)據(jù)到特定系統(tǒng)中，通常這些系統(tǒng)由算法工程師設(shè)計(jì)與維護(hù)，大量信息被人類用于公司和官僚機(jī)構(gòu)的決策中。在某些情形下甚至將決策權(quán)由傳統(tǒng)街頭官僚轉(zhuǎn)移給算法系統(tǒng)，讓算法系統(tǒng)在不需要人工輸入或控制的情況下學(xué)習(xí)與適應(yīng)任何決策情況。

傳統(tǒng)上被視為計(jì)算機(jī)領(lǐng)域的算法如今已慢慢成為社會(huì)和經(jīng)濟(jì)運(yùn)行管理的核心，算法的大量應(yīng)用帶來公共部門治理困境。公共部門需平衡保護(hù)公民免受潛在算法傷害的義務(wù)與提高自身效率的誘惑，既要用算法進(jìn)行治理（算法治理），又要對(duì)算法進(jìn)行治理（治理算法）。這種“人工智能+治理”在公共治理領(lǐng)域的侵蝕被稱為算法治理/官僚（algorithmic governance/bureaucracy）。算法時(shí)代被賦予決策權(quán)力的算法官僚越來越多地被用來推動(dòng)、偏向、引導(dǎo)、刺激、控制、操縱和約束人類行為，算法對(duì)傳統(tǒng)治理的沖擊是如此顯而易見，挑戰(zhàn)是必然存在的，問題變?yōu)槿绾螒?yīng)對(duì)這種挑戰(zhàn)。學(xué)者們擔(dān)憂算法官僚像任何變革性技術(shù)一樣存在雙面性：有時(shí)是有益的，可以集體智慧、高效率、無偏地處理公共事務(wù)，可能成為技術(shù)烏托邦主義者向往的效率、客觀與理性的韋伯官僚制理想形態(tài)；有時(shí)又是負(fù)面的，其“黑箱”決策過程往往隱含數(shù)據(jù)質(zhì)量不高、決策不透明性、結(jié)果不可解釋性與隱性的社會(huì)經(jīng)濟(jì)偏見等問題，這些會(huì)對(duì)個(gè)人權(quán)利、程序正義、公平、問責(zé)等公共價(jià)值造成沖擊。

韋伯鐵籠（Weberian iron cage）是對(duì)技術(shù)理性官僚制的重要隱喻，學(xué)者們擔(dān)心過度依賴算法官僚也可能讓人類困于韋伯鐵籠的新形態(tài)——算法鐵籠。如果要實(shí)現(xiàn)算法官僚的趨利避害，那么我們必須對(duì)他們進(jìn)行控制?？刂扑惴ü倭趴蓮膫鹘y(tǒng)技術(shù)官僚理論中尋找智慧，算法官僚是被賦予做出決策權(quán)力的技術(shù)官僚，而對(duì)技術(shù)官僚多維控制機(jī)制的探索是政治學(xué)與公共行政領(lǐng)域長(zhǎng)期關(guān)注的議題，官僚控制理論均假設(shè)代理人可以擁有和控制科技知識(shí)，包括算法官僚背后的人工智能。鑒于算法的復(fù)雜性，代理人對(duì)算法官僚的理解可能是有限的，算法官僚甚至成為具有一定自主性的代理人，帶來控制算法官僚的新挑戰(zhàn)。基于此，本研究從規(guī)范意義探討控制算法官僚的三個(gè)問題：何為算法官僚？算法官僚的控制困境？如何控制算法官僚？

二、何為算法官僚？

（一）算法時(shí)代技術(shù)官僚新變種：算法官僚

《牛津英語詞典》將官僚制定義為：“一種由專業(yè)行政人員按照明確規(guī)定的程序以常規(guī)與有組織的方式進(jìn)行管理的科層制度?！表f伯官僚制是正式的技術(shù)科學(xué)理性的組織表現(xiàn)形式，是克服局部決策和提高國(guó)家內(nèi)部可預(yù)測(cè)性和可計(jì)算性的手段，成為國(guó)家治理現(xiàn)代化的標(biāo)志之一。隨著時(shí)間推移，官僚制逐漸被認(rèn)為是僵化扼殺創(chuàng)造力、缺乏人情味、回應(yīng)緩慢引發(fā)客戶不滿、延遲決策以及限制官僚能力。為解決這些問題，新公共管理運(yùn)動(dòng)興起。一方面，政府設(shè)計(jì)嚴(yán)格績(jī)效考核程序與標(biāo)準(zhǔn)，強(qiáng)化對(duì)官僚的政治控制，公共管理各個(gè)領(lǐng)域要求遵守越來越多的指標(biāo)和標(biāo)準(zhǔn)；另一方面，通過將管理主義與市場(chǎng)原則應(yīng)用于公共行政領(lǐng)域，包括外包、競(jìng)爭(zhēng)、績(jī)效考核與激勵(lì)來提升官僚機(jī)構(gòu)靈活性與回應(yīng)性。算法時(shí)代強(qiáng)化了這一趨勢(shì)，大數(shù)據(jù)倡導(dǎo)者認(rèn)為，通過自動(dòng)化和計(jì)算機(jī)化的程序，官僚控制不僅是可能的，而且比以往任何時(shí)候更易實(shí)現(xiàn)。財(cái)政緊縮與公共服務(wù)需求激增雙重壓力讓功能主義者看到了新技術(shù)的潛力，算法時(shí)代公共管理方法的特點(diǎn)是使用信息通信技術(shù)監(jiān)督甚至代替?zhèn)鹘y(tǒng)官僚的決策，以實(shí)現(xiàn)公共服務(wù)供給的公開、公平、效率等多元公共價(jià)值。算法由一步一步的過程或規(guī)則組成，利用某種類型的數(shù)據(jù)提供某種定量輸出的計(jì)算過程。

算法官僚是一種新組合的社會(huì)技術(shù)系統(tǒng)，在這種系統(tǒng)環(huán)境中，基于人工智能的算法系統(tǒng)與公共行政人員、組織制度條件以及其他技術(shù)產(chǎn)物直接互動(dòng)，表現(xiàn)出類似人類智能感知、理解、行動(dòng)和學(xué)習(xí)等核心能力，自動(dòng)化行政過程或輔助傳統(tǒng)官僚，理解復(fù)雜的服務(wù)環(huán)境，處理政務(wù)數(shù)據(jù)，進(jìn)行行政決策，提供公共服務(wù)等。算法官僚有多種別稱，如算法行政、屏幕官僚、系統(tǒng)官僚、信息官僚、電子官僚、數(shù)字官僚、街頭算法、計(jì)算代理人等，該概念著眼于信息技術(shù)（主要為人工智能）對(duì)公共管理的影響。當(dāng)前，官僚機(jī)構(gòu)在不同領(lǐng)域使用算法來系統(tǒng)化、標(biāo)準(zhǔn)化行政運(yùn)作流程，精簡(jiǎn)官僚機(jī)構(gòu)規(guī)模，并作出決策。

算法官僚本質(zhì)上是對(duì)傳統(tǒng)官僚工具理性的延續(xù)。傳統(tǒng)官僚制設(shè)計(jì)體現(xiàn)了工具理性，決策是根據(jù)連貫的規(guī)則作出的，包括程序規(guī)則、明確的期望、具體的時(shí)間框架、成功的目標(biāo)以及衡量標(biāo)準(zhǔn)。它假設(shè)知識(shí)或理性通過科學(xué)和技術(shù)運(yùn)作起來，能夠通過合理化的政治行為從事公共活動(dòng)，最終將改善每個(gè)人的條件。算法官僚延續(xù)了傳統(tǒng)官僚的工具理性邏輯，是國(guó)家對(duì)日益復(fù)雜的社會(huì)施加控制和實(shí)現(xiàn)理性的一種機(jī)制，且在專業(yè)知識(shí)與紀(jì)律方面比傳統(tǒng)官僚做得更好。兩者在工具價(jià)值上的追求一致，但兩者運(yùn)作存在顯著差異。傳統(tǒng)官僚是通過技術(shù)官僚和嚴(yán)格的規(guī)則來限制其專業(yè)人員任何偏袒行為，算法官僚則采用“代碼”完成公共價(jià)值排序，實(shí)現(xiàn)中立客觀的理性目標(biāo)。根據(jù)Vogl與P??kk?nen等人的研究，本研究總結(jié)了兩者五個(gè)方面的差異（參見表1）。

需要強(qiáng)調(diào)的是，當(dāng)前算法官僚的應(yīng)用處于兩端中間位置：一端為政府應(yīng)用電子政務(wù)工具，另一端為區(qū)別于傳統(tǒng)官僚制的新的組織形式。長(zhǎng)期而言，算法官僚可能成為新的組織形式，改造傳統(tǒng)的官僚制自上而下的運(yùn)作模式，替代傳統(tǒng)官僚制。但在當(dāng)前現(xiàn)實(shí)的應(yīng)用場(chǎng)景中，算法官僚更多被視為一種決策支持系統(tǒng)或工具，作為外界事物嵌入到?jīng)Q策組織中，為人類決策提供信息，這是算法官僚發(fā)展的階段性特征；未來隨著技術(shù)進(jìn)步，算法官僚可能完全替代部分核心崗位人類官僚的角色與職位，那些無人干預(yù)、自主性強(qiáng)、自動(dòng)化程度高的算法官僚將對(duì)官僚制運(yùn)行形成巨大挑戰(zhàn)。

（二）算法官僚的類型：自動(dòng)化與自學(xué)習(xí)

借鑒已有研究，以自動(dòng)化與自學(xué)習(xí)維度將當(dāng)前公共行政領(lǐng)域應(yīng)用的算法官僚進(jìn)行分類。自動(dòng)化指行政程序中識(shí)別與輸入、分析與決定、輸出與實(shí)現(xiàn)三個(gè)環(huán)節(jié)中特定或全部環(huán)節(jié)由人工智能或者自動(dòng)化系統(tǒng)代為處理，無需人類介入，從而實(shí)現(xiàn)部分或全部無人化的行政活動(dòng)。自動(dòng)化行政有悠久歷史，算法官僚的自動(dòng)化指人工智能技術(shù)通過自動(dòng)化流程、協(xié)助資源分配以及減少等待時(shí)間和管理負(fù)擔(dān)來提高效率并節(jié)省成本，自動(dòng)化程度可分三類：在環(huán)路里（in the loop），算法官僚運(yùn)行受人類主動(dòng)控制。在決策過程的某個(gè)階段，算法停止，將實(shí)際決策交給人類，然后人類指示算法官僚以某種方式進(jìn)行。在環(huán)路中(on the loop)，如果需要的話，人類可以控制，是一種被動(dòng)控制模式。人類以警報(bào)模式存在，在有需要時(shí)人類可以跳入隨時(shí)干預(yù)決策。脫離環(huán)路(out of the loop)，人類無法控制局面。要么算法官僚設(shè)計(jì)上沒有人類的角色，如全自動(dòng)駕駛汽車；要么決策是不可逆轉(zhuǎn)的，如發(fā)射核導(dǎo)彈。

自學(xué)習(xí)指人工智能采用機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等算法讓社會(huì)技術(shù)系統(tǒng)具備自我學(xué)習(xí)的能力。學(xué)者們基于算法是否具有自學(xué)習(xí)能力，將算法分為自上向下的基于規(guī)則的算法和自下向上的機(jī)器學(xué)習(xí)算法，兩類算法學(xué)習(xí)知識(shí)類型存在差異。算法官僚學(xué)習(xí)的對(duì)象是傳統(tǒng)專業(yè)技術(shù)官僚，學(xué)習(xí)官僚群體的專業(yè)知識(shí)與公共價(jià)值觀；官僚群體的知識(shí)分為顯性與隱性，顯性知識(shí)可以存儲(chǔ)、表達(dá)、傳送與編碼，隱性知識(shí)是“不可理解的”、直覺的，是個(gè)人認(rèn)知思維和感知的一部分，不易學(xué)習(xí)與顯性編碼。但以深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等為代表的機(jī)器學(xué)習(xí)可以隱性編碼獲得這種知識(shí)。自上向下的基于規(guī)則的算法是基于人類預(yù)先指定和固定規(guī)則的手動(dòng)編碼算法，自學(xué)習(xí)程度低，容易理解與控制，也被稱狹義人工智能（artificial narrow intelligence，ANI），將傳統(tǒng)官僚決策依賴的正式規(guī)則、專業(yè)領(lǐng)域知識(shí)與組織公共價(jià)值權(quán)衡等顯性知識(shí)通過代碼轉(zhuǎn)化為系統(tǒng)決策的顯性知識(shí)。自下向上的機(jī)器學(xué)習(xí)算法指系統(tǒng)獲取信息、處理信息、使用信息，然后通過學(xué)習(xí)它所做的事情來反饋給自己，形成完整的閉環(huán)，能夠在沒有任何人工幫助的情況下自學(xué)，并將其經(jīng)驗(yàn)和技能傳授給其他任務(wù)，也被稱為通用人工智能（artificial general intelligence，AGI）；這里的信息內(nèi)容不僅僅包括正式規(guī)則、專業(yè)領(lǐng)域知識(shí)與組織公共價(jià)值權(quán)衡等顯性知識(shí)，還包括訓(xùn)練集中內(nèi)嵌的傳統(tǒng)官僚在實(shí)際公共行政經(jīng)驗(yàn)獲得的獨(dú)特的專門知識(shí)和技能的隱性知識(shí)，如慣例、政策執(zhí)行的靈活性、以客戶導(dǎo)向的邊緣案例處理等，甚至包括官僚歧視性做法與偏見。當(dāng)前，在公共部門運(yùn)行的算法官僚大部分處于兩者中間位置，本研究依照兩個(gè)維度將它們分為四類（參見圖1）：高自動(dòng)化機(jī)器學(xué)習(xí)型、低自動(dòng)化機(jī)器學(xué)習(xí)型、低自動(dòng)專家系統(tǒng)型、高自動(dòng)專家系統(tǒng)型。

1. 自上而下算法邏輯下的算法官僚

自上而下算法邏輯下算法官僚為象限Ⅲ低自動(dòng)專家系統(tǒng)型與象限Ⅳ高自動(dòng)專家系統(tǒng)型。兩類算法官僚均由官僚機(jī)構(gòu)委托軟件開發(fā)機(jī)構(gòu)建設(shè)信息系統(tǒng)，數(shù)據(jù)科學(xué)家依據(jù)法律法規(guī)等正式規(guī)則編寫顯性代碼，能有效進(jìn)行至關(guān)重要的“白箱”代碼測(cè)試，將傳統(tǒng)街頭官僚自由裁量權(quán)轉(zhuǎn)移給程序員與算法官僚，體現(xiàn)效率與客觀理性的公共價(jià)值。象限Ⅲ低自動(dòng)專家系統(tǒng)型算法官僚采用內(nèi)部人（街頭官僚）與機(jī)器（算法官僚）互動(dòng)方式處理行政事務(wù)。2012年南京公安局開始實(shí)施2019年拓展到江蘇省公安系統(tǒng)的量罰賣淫嫖娼、賭博、毆打他人、故意傷害、盜竊等五類治安行政案件的自動(dòng)量罰系統(tǒng)，基層民警根據(jù)案件情節(jié)，選擇標(biāo)準(zhǔn)化的備選情形后，系統(tǒng)生成“處罰建議書”。2019年，上海市刑事案件智能輔助辦案系統(tǒng)引入法庭之中，雖然使用了大數(shù)據(jù)、云計(jì)算等技術(shù)，但該系統(tǒng)僅限于根據(jù)辦案人員指示顯示提供證據(jù)與法律條文，并對(duì)辦案過程進(jìn)行全程留痕。兩者均限縮街頭官僚的自由裁量權(quán)，破解“同城同案不同罰”的問題，體現(xiàn)對(duì)公平公共價(jià)值的追求。

象限Ⅳ高自動(dòng)專家系統(tǒng)型算法官僚、象限Ⅲ低自動(dòng)專家系統(tǒng)型算法官僚采用外部人（民眾）與機(jī)器（算法官僚）互動(dòng)方式處理行政事務(wù)，全程沒有官僚干預(yù)。2018年，深圳市政府啟用人才引進(jìn)、商事登記等領(lǐng)域“無人干預(yù)自動(dòng)審批”（秒批），申請(qǐng)人無須到現(xiàn)場(chǎng)，只需在線提交相關(guān)信息，審批系統(tǒng)采用算法決策技術(shù)自動(dòng)核查材料完整性和準(zhǔn)確性，并決定是否進(jìn)入下一流程。2019年，深圳市啟動(dòng)老年津貼、“秒報(bào)”系統(tǒng)，該系統(tǒng)基于實(shí)名認(rèn)證和申請(qǐng)人授權(quán)，由系統(tǒng)自動(dòng)讀取相關(guān)后臺(tái)數(shù)據(jù)庫(kù)，實(shí)現(xiàn)表單自動(dòng)填充和材料自動(dòng)推送，從而實(shí)現(xiàn)“免填免報(bào)”。

2. 自下而上算法邏輯下的算法官僚

自下而上算法邏輯下有兩類算法官僚：象限Ⅰ高自動(dòng)化機(jī)器學(xué)習(xí)型與象限Ⅱ低自動(dòng)化機(jī)器學(xué)習(xí)型。這兩類算法官僚也由官僚機(jī)構(gòu)委托軟件開發(fā)機(jī)構(gòu)建設(shè)信息系統(tǒng)，程序員依據(jù)法律法規(guī)等顯性知識(shí)與傳統(tǒng)官僚群體隱性知識(shí)（已處理公共事務(wù)的訓(xùn)練數(shù)據(jù)集）編寫基于決策樹、機(jī)器學(xué)習(xí)等算法的代碼，算法官僚會(huì)進(jìn)行監(jiān)督式或非監(jiān)督式自學(xué)習(xí)傳統(tǒng)官僚處理公共事務(wù)的技能，機(jī)器自主性起著至關(guān)重要的作用。象限Ⅱ低自動(dòng)化機(jī)器學(xué)習(xí)型算法官僚使用機(jī)器學(xué)習(xí)算法對(duì)政務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘與分析，輔助傳統(tǒng)官僚處理公共事務(wù)。如美國(guó)證券交易委員會(huì)內(nèi)幕交易分析系統(tǒng)，包括高級(jí)關(guān)系交易執(zhí)行度量調(diào)查系統(tǒng)與異常交易和鏈接分析系統(tǒng)，該系統(tǒng)都不是全自動(dòng)的。首先，使用系統(tǒng)中主題模型對(duì)公司的公開信息進(jìn)行解析；其次，使用監(jiān)督式機(jī)器學(xué)習(xí)算法與美國(guó)證監(jiān)會(huì)數(shù)據(jù)庫(kù)（包括60億份電子股票和期權(quán)交易記錄等數(shù)據(jù)）對(duì)公司的行為進(jìn)行歸類；最后，歸類后的公司可能觸發(fā)進(jìn)一步調(diào)查的事項(xiàng)，人類審查員會(huì)審查系統(tǒng)分析的結(jié)果并決定是否啟動(dòng)調(diào)查，并在處理完成后又成為該系統(tǒng)新的訓(xùn)練數(shù)據(jù)集。西班牙巴倫西亞地區(qū)政府監(jiān)察部門使用的SALER系統(tǒng)對(duì)該地區(qū)15萬名公務(wù)員特定行政行為（外包、補(bǔ)貼、捐款等）進(jìn)行數(shù)據(jù)挖掘，使用機(jī)器算法發(fā)現(xiàn)、預(yù)防甚至預(yù)測(cè)利益沖突和腐敗行為的線索，調(diào)查啟動(dòng)依然由人類檢察官發(fā)起。

象限Ⅰ高自動(dòng)化機(jī)器學(xué)習(xí)型算法官僚則是用于形成算法的底層成分（數(shù)據(jù)、目標(biāo)函數(shù)等)，匹配各類數(shù)據(jù)，直接做出影響民眾的行政決策。2016年，美國(guó)阿肯色州衛(wèi)生系統(tǒng)用算法決策取代護(hù)士評(píng)估，算法通過一系列復(fù)雜的分類和統(tǒng)計(jì)計(jì)算將身體殘疾的醫(yī)療補(bǔ)助接受者分類，并以此為標(biāo)準(zhǔn)分配醫(yī)療資源，但產(chǎn)生“算法荒謬”（algorithmic absurdities）的結(jié)果，大約47%的阿肯色州醫(yī)療補(bǔ)助領(lǐng)取者受到了負(fù)面影響。從2011年開始，美國(guó)休斯敦學(xué)區(qū)使用由私營(yíng)供應(yīng)商SAS提供的“增值”評(píng)估系統(tǒng)，通過跟蹤教師對(duì)學(xué)生考試成績(jī)的影響來衡量教師的效率與績(jī)效，并以此作為教師獎(jiǎng)金發(fā)放與制裁學(xué)生在標(biāo)準(zhǔn)化考試中表現(xiàn)不佳的教師的依據(jù)，處理結(jié)果均由系統(tǒng)自動(dòng)生成，該系統(tǒng)結(jié)果在教師當(dāng)中引發(fā)爭(zhēng)議。

總體而言，四類算法官僚在當(dāng)前公共管理實(shí)踐中都存在，四類算法官僚控制難度排序?yàn)椋合笙蔻窀咦詣?dòng)化機(jī)器學(xué)習(xí)型>象限Ⅱ低自動(dòng)化機(jī)器學(xué)習(xí)型>象限Ⅳ高自動(dòng)專家系統(tǒng)型>象限Ⅲ低自動(dòng)專家系統(tǒng)型。

三、控制算法官僚的困境：

三重委托代理關(guān)系

四類算法官僚涵蓋了當(dāng)前人工智能在公共部門中應(yīng)用的主要場(chǎng)景，借用韋伯對(duì)官僚制過度理性化的隱喻，學(xué)者們擔(dān)憂可能出現(xiàn)的“算法鐵籠”會(huì)帶來許多意想不到的后果，如算法歧視、侵害人類的知情權(quán)及濫用個(gè)體的隱私與自由的數(shù)據(jù)權(quán)。為了規(guī)避這些可能的意外后果，如何控制算法官僚成為迫切的問題。把一個(gè)決定讓給其他人在經(jīng)濟(jì)學(xué)、政治學(xué)和公共管理學(xué)中被視為一個(gè)典型的委托代理問題，算法官僚開發(fā)與運(yùn)作過程包含了委托代理理論的基本條件，如任務(wù)授權(quán)、信息不對(duì)稱和瀆職等。算法官僚與傳統(tǒng)委托代理人最大的差別是公共事務(wù)決策權(quán)讓給了一個(gè)可能具有自主性的計(jì)算機(jī)算法，而且由于它的不透明性，算法科學(xué)家甚至不理解算法是如何工作的。一般而言，算法官僚建設(shè)邏輯為：政府與一家人工智能機(jī)構(gòu)簽訂外包合同，機(jī)構(gòu)管理層要求內(nèi)部的數(shù)據(jù)科學(xué)家使用算法并基于官僚機(jī)構(gòu)提供的歷史數(shù)據(jù)來完成這項(xiàng)任務(wù)，官僚機(jī)構(gòu)應(yīng)用該系統(tǒng)進(jìn)行公共管理。根據(jù)已有研究，這一過程伴隨四重委托代理問題（參見表2），前三個(gè)關(guān)系可用以人為中心的委托代理關(guān)系解釋，而最后一個(gè)需要對(duì)計(jì)算機(jī)算法作為代理人進(jìn)行新的解釋。第一層委托代理關(guān)系是政治學(xué)研究委托代理典型問題，學(xué)者們提供了大量解釋框架。因此，本研究重點(diǎn)放在后三重委托代理關(guān)系。

（一）官僚與外部機(jī)構(gòu)：商業(yè)秘密有意造成委托代理問題

官僚機(jī)構(gòu)往往沒有開發(fā)算法系統(tǒng)的人才，越是復(fù)雜的算法系統(tǒng)越依賴外部科技實(shí)力強(qiáng)大的機(jī)構(gòu)。本研究列舉八個(gè)算法官僚均由官僚機(jī)構(gòu)之外機(jī)構(gòu)開發(fā)，除西班牙由巴倫西亞理工大學(xué)合作開發(fā)外，其余七個(gè)均由商業(yè)軟件公司開發(fā)，其中美國(guó)休斯敦學(xué)區(qū)系統(tǒng)開發(fā)商SAS為全球最大的軟件公司之一。強(qiáng)大的商業(yè)和政府利益可能產(chǎn)生三種類型不透明性。

1. 有意的不透明

有意不透明是基于商業(yè)利益與商業(yè)秘密，即公司組織用私人商業(yè)信息的邏輯隱藏其算法信息，其目標(biāo)是保護(hù)算法發(fā)明者的知識(shí)產(chǎn)權(quán)。即使算法的特征與操作是可以理解的，如使用決策樹等簡(jiǎn)單的人工智能算法；但由于專有產(chǎn)權(quán)原因，這些算法在法律上仍然是保密的，商業(yè)秘密是理解算法等自動(dòng)化權(quán)威的核心障礙。在美國(guó)的《信息自由法》（The Freedom of Information Act，F(xiàn)OIA）和歐盟的《通用數(shù)據(jù)保護(hù)條例》（General Data Protection Regulation，簡(jiǎn)稱GDPR）中，商業(yè)秘密豁免限制了外部監(jiān)督機(jī)構(gòu)的信息訪問權(quán)。FOIA商業(yè)秘密豁免“允許聯(lián)邦政府拒絕任何集成到其系統(tǒng)中的第三方軟件的透明度請(qǐng)求”，算法制造商提出商業(yè)秘密保護(hù)以逃避披露義務(wù)或拒絕參與算法性能的獨(dú)立測(cè)試。大型網(wǎng)絡(luò)平臺(tái)型企業(yè)（如Google、Facebook、騰訊及阿里巴巴等）的公共屬性與商業(yè)屬性已很難分開，它們所擁有的數(shù)據(jù)、資源深刻嵌入民眾日常生活中，而且其算法能力遠(yuǎn)遠(yuǎn)超過了單一地方政府，甚至單一國(guó)家的監(jiān)管能力與范圍。一些國(guó)家的公共部門為了商業(yè)利益，實(shí)際上犧牲了對(duì)商業(yè)機(jī)構(gòu)算法操作和功能進(jìn)行有意義的監(jiān)督能力，以及要求它們遵守自身透明度和對(duì)決策做出解釋的法定義務(wù)的能力。

2. 代理人瀆職

代理人（外部機(jī)構(gòu)）的瀆職行為，即委托人和代理人間發(fā)生利益沖突，代理人選擇自己的利益。基于新古典主義和新制度經(jīng)濟(jì)學(xué)的解釋，外部商業(yè)機(jī)構(gòu)等代理人可能是利己的或投機(jī)取巧的，當(dāng)公共部門簽約的私營(yíng)實(shí)體參與其設(shè)計(jì)算法，代理人瀆職行為就可能會(huì)發(fā)生。由于法令的限制，優(yōu)步不被允許在一些城市運(yùn)營(yíng)，一些地方政府已出臺(tái)措施，試圖追蹤其在被禁止的地方運(yùn)營(yíng)的企圖；其中包括“釣魚執(zhí)法”操作，即市政府官員試圖使用優(yōu)步的應(yīng)用程序來攔截乘客，以證明該公司的運(yùn)營(yíng)違反了當(dāng)?shù)胤?、法?guī)或協(xié)議。作為報(bào)復(fù)，優(yōu)步的員工已經(jīng)采取措施，通過人工標(biāo)識(shí)與算法系統(tǒng)試圖識(shí)別那些可能試圖抓住他們的公職人員；如果有人給一輛汽車貼上標(biāo)簽，優(yōu)步可以在他們的應(yīng)用程序的假版本中調(diào)動(dòng)“幽靈”汽車，或者顯示沒有汽車可供召喚；如果司機(jī)發(fā)現(xiàn)任何標(biāo)記為“灰球”的人，優(yōu)步可能會(huì)打電話給司機(jī)，指示他們結(jié)束旅程。這類算法顯然是故意構(gòu)建的，以欺騙法律制定者和監(jiān)管者。

3. 委托人監(jiān)管能力不足

委托人官僚機(jī)構(gòu)對(duì)算法官僚的監(jiān)管能力不足。官僚擁有的合法性與自由裁量權(quán)是基于其專業(yè)知識(shí)，自新公共管理運(yùn)動(dòng)以來，各國(guó)降低政府成本的沖動(dòng)以及對(duì)競(jìng)爭(zhēng)的關(guān)注，壓縮后臺(tái)技術(shù)開發(fā)人員的崗位，從而降低了公共部門內(nèi)部開發(fā)、維護(hù)和采購(gòu)信息技術(shù)的能力。因此，政府在采購(gòu)過程中可能缺乏關(guān)鍵技能和知識(shí)，對(duì)外部機(jī)構(gòu)開發(fā)的算法系統(tǒng)缺乏有效的監(jiān)管能力。而在算法官僚運(yùn)行后，過度依賴算法官僚的結(jié)果可能進(jìn)一步掏空街頭官僚的專業(yè)知識(shí)與判斷力，陷入“專業(yè)能力遞減”惡性循環(huán)，讓民眾對(duì)政府信任降低。

密歇根州佛林特市在時(shí)間和資金都非常緊張的情況下，使用密歇根大學(xué)研究團(tuán)隊(duì)準(zhǔn)確地找出鉛管住戶并進(jìn)行更換，盡管準(zhǔn)確率高達(dá)94%，但由于佛林特市政府官員專業(yè)能力缺失，沒有辦法解釋為什么一個(gè)家庭是鉛管，另外一個(gè)不是；加上統(tǒng)計(jì)上型I與型II錯(cuò)誤，居民已不相信地方政府說辭。最后政府為解決不信任的問題，棄用提高效率的算法官僚，而選擇把所有家庭的水管進(jìn)行挖掘和更換。事實(shí)上，公共管理的過程就是個(gè)多價(jià)值互相競(jìng)爭(zhēng)、平衡的過程，很多時(shí)候技術(shù)理性推崇的效率價(jià)值可能根本不重要，或者不得不讓步于其他價(jià)值。

（二）外部機(jī)構(gòu)與數(shù)據(jù)科學(xué)家：技術(shù)鴻溝

該委托代理問題可從技術(shù)官僚理論角度進(jìn)行分析：數(shù)據(jù)科學(xué)家是技術(shù)官僚，而官僚與外部機(jī)構(gòu)是委托人。作為技術(shù)官僚的數(shù)據(jù)科學(xué)家擁有控制科技的知識(shí)，由此被賦予通過代碼作出政治決策的權(quán)力；理論上數(shù)據(jù)科學(xué)家應(yīng)該代表官僚與外部機(jī)構(gòu)管理層兩個(gè)委托人行事；但絕大多數(shù)人缺乏理解算法和從數(shù)據(jù)構(gòu)建的機(jī)器學(xué)習(xí)模型的技術(shù)技能，這包括使用算法的官僚以及受算法決策影響的民眾，甚至包括受官僚委托的外部機(jī)構(gòu)及非編程人員，這種基于專業(yè)知識(shí)不對(duì)稱的技術(shù)鴻溝被稱為“技術(shù)文盲”（technological illiteracy）。

這種結(jié)構(gòu)性信息不對(duì)稱符合傳統(tǒng)科層制技術(shù)官僚治理的委托代理問題，專業(yè)技術(shù)官僚有三個(gè)特征：①相對(duì)較高的自由裁量權(quán)；②相對(duì)于組織權(quán)威的自主權(quán)；③多重工作期待。由于時(shí)間、資源與知識(shí)不對(duì)稱，技術(shù)官僚能操縱公共政策方向。數(shù)據(jù)科學(xué)家擅長(zhǎng)理解算法的內(nèi)部工作原理，然而算法對(duì)官僚而言可能是一個(gè)“黑箱”；非專業(yè)的普通民眾類的政策主體很難注意到算法是如何干預(yù)他們生活的。在這種情況下，算法官僚被證明與傳統(tǒng)的專業(yè)技術(shù)官僚類似，他們通過專業(yè)知識(shí)“黑箱”阻礙“善治”實(shí)現(xiàn)，數(shù)據(jù)科學(xué)家的偏見和利益可能也會(huì)在算法中得到反映。

（三）數(shù)據(jù)科學(xué)家與算法官僚：不可預(yù)測(cè)性

第四層委托代理問題主要是由算法（主要是自下而上算法官僚）執(zhí)行的復(fù)雜數(shù)學(xué)運(yùn)算和人類使用的推理類型之間的認(rèn)知不匹配的不透明性造成。算法決策是基于一系列變量與多層神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)算法等，所以很難詳細(xì)解釋決策是如何做出的，這種不透明性被稱為計(jì)算機(jī)算法的不可預(yù)測(cè)性與不可解釋性。根據(jù)算法官僚的類型，該層委托代理問題可分兩類。

1. 利益政治

自上而下的算法官僚控制障礙非算法本身的問題，專家政治或利益政治等傳統(tǒng)權(quán)力結(jié)構(gòu)發(fā)揮主導(dǎo)作用。自上而下算法官僚是基于人類預(yù)先指定的固定規(guī)則編碼，算法運(yùn)作邏輯可以通過“白箱”測(cè)試，其運(yùn)作邏輯與決策過程相對(duì)而言不難理解，因此數(shù)據(jù)科學(xué)家可以更容易控制算法官僚。低自動(dòng)化專家系統(tǒng)型算法官僚為傳統(tǒng)官僚提供了更多、更快速的輔助決策信息，最終決策權(quán)掌握在傳統(tǒng)官僚手中。這種情況出現(xiàn)的算法官僚偏見、錯(cuò)誤或操縱問題可以用傳統(tǒng)委托代理中專家政治或利益政治來解釋。技術(shù)從來不是中性的，人類的機(jī)器代理人是復(fù)雜的社會(huì)環(huán)境發(fā)展和設(shè)計(jì)過程的產(chǎn)物，而“社會(huì)情境”定義為服從于不同潛在利益相關(guān)者的愿望、利益、權(quán)力、價(jià)值觀、假設(shè)、信仰等。理論上講，自上而下算法官僚的好處顯而易見，通過自動(dòng)化瑣碎任務(wù)，機(jī)構(gòu)可以釋放出大量資源和人員滿足公眾更多的個(gè)性化需求；算法官僚遇到故障的時(shí)候，由于較低信息不對(duì)稱，故障更容易修復(fù)。但所有技術(shù)都是在長(zhǎng)期的社會(huì)、經(jīng)濟(jì)和政治不平等背景下開發(fā)和部署的，社會(huì)權(quán)力結(jié)構(gòu)和代理人自身利益確實(shí)會(huì)影響機(jī)構(gòu)從傳統(tǒng)官僚向算法官僚轉(zhuǎn)變的過程。算法官僚技術(shù)應(yīng)用的關(guān)鍵行為者是人，而自私利益的假設(shè)可能是所有政治科學(xué)家的共識(shí)假設(shè)，受到人類代理人完全控制的算法官僚僅僅被視為人類行為者的工具和資源，其作用只是影響由人類政治行為者控制的治理速度。

最近大量研究基于兩個(gè)假設(shè)批評(píng)算法治理：第一，技術(shù)官僚（算法科學(xué)家與傳統(tǒng)官僚）知曉自上而下算法的工作原理，并能完全控制和支配它們；第二，基于這種完全的控制，算法官僚可能代表官僚、專家或強(qiáng)大的利益集團(tuán)的利益，加強(qiáng)政府內(nèi)部普遍的控制結(jié)構(gòu)，而且會(huì)有意地以更隱蔽的方式強(qiáng)化政府普遍的政治和組織偏見，加劇自動(dòng)化的不平等。

2. 技術(shù)政治

自下而上的算法官僚委托代理問題不僅包含利益政治與專家政治，還包括技術(shù)政治。自下而上算法官僚基本采用機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等算法技術(shù)，其準(zhǔn)確性建立在已有訓(xùn)練集符合現(xiàn)實(shí)的基礎(chǔ)上。一方面，“臟數(shù)據(jù)”的訓(xùn)練集是造成算法官僚“偏見”的核心原因之一。機(jī)器學(xué)習(xí)算法通常需要在大型數(shù)據(jù)集上進(jìn)行監(jiān)督式訓(xùn)練，這些大數(shù)據(jù)集包括數(shù)千到數(shù)百萬個(gè)人工標(biāo)簽的例子，這些標(biāo)簽會(huì)延續(xù)傳統(tǒng)官僚對(duì)公共政策的理解與價(jià)值偏好。而標(biāo)簽可能包含錯(cuò)誤以及明顯和微妙的偏見，訓(xùn)練數(shù)據(jù)可能會(huì)吸收性別、種族、收入或其他因素的偏見，并在隨后的算法官僚決策中進(jìn)一步放大這些偏見。這種偏見事實(shí)上是現(xiàn)實(shí)政治結(jié)構(gòu)偏見的延伸，如果人類有偏見，那么機(jī)器官僚可能延續(xù)這種偏見，國(guó)家行政數(shù)據(jù)收集和系統(tǒng)化分析不可避免地強(qiáng)化原有公共服務(wù)供給的不平等。實(shí)證研究顯示，美國(guó)阿肯色州衛(wèi)生系統(tǒng)以及西班牙腐敗預(yù)警系統(tǒng)產(chǎn)生的“算法荒謬”，是因?yàn)橛?xùn)練數(shù)據(jù)是建立在歧視性和非法的歷史街頭官僚做法之上的?！芭K數(shù)據(jù)”讓算法官僚本身可能陷入負(fù)反饋循環(huán)，算法官僚犯的錯(cuò)誤難以發(fā)現(xiàn)、突破與自我糾正，無法在決策時(shí)靈活調(diào)整決策邊界以正確處理新的或邊緣案例，甚至成為“自我實(shí)現(xiàn)預(yù)言”的工具。

另一方面，技術(shù)復(fù)雜性讓算法官僚處理結(jié)果具有不可預(yù)測(cè)性。自下而上的算法官僚具有自學(xué)習(xí)特性、“黑箱”性質(zhì)以及快速?zèng)Q策縮短人類思考時(shí)間等三個(gè)特征，這讓算法官僚更獨(dú)立于人類。算法官僚可能無視人類的直接控制，導(dǎo)致責(zé)任差距；而由于缺乏控制，人類不能對(duì)算法官僚的行為負(fù)責(zé)。美國(guó)阿肯色州衛(wèi)生系統(tǒng)算法系統(tǒng)開發(fā)者布蘭特·弗里斯（Brant Fries）在審判中承認(rèn)，他在對(duì)原告埃塞爾·雅各布斯的案件（Ethel Jacobs's case）進(jìn)行人工檢查時(shí)發(fā)現(xiàn)“系統(tǒng)犯了一個(gè)錯(cuò)誤；我們很高興DHS報(bào)告了錯(cuò)誤，當(dāng)然也很高興發(fā)現(xiàn)了錯(cuò)誤，但這幾乎證明了案件的意義。這是一個(gè)極其復(fù)雜的系統(tǒng)，沒有發(fā)布任何標(biāo)準(zhǔn)，所以在我們提起聯(lián)邦訴訟并花費(fèi)數(shù)百小時(shí)和數(shù)千美元來到這里之前，官僚機(jī)構(gòu)沒有人發(fā)現(xiàn)它……系統(tǒng)中可能還有其他尚未發(fā)現(xiàn)的錯(cuò)誤，但沒有提供能夠檢測(cè)和解決這些錯(cuò)誤的系統(tǒng)方法?！眰鹘y(tǒng)技術(shù)官僚理論認(rèn)為，技術(shù)官僚可以擁有專業(yè)知識(shí)，能夠控制專業(yè)工具，包括人工智能。但現(xiàn)實(shí)是鑒于深度學(xué)習(xí)算法復(fù)雜性，技術(shù)官僚假設(shè)受到了挑戰(zhàn)，系統(tǒng)設(shè)計(jì)者對(duì)算法官僚運(yùn)行的理解可能都是有限的。那誰將為算法官僚錯(cuò)誤負(fù)責(zé)呢？

四、控制算法官僚的路徑：

政治路徑與技術(shù)路徑

算法官僚本質(zhì)上是工具理性邏輯的產(chǎn)物，產(chǎn)生的四重委托代理問題是政治性的，也是技術(shù)性的。公共管理決策過程是一個(gè)政治過程，片面追求技術(shù)效率和理性在公共管理政策和執(zhí)行過程中并不合適也不符合現(xiàn)實(shí)，充滿著各種政府哲學(xué)觀、價(jià)值觀和公共價(jià)值取向的考量。為實(shí)現(xiàn)算法官僚興利除弊的平衡，需要有效的控制過程，該過程一般由三個(gè)階段構(gòu)成：信息（事前）、解釋或說明（事中）與后果（事后），且涉及政治和技術(shù)兩個(gè)方面。

（一）政治性控制：傳統(tǒng)委托代理問題

從技術(shù)官僚演進(jìn)邏輯上來說，算法官僚也存在潛在精英主義的印記。對(duì)自主性日益強(qiáng)化的技術(shù)官僚進(jìn)行政治控制是政治與行政關(guān)系的老問題，美國(guó)總統(tǒng)與官僚機(jī)構(gòu)進(jìn)行了長(zhǎng)期的斗爭(zhēng)，控制官僚已成為美國(guó)民主政治的最高要求之一，控制官僚的目的往往并非權(quán)力之爭(zhēng)，而在于確保權(quán)衡后公共價(jià)值在公共組織中得到實(shí)現(xiàn)，如回應(yīng)性、效率、效果、公平等。公共行政、政治學(xué)領(lǐng)域?qū)倭趴刂浦两駴]有完美的答案，但提供了多種控制機(jī)制，包括內(nèi)部審計(jì)、外部審查、司法系統(tǒng)、透明度、職業(yè)規(guī)范、公共服務(wù)動(dòng)機(jī)、公眾監(jiān)督、大眾媒體和國(guó)際組織等內(nèi)外部控制機(jī)制，這些做法對(duì)控制算法官僚具有借鑒意義。

1. 事前審查

算法官僚投入運(yùn)行前，需進(jìn)行有效的道德審查與公共價(jià)值嵌入。算法官僚需要首先為公共價(jià)值作出貢獻(xiàn)，一個(gè)措施是設(shè)立算法官僚的監(jiān)督委員會(huì)，該機(jī)構(gòu)可以成為事前審查和事后申訴機(jī)構(gòu)的混合體——覆蓋各級(jí)政府的算法倫理監(jiān)督委員會(huì)。監(jiān)督委員會(huì)的職責(zé)是：①定義并發(fā)布算法官僚的道德準(zhǔn)則，為數(shù)據(jù)科學(xué)家提供可指引的公共價(jià)值導(dǎo)向。②為相關(guān)機(jī)構(gòu)部署重大算法官僚系統(tǒng)提供建議，并輔導(dǎo)相關(guān)機(jī)構(gòu)制定負(fù)責(zé)任算法官僚的開發(fā)指南。③檢查算法官僚系統(tǒng)部署是否符合相關(guān)法律和政策（如正當(dāng)程序、反歧視、可問責(zé)性），讓算法官僚具有可訪問性，外部審計(jì)代理或機(jī)構(gòu)可以訪問算法，評(píng)估它們是否符合道德、法律和治理標(biāo)準(zhǔn)、法規(guī)和程序。④定期審計(jì)算法官僚運(yùn)行，并審查和發(fā)布修改算法決策工具的建議。委員會(huì)成員可以包括負(fù)責(zé)開發(fā)算法官僚的政府機(jī)構(gòu)代表、政府內(nèi)部數(shù)據(jù)方面的官員、算法相關(guān)領(lǐng)域?qū)W者及可能受到算法官僚決策影響的其他利益相關(guān)者。

事實(shí)上，各國(guó)開始注意到道德標(biāo)準(zhǔn)對(duì)算法官僚發(fā)展的價(jià)值。2018年，波蘭公布《波蘭人工智能戰(zhàn)略》，要求為公共部門主導(dǎo)的人工智能項(xiàng)目建立道德監(jiān)督機(jī)制。2019年，歐盟委員會(huì)發(fā)布了人工智能道德準(zhǔn)則Ethics Guidelines for Trustworthy AI（《可信賴AI的倫理準(zhǔn)則》）。道德標(biāo)準(zhǔn)體現(xiàn)為公共價(jià)值，是公共組織與官僚系統(tǒng)履行職責(zé)的規(guī)范與指引，監(jiān)督委員會(huì)可以讓算法官僚道德監(jiān)督問題制度化，通過定義道德標(biāo)準(zhǔn)、審查算法運(yùn)行的公共價(jià)值導(dǎo)向與監(jiān)控算法官僚運(yùn)行結(jié)果，將算法官僚運(yùn)行納入傳統(tǒng)官僚倫理建設(shè)的范疇，最大化公共利益。

此外，還要培育政府開發(fā)、應(yīng)用、運(yùn)行與監(jiān)管等治理算法的能力。Moore創(chuàng)造公共價(jià)值戰(zhàn)略三角組織三原則之一是要求發(fā)展公共部門相關(guān)能力。治理算法官僚這類“棘手問題”（wicked problems），確保政府具備交付、監(jiān)管、協(xié)調(diào)和分析四種能力，這是其合法性與自由裁量權(quán)的來源，尤其是涉及規(guī)范責(zé)任和問責(zé)、隱私和安全等問題時(shí)。為準(zhǔn)備這種能力，公共部門不應(yīng)將算法知識(shí)完全依賴長(zhǎng)期外包的外部大型科技公司，官僚群體專業(yè)知識(shí)結(jié)構(gòu)更新與監(jiān)管能力準(zhǔn)備是一個(gè)動(dòng)態(tài)的、互動(dòng)的學(xué)習(xí)和調(diào)整過程，監(jiān)管者總是在一定程度上“趕上”技術(shù)。政府可以招聘具有算法開發(fā)能力的專業(yè)技術(shù)人員，創(chuàng)建并授權(quán)新機(jī)構(gòu)，如數(shù)據(jù)倫理與創(chuàng)新中心和人工智能辦公室，與算法開發(fā)的國(guó)有企業(yè)、事業(yè)單位中的專業(yè)技術(shù)團(tuán)隊(duì)保持密切合作關(guān)系，引進(jìn)內(nèi)外專家提升官僚群體監(jiān)管能力與直接投資相關(guān)公司。尤其是對(duì)公民有重大影響、高風(fēng)險(xiǎn)與高度敏感的關(guān)鍵領(lǐng)域，地方政府應(yīng)記住政府的召集力或動(dòng)員力，將行業(yè)行為者、學(xué)術(shù)界、民間社會(huì)代表、媒體和其他人聚集在一起，討論和迎接挑戰(zhàn)；甚至可從供應(yīng)商那里接管開發(fā)運(yùn)營(yíng)的權(quán)限，并做到公開與信息安全的統(tǒng)一，按政務(wù)活動(dòng)公開為原則、不公開為特例的方式，能公開的必須公開，包括算法的基本原則、結(jié)構(gòu)和過程等，接受公眾的監(jiān)督的同時(shí)確保公民信息不被濫用。

2. 事中干預(yù)

算法官僚運(yùn)行中需建立人類干預(yù)的機(jī)制。一類為算法官僚決策權(quán)可隨時(shí)交還到人類官僚手中。循環(huán)里、循環(huán)中的兩類算法官僚有人類的直接干預(yù)，而循環(huán)外的算法官僚應(yīng)設(shè)立緊急暫停機(jī)制將緊急情況下的不確定性交給人類決策。算法系統(tǒng)的設(shè)計(jì)應(yīng)該尋求識(shí)別在使自動(dòng)化過程適應(yīng)意料之外的環(huán)境時(shí)由人類的判斷力完成的工作；設(shè)計(jì)不是試圖消除算法系統(tǒng)中的不確定性來源，而是在系統(tǒng)中建立彈性，從而減輕決策中的偏見和歧視。20世紀(jì)初自動(dòng)電梯的引入可提供一些見解。早期的電梯運(yùn)行由司機(jī)操作，全自動(dòng)化后公眾并不特別接受這種變化。為了有助于降低操作員失敗的風(fēng)險(xiǎn)和減輕公眾的恐懼，自動(dòng)電梯的工程設(shè)計(jì)中安裝了緊急停止按鈕（允許人類在環(huán)路中）、緊急電話（要求援助和補(bǔ)救）、控制乘坐和解釋系統(tǒng)工作的語音輔助設(shè)施。完全自動(dòng)化的算法官僚也應(yīng)該參考這種工程設(shè)計(jì)，為人類的隨時(shí)介入留下空間。

另一類為公共服務(wù)提供保留人與人的接觸方式，彌補(bǔ)算法官僚“過度理性”的缺陷。算法官僚關(guān)注效率短期效果而擅長(zhǎng)標(biāo)準(zhǔn)化處理公共事務(wù)，公民積極尋求人類的判斷是因?yàn)樗麄冃枰獋€(gè)性化的對(duì)待。街頭官僚是以客戶為導(dǎo)向的，強(qiáng)調(diào)對(duì)特定事物的關(guān)注而不是標(biāo)準(zhǔn)化，關(guān)注個(gè)人問題。公民的個(gè)案存在嚴(yán)格遵循規(guī)則的技術(shù)無法處理的特殊情況，算法官僚標(biāo)準(zhǔn)化供給減少基層官員的自由裁量權(quán)可能會(huì)導(dǎo)致難以或不可能關(guān)注這些個(gè)人需求，從而導(dǎo)致公民認(rèn)為不合理的結(jié)果。街頭官僚通過互動(dòng)方法鼓勵(lì)公民參與，以尊重方式對(duì)待受益人、監(jiān)管對(duì)象和所有其他受影響方。從公民的角度來看，向基層官僚陳述個(gè)案的機(jī)會(huì)很重要，因?yàn)樗o民眾提供了一種他們被傾聽的感覺。實(shí)證研究顯示，如果公民與街頭官僚討論過他們的情況，他們也更容易接受對(duì)他們不利的決定。更為重要是官僚機(jī)構(gòu)保留一定的與人直接接觸的公共服務(wù)供給方式，可以為算法官僚運(yùn)行質(zhì)量提供可參照的比較基準(zhǔn)，防止“數(shù)字鴻溝”對(duì)弱勢(shì)群體公民權(quán)的傷害，創(chuàng)造公平的公共價(jià)值。

3. 事后反饋

算法官僚決策的每一個(gè)案例均需建立算法官僚反身性反饋機(jī)制（reflexive feedback mechanism），讓決策過程與結(jié)果形成監(jiān)督的閉環(huán)。

需要建立街頭官僚與算法官僚間人機(jī)互動(dòng)的模式。算法官僚是從歷史數(shù)據(jù)中學(xué)習(xí)，對(duì)數(shù)據(jù)邊界之外的新案例缺乏反思能力，從而可能會(huì)陷入官僚主義的惡性循環(huán)；在這種循環(huán)中，由于不靈活而導(dǎo)致的錯(cuò)誤會(huì)通過日益嚴(yán)格的標(biāo)準(zhǔn)化來強(qiáng)化。算法官僚可以獨(dú)立思考和分析上級(jí)提出的問題，但是提出額外的未被問到的問題或者在必要時(shí)主動(dòng)提供建議是另一回事。即使是最復(fù)雜的人工智能系統(tǒng)也是有缺陷的，因?yàn)樗狈闷嫘?，缺乏?dú)立調(diào)查問題或提問的沖動(dòng)。公共服務(wù)供給是復(fù)雜的，現(xiàn)代社會(huì)政策執(zhí)行是基層官僚重新決策，他們“不僅是執(zhí)行者，也是幫助識(shí)別公共價(jià)值的代理人”，平衡沖突性、多元化的公共價(jià)值需要街頭官僚通過多年的經(jīng)驗(yàn)獲得獨(dú)特的專門知識(shí)和技能。這種能力是如此的特殊，以至于Lipsky認(rèn)為“（公共服務(wù)）提供的本質(zhì)需要人類的判斷，而這種判斷是無法編程的，也是機(jī)器無法替代的”。因此，在事中需要保留傳統(tǒng)官僚運(yùn)作機(jī)制，維持“反駁的忠誠(chéng)”的公共價(jià)值，觸發(fā)公共政策調(diào)整機(jī)制。事后定期與不定期根據(jù)街頭官僚實(shí)際管理經(jīng)驗(yàn)對(duì)算法官僚進(jìn)行動(dòng)態(tài)化重新訓(xùn)練以及算法對(duì)比選擇。

建立行政、司法等完整的算法官僚決策民眾申訴處理的“火警”系統(tǒng)，打破算法官僚的自我強(qiáng)化學(xué)習(xí)循環(huán)。公共價(jià)值是“公民和其他利益相關(guān)者對(duì)政府可交付成果的集體期望”，政府面臨的最大挑戰(zhàn)之一是如何處理相互沖突的價(jià)值觀，算法官僚建設(shè)不能僅僅采用官僚機(jī)構(gòu)、官僚、算法科學(xué)家的理解來定義公共價(jià)值，更應(yīng)納入民眾的愿望。因此，算法官僚反身性應(yīng)建立在受其影響的民眾或企業(yè)主體的反饋基層上，公共機(jī)構(gòu)有義務(wù)建立制度化申訴處理機(jī)制，與公民建立持續(xù)的溝通對(duì)話。對(duì)于傳統(tǒng)官僚而言，政策執(zhí)行本身就是反身性的，當(dāng)基層官僚遇到新的或邊緣的案例時(shí)，通過與民眾持續(xù)對(duì)話、互動(dòng)與溝通，可以幫助界定公共價(jià)值，決定如何權(quán)衡相互沖突的價(jià)值，他們會(huì)用這個(gè)案例來完善他們對(duì)政策的理解。而對(duì)算法官僚而言，遇到新的或邊緣的情況時(shí)，它們執(zhí)行其預(yù)先訓(xùn)練的分類邊界，可能帶來錯(cuò)誤；反身性只能經(jīng)過額外案例數(shù)據(jù)的訓(xùn)練后才會(huì)發(fā)生。因此，需建立民眾參與的強(qiáng)調(diào)個(gè)人案例的人類評(píng)估機(jī)制，算法官僚的設(shè)計(jì)者們需要開發(fā)一些方法，讓民眾在系統(tǒng)出錯(cuò)時(shí)可以求助。精心設(shè)計(jì)一個(gè)公平的上訴過程，確保審查任何上訴的人沒有利益沖突或不當(dāng)?shù)募?lì)。預(yù)定追索程序，例如補(bǔ)償損失的收入。要求算法官僚提供作出決定的理由與依據(jù)，讓算法決策具有可解釋性。

（二）技術(shù)協(xié)助：處理算法官僚運(yùn)行的復(fù)雜性

人類無法理解高維分析，算法的動(dòng)態(tài)性、復(fù)雜性可能超過了人類理解能力。因此，需要用技術(shù)手段事前、事中與事后識(shí)別算法官僚的錯(cuò)誤，推動(dòng)算法官僚決策的可解釋性。

1. 提升官僚機(jī)構(gòu)與算法官僚協(xié)同工作能力

算法官僚廣受批評(píng)的一個(gè)假設(shè)是受社會(huì)委托的、監(jiān)督這些系統(tǒng)的官僚并不了解它們是如何工作的，更不用說覺得自己有權(quán)力去猜測(cè)或推翻它們的決定。因此，在推行算法官僚應(yīng)用到公共管理領(lǐng)域的時(shí)候，需要保留官僚機(jī)構(gòu)的兩種能力：第一，保持傳統(tǒng)官僚的專業(yè)能力，為算法官僚提供基準(zhǔn)標(biāo)準(zhǔn)。官僚群體基于專業(yè)領(lǐng)域知識(shí)進(jìn)行決策是他們的合法性與自由裁量權(quán)的來源，公民期待他們對(duì)不斷變化的條件做出更加迅速和個(gè)性化的反應(yīng)。算法官僚可能會(huì)掏空傳統(tǒng)官僚的專業(yè)知識(shí)，公共部門需要保留處理案件所需的常駐專業(yè)技術(shù)官僚，為算法官僚運(yùn)行提供比較基準(zhǔn)與處理訓(xùn)練集之外的新情況。第二，提升基層官僚使用算法系統(tǒng)的能力。算法官僚所憑借的技術(shù)黑箱具有不符合其能力的說服力，專業(yè)技術(shù)官僚在公共管理實(shí)踐中可能會(huì)拋開他們的專業(yè)和經(jīng)驗(yàn)，而是選擇計(jì)算機(jī)建議的解決方案。這種做法的潛在危險(xiǎn)是它可能被制度化，如果管理不善，政府對(duì)人工智能類算法官僚部署可能會(huì)證實(shí)關(guān)于低效的、武斷的政府觀點(diǎn)，掏空公共官僚機(jī)構(gòu)內(nèi)部人員的專業(yè)知識(shí)。當(dāng)算法官僚出錯(cuò)時(shí)，誰能來糾錯(cuò)呢？多國(guó)實(shí)證研究顯示，要讓人類可以隨時(shí)干預(yù)算法官僚，就需要讓官僚群體具備相關(guān)的業(yè)務(wù)背景、實(shí)踐經(jīng)驗(yàn)、注意力分配和充足時(shí)間來做出關(guān)鍵決定的能力。

使用技術(shù)手段賦能基層官僚可以輔助識(shí)別算法官僚的錯(cuò)誤。當(dāng)前軟件開發(fā)行業(yè)常用的軟件驗(yàn)證（software verification）是一套從數(shù)學(xué)上證明軟件具有某些屬性的技術(shù),一個(gè)程序可以由另一個(gè)程序認(rèn)證，該程序?qū)⑺ＷC具有所需屬性的形式。一個(gè)程序可以對(duì)所有可能的輸入進(jìn)行詳盡測(cè)試，以確保某些屬性永遠(yuǎn)不會(huì)被違反，這些屬性由官僚機(jī)構(gòu)基于法律法規(guī)、行政規(guī)章與非正式的慣例等確定具有可操作化、體現(xiàn)公共價(jià)值的操作標(biāo)準(zhǔn)。這種檢驗(yàn)的核心是使用信息系統(tǒng)對(duì)算法官僚進(jìn)行隨機(jī)性前瞻性基準(zhǔn)測(cè)試（prospective benchmarking）的黑盒測(cè)試，一般的基層官僚不需要了解算法官僚運(yùn)作細(xì)節(jié)，但是可以用經(jīng)過嚴(yán)謹(jǐn)人工審查的案例測(cè)試并確保承包商開發(fā)的系統(tǒng)必須遵守該標(biāo)準(zhǔn)。具體而言，當(dāng)機(jī)構(gòu)采用算法官僚決策工具時(shí)，它們應(yīng)該將其置于相對(duì)于一組隨機(jī)案例的基準(zhǔn)之上，這些案例經(jīng)歷了傳統(tǒng)的人工審查。這種基準(zhǔn)測(cè)試本質(zhì)上是前瞻性的，而不是對(duì)人工智能如何改變先前決策的回顧性評(píng)估。將前瞻性基準(zhǔn)納入算法官僚的部署，使機(jī)構(gòu)能夠更可靠地了解潛在的影響。算法官僚采用的準(zhǔn)確率增益是多少？偏見受算法官僚的影響嗎？節(jié)省了多少時(shí)間？通過利用機(jī)器學(xué)習(xí)的核心洞察力來對(duì)工具進(jìn)行基準(zhǔn)測(cè)試：使用隨機(jī)測(cè)試集來比較算法官僚與傳統(tǒng)官僚的結(jié)果。基準(zhǔn)數(shù)據(jù)將使機(jī)構(gòu)能夠評(píng)估人工智能工具的影響，包括模型在哪些方面可能表現(xiàn)不佳，傳統(tǒng)官僚是否可以有效干預(yù)算法官僚決策，以及是否存在“自動(dòng)化偏差”。持續(xù)更新的基準(zhǔn)數(shù)據(jù)將為校準(zhǔn)和更新機(jī)器學(xué)習(xí)模型提供寶貴的信息。

2. 預(yù)防算法官僚犯錯(cuò)

算法官僚也會(huì)犯錯(cuò)，犯錯(cuò)意味著需防范算法官僚出錯(cuò)的情形。一方面，決策過程中保留公平隨機(jī)選擇（fair random choices）的規(guī)則。算法官僚需要從訓(xùn)練集中學(xué)習(xí)，但忠于訓(xùn)練集的特性容易造成“過度擬合”的問題，即模型可能會(huì)發(fā)現(xiàn)一個(gè)決策規(guī)則非常適合輸入的某些部分，但總體上不是最好的規(guī)則。因此，需要確保模型的隨機(jī)性，擴(kuò)展算法官僚認(rèn)知邊界，提高模型對(duì)現(xiàn)實(shí)世界的忠誠(chéng)度，而不是對(duì)訓(xùn)練它的有偏見的群體的忠誠(chéng)度；來自這種隨機(jī)性注入的信息可以反饋到算法官僚中，以提高系統(tǒng)整體的準(zhǔn)確性和公平性。決策者應(yīng)使用以下組合讓系統(tǒng)進(jìn)行隨機(jī)選擇來避免對(duì)公民特定屬性的歧視：①來自可信的、第三方的隨機(jī)值；②由決策者選擇并可能保密的隨機(jī)值；③不能由決策者改變或控制的參與者或決策特定的標(biāo)識(shí)符，例如身份號(hào)碼、公民姓名或數(shù)據(jù)的其他不可變部分；④由決策者選擇的數(shù)字。此外還得在事后問責(zé)中確保公平的隨機(jī)選擇可以重復(fù)的技術(shù)，這種技術(shù)確保算法官僚決策隨機(jī)性是公平的而不存在系統(tǒng)性歧視，并且允許隨機(jī)選擇完全可再現(xiàn)。

另一方面，委托代理結(jié)構(gòu)每一層都可能存在錯(cuò)誤，事后能精準(zhǔn)問責(zé)需在事中保留算法官僚決策過程的痕跡。高頻、高速的算法決策讓傳統(tǒng)文牘管理實(shí)現(xiàn)可追溯變得不現(xiàn)實(shí)，需要以技術(shù)的進(jìn)步來實(shí)現(xiàn)。當(dāng)前對(duì)算法官僚決策過程進(jìn)行可追溯技術(shù)包括責(zé)任計(jì)算、區(qū)塊鏈、智能合同、軟件驗(yàn)證、加密和更可信的硬件技術(shù)等，其中兩類技術(shù)具有應(yīng)用前景。一個(gè)是加密承諾（cryptographic commitments），由第三方持有或存放在安全地方的密封文件的數(shù)字等價(jià)物。該技術(shù)可以計(jì)算任何數(shù)字對(duì)象的承諾(如文件、文檔、搜索引擎在特定時(shí)間的索引內(nèi)容或任何字節(jié)字符串)，它將提交者綁定到被提交對(duì)象的特定值（信封內(nèi)的對(duì)象），使得該對(duì)象可以稍后被展示，并且任何人都可以驗(yàn)證該承諾，這種技術(shù)讓算法官僚決策過程中的任何篡改都會(huì)留下記錄。另一是零知識(shí)證明（zero knowledge proofs），作為密碼承諾的一部分，它允許決策者證明實(shí)際使用的決策策略（或在特定情況下達(dá)成的特定決策）具有特定屬性，但不必透露該屬性是如何知道的或決策策略實(shí)際是什么。這使得決策者能夠建立審計(jì)日志，公眾可以對(duì)其進(jìn)行核實(shí)，以確認(rèn)決策者將適當(dāng)?shù)恼邞?yīng)用于正確的輸入，從而達(dá)到規(guī)定的結(jié)果；而不會(huì)暴露決策政策本身，也不會(huì)暴露可能包含在輸入或結(jié)果中的私人數(shù)據(jù)。

3. 建立技術(shù)協(xié)助下的事后問責(zé)閉環(huán)

使用軟件賦能官僚機(jī)構(gòu)外的力量，完善公共問責(zé)機(jī)制。技術(shù)工具應(yīng)該允許當(dāng)事人進(jìn)行更直接的參與式監(jiān)督，提升公眾和感興趣的第三方的問責(zé)能力。與通常需要發(fā)現(xiàn)或收集內(nèi)部證據(jù)的傳統(tǒng)法律監(jiān)督機(jī)制不同，這些技術(shù)工具可以讓公眾和完全獨(dú)立于使用軟件的組織的第三方進(jìn)行驗(yàn)證。例如，精通技術(shù)的公眾或第三方成員可以驗(yàn)證程序中使用了特定的算法，或者程序具有特定的屬性。此外，可以建立一個(gè)系統(tǒng)，使參與者能夠檢查他們自己結(jié)果的這些屬性，以便非技術(shù)用戶可以驗(yàn)證這些事實(shí)，而整個(gè)系統(tǒng)將由政府內(nèi)部或外部的擁有技術(shù)專長(zhǎng)的人監(jiān)督。

建立人機(jī)良性互動(dòng)的算法官僚的技術(shù)反饋回路。如果算法官僚在邊緣或新穎的情況下容易出錯(cuò)，這表明控制算法官僚還需要處理丟失數(shù)據(jù)的問題。算法官僚始終面臨訓(xùn)練集外的邊緣案例，單單增加訓(xùn)練數(shù)據(jù)是不夠的，公共管理實(shí)踐永遠(yuǎn)存在沒有先例的情形。而街頭官僚可以彌補(bǔ)這些缺憾，他們負(fù)責(zé)“在街上”做出決定，填補(bǔ)立法政策和他們面臨的現(xiàn)實(shí)情況之間的空白。精確的算法官僚非常依賴最有效的情境知識(shí)、數(shù)據(jù)收集和一線員工的解釋。目前，算法官僚應(yīng)用在高風(fēng)險(xiǎn)領(lǐng)域日益增加，在這個(gè)情況下，重點(diǎn)是建立人機(jī)互動(dòng)的知識(shí)反饋機(jī)制：官僚對(duì)算法科學(xué)家的反饋；一線官僚的集體知識(shí)；官僚知識(shí)對(duì)算法官僚的反饋。大量研究顯示，有效算法官僚設(shè)計(jì)、運(yùn)行與預(yù)測(cè)中的準(zhǔn)確性嚴(yán)重依賴街道官僚的背景知識(shí)以及他們收集、處理和呈現(xiàn)產(chǎn)生積極的反饋回路中的基礎(chǔ)數(shù)據(jù)。

還需要對(duì)技術(shù)更新保持審慎態(tài)度，建立定期動(dòng)態(tài)修正閉環(huán)機(jī)制。自動(dòng)決策帶來的問題是，一個(gè)軟件在其使用期間鎖定在特定的法律解釋中，特別是在政府環(huán)境中，可能不會(huì)做出更新軟件代碼的規(guī)定。對(duì)變化或意外情況的擔(dān)憂可以通過在算法系統(tǒng)中增加日落條款（sunset provisions）來緩解，要求定期做技術(shù)性審查和更新升級(jí)算法、訓(xùn)練集與運(yùn)行軟件等，并應(yīng)該形成制度規(guī)范與可操作性標(biāo)準(zhǔn)，如類似ISO 31000的標(biāo)準(zhǔn)。這些審查的人員不僅包括自上而下的預(yù)防性控制，還需要發(fā)揮由各種政府、非營(yíng)利、行業(yè)機(jī)構(gòu)與公民團(tuán)隊(duì)等組成的合作和非正式治理結(jié)構(gòu)等“軟治理”作用，通過各種機(jī)構(gòu)（學(xué)術(shù)、商業(yè)和政府）的技術(shù)和政策專家聚集在一起協(xié)商的行為準(zhǔn)則、自愿的最佳實(shí)踐以及行業(yè)指導(dǎo)，監(jiān)控威脅并主動(dòng)考慮解決方案。

五、總結(jié)

在很多商業(yè)應(yīng)用場(chǎng)景下，算法系統(tǒng)容易成為人類轉(zhuǎn)嫁決策風(fēng)險(xiǎn)、逃避問責(zé)的重要手段。人工智能在公共治理領(lǐng)域的應(yīng)用雖然相對(duì)滯后，但也可能出現(xiàn)算法官僚“權(quán)力濫用”的風(fēng)險(xiǎn)。正在形成的算法治理的生態(tài)系統(tǒng)，需要一種適應(yīng)性的治理方法，目前出現(xiàn)的算法官僚對(duì)人類的傷害并不一定意味著要全面暫停使用。整體而言，應(yīng)擁抱無許可創(chuàng)新原則，容忍一定的錯(cuò)誤；但對(duì)公共部門的算法官僚大規(guī)模應(yīng)用應(yīng)持有一種相對(duì)保守的態(tài)度，至少應(yīng)該對(duì)算法官僚面臨的政治性問題有前瞻性考慮。政治性問題的傳統(tǒng)治理已經(jīng)讓公眾對(duì)官僚系統(tǒng)不信任，算法官僚政治性難題可能會(huì)強(qiáng)化這種不信任，反而破壞了算法官僚應(yīng)用的技術(shù)前景。人們對(duì)行政國(guó)家的合法性是以機(jī)構(gòu)專業(yè)知識(shí)的信任為前提的，當(dāng)前行政國(guó)家專業(yè)知識(shí)面臨算法官僚的挑戰(zhàn)，需要建立官僚機(jī)構(gòu)、基層官僚與算法官僚良性互動(dòng)關(guān)系，持續(xù)不斷提升官僚處理個(gè)性化、例外性公共事務(wù)的專業(yè)能力，才能贏得公眾的信任，算法官僚才能走遠(yuǎn)。

官僚系統(tǒng)具有專業(yè)性與政治性雙重價(jià)值屬性，應(yīng)該以審慎懷疑的態(tài)度面對(duì)官僚系統(tǒng)的技術(shù)治理邏輯可能是符合實(shí)際的。2018年，IBM發(fā)布了一份白皮書，吹捧人工智能是“重塑政府業(yè)務(wù)”的一種方式，政府經(jīng)歷數(shù)字化轉(zhuǎn)型后，將會(huì)變得更加面向客戶，并認(rèn)識(shí)到每個(gè)公民都是一個(gè)整體，有一套個(gè)性化的需求、興趣、偏好與能力?！皵?shù)字重塑”不僅會(huì)產(chǎn)生一個(gè)在履行職責(zé)和滿足公民需求方面反應(yīng)更靈敏、更有效的政府，還會(huì)產(chǎn)生一個(gè)“更透明”的政府。對(duì)此，當(dāng)持懷疑態(tài)度。25年前，時(shí)任美國(guó)總統(tǒng)克林頓做出以績(jī)效管理為手段實(shí)現(xiàn)“重塑政府”的類似承諾，最后于1999年以失敗告終。充滿想象力的算法官僚會(huì)不會(huì)落入森尼韋爾承諾銀彈技術(shù)的陷阱？人工智能工具是否會(huì)侵蝕而不是促進(jìn)官僚機(jī)構(gòu)的內(nèi)部效率和外部問責(zé)？監(jiān)管機(jī)構(gòu)如何有效管理風(fēng)險(xiǎn)？官僚算法決策與傳統(tǒng)官僚決策不一致的時(shí)候如何決定？全自動(dòng)算法官僚的決策受到質(zhì)疑的時(shí)候又該如何審查？雖然提出了一些應(yīng)對(duì)方案，但本研究依然是一篇規(guī)范層面的研究，算法官僚對(duì)政府機(jī)構(gòu)、公務(wù)員和公民的實(shí)際治理機(jī)遇和挑戰(zhàn)知之甚少，這些有待未來的拓展。

本文原載于《電子政務(wù)》2021年第12期。北大政治學(xué)（微信號(hào)：PKURCCP）為方便閱讀，略去全部注釋。

文字編輯：劉燚飛

技術(shù)編輯：曹政杰

責(zé)任編輯：孫宏哲

友情推薦：