小男孩‘自慰网亚洲一区二区,亚洲一级在线播放毛片,亚洲中文字幕av每天更新,黄aⅴ永久免费无码,91成人午夜在线精品,色网站免费在线观看,亚洲欧洲wwwww在线观看

分享

人工智能輔助決策的三大挑戰(zhàn)

 小飛俠cawdbof0 2023-12-18 發(fā)布于北京

Abstract人工智能(AI)有可能通過(guò)提供決策建議和與問(wèn)題相關(guān)的信息來(lái)幫助人類決策者來(lái)改善人類決策。然而,充分實(shí)現(xiàn)人類與人工智能協(xié)作的潛力仍然面臨一些挑戰(zhàn)。首先,支持互補(bǔ)性的條件(即,在人工智能輔助下,人類的表現(xiàn)超過(guò)無(wú)輔助人類的表現(xiàn),或者孤立的人工智能)必須被理解。這項(xiàng)任務(wù)要求人類能夠識(shí)別應(yīng)該利用人工智能的情況,并開(kāi)發(fā)新的人工智能系統(tǒng),這些系統(tǒng)可以學(xué)習(xí)補(bǔ)充人類決策者。其次,必須準(zhǔn)確評(píng)估人工智能的人類心智模型,其中包含對(duì)人工智能的期望和依賴策略。第三,必須了解人機(jī)交互的不同設(shè)計(jì)選擇的影響,包括人工智能輔助的時(shí)機(jī)和應(yīng)呈現(xiàn)給人類決策者的模型信息,以避免認(rèn)知超載和無(wú)效的依賴策略。為了應(yīng)對(duì)這三個(gè)挑戰(zhàn),我們提出了基于最近的實(shí)證和理論發(fā)現(xiàn)的跨學(xué)科視角,并討論了新的研究方向。

Keywords人工智能輔助決策、人機(jī)協(xié)作、建議采納、心智模型、人機(jī)交互

在過(guò)去十年中,人工智能(AI)越來(lái)越多地被用于在各個(gè)領(lǐng)域幫助人類?,F(xiàn)在,通過(guò)SiriAlexa等數(shù)字AI助手,可以自動(dòng)執(zhí)行簡(jiǎn)單的任務(wù)。人們依靠先進(jìn)的駕駛輔助系統(tǒng)來(lái)改善他們的駕駛體驗(yàn)。媒體平臺(tái)上的推薦系統(tǒng)提供個(gè)性化的播放列表,包括用戶最喜歡的內(nèi)容和他們可能喜歡的新內(nèi)容。將人工智能融入人們的日常生活有望節(jié)省人類精力,避免人類決策的盲點(diǎn),并有可能挽救生命。然而,許多挑戰(zhàn)困擾著人類與人工智能的協(xié)作。部署的人工智能系統(tǒng)因傳播系統(tǒng)性偏見(jiàn)而面臨公眾審查(Gebru,2020;Raji&Buolamwini,2019),不能很好地泛化到訓(xùn)練數(shù)據(jù)之外的示例(Shenetal.,2021),并針對(duì)用戶參與度進(jìn)行了優(yōu)化用戶福祉的成本。這些問(wèn)題源于這些人工智能系統(tǒng)與人類用戶的目標(biāo)和價(jià)值觀缺乏一致性(Christian2020;加布里埃爾,2020年)。創(chuàng)造符合人類價(jià)值觀的人工智能,以及期望,研究人員需要指定反映人類價(jià)值觀的效用功能,這仍然是一個(gè)挑戰(zhàn)。在目前的形式下,人工智能無(wú)法獨(dú)立做出準(zhǔn)確、可接受和公平的決策。因此,在做出決策時(shí),除了人工智能的計(jì)算之外,還要考慮人類決策者(DM)的專業(yè)知識(shí)和反饋,這一點(diǎn)至關(guān)重要。

在本文中,我們將重點(diǎn)關(guān)注與人工智能輔助決策相關(guān)的一系列挑戰(zhàn),其中人工智能以預(yù)測(cè)和/或解釋的形式提供幫助。做出最終決定的人類DM。例如,已經(jīng)開(kāi)發(fā)了人工智能系統(tǒng)來(lái)協(xié)助專家進(jìn)行臨床診斷(Rajpurkar等人,2020;Sayresetal.,2019)、金融(Bussmannetal.2021)和司法(Grgic'-Hlacˇaetal.,2019)決策,和預(yù)測(cè)(Benjamin等人,2023年)。關(guān)于人工智能輔助決策的文獻(xiàn)越來(lái)越多,涉及多個(gè)學(xué)科和研究領(lǐng)域,包括人機(jī)交互、人工智能和機(jī)器學(xué)習(xí)和心理學(xué)(Lai等人,2021年)。

我們沒(méi)有對(duì)這些文獻(xiàn)進(jìn)行系統(tǒng)回顧,而是綜合了一些已經(jīng)出現(xiàn)的見(jiàn)解,專門關(guān)注人工智能輔助決策的績(jī)效相關(guān)方面。具體而言,我們研究了當(dāng)人工智能協(xié)助人類DM完成獨(dú)立任務(wù)時(shí)影響決策準(zhǔn)確性的三個(gè)主要挑戰(zhàn)。首先,我們討論了開(kāi)發(fā)可以補(bǔ)充人類DM能力的AI的必要性。當(dāng)熟練的人工智能助手被整合到?jīng)Q策過(guò)程中時(shí),人類必須對(duì)人工智能的能力有很好的理解,并且約束。其次,我們強(qiáng)調(diào)了人工智能精確的人類心智模型的重要性。只有當(dāng)個(gè)人知道如何利用這種支持來(lái)提高人類-人工智能團(tuán)隊(duì)的績(jī)效時(shí),人工智能援助才能充分發(fā)揮其潛力。第三,我們討論了在人類和人工智能協(xié)同工作的不同工作流程中開(kāi)發(fā)有效的人與人工智能交互方法的挑戰(zhàn)。這包括確定何時(shí)需要人工智能援助,提供哪些信息,并考慮人工智能系統(tǒng)適應(yīng)的必要性人類認(rèn)知局限性。我們認(rèn)為,認(rèn)知建模有助于理解有效利用人工智能信息所面臨的障礙。表1包括這三個(gè)挑戰(zhàn)的真實(shí)示例,包括臨床決策支持、信用評(píng)估和高級(jí)駕駛輔助系統(tǒng),其中人工智能輔助決策正慢慢成為常態(tài)。

針對(duì)這些挑戰(zhàn)中的每一個(gè),我們深入研究了正在進(jìn)行的跨學(xué)科研究,包括實(shí)證和理論背景。此外,我們提出了未來(lái)的研究方向,以幫助更有效地應(yīng)對(duì)這些挑戰(zhàn)。

挑戰(zhàn)1:理解人類-人工智能互補(bǔ)的決定因素

人類經(jīng)常在兩個(gè)或兩個(gè)以上的群體中審議問(wèn)題,并且可以取得比群體中任何一個(gè)人更高的表現(xiàn)(Kameda等人,2022年)。之前研究人類之間協(xié)作工作的研究表明,績(jī)效的提高通常是由于小組成員之間的互補(bǔ)分工(Stasser&Abele,2020年)。將人工智能引入以前只有人類的工作流程,其動(dòng)機(jī)是通過(guò)利用人類DM的互補(bǔ)優(yōu)勢(shì)來(lái)提高決策準(zhǔn)確性。人工智能。至少,我們希望在人工智能的幫助下,人類的表現(xiàn)會(huì)比在沒(méi)有幫助的情況下做出決定的人類表現(xiàn)得更好(或至少不差)。許多研究之所以能夠達(dá)到這一基準(zhǔn),主要是因?yàn)樗鼈兩婕叭斯ぶ悄芟蛉祟愄峁┤斯ぶ悄芙ㄗh的情況表現(xiàn)出比僅通過(guò)人類表演產(chǎn)生的更高的準(zhǔn)確性(Vodrahalli等人,2022;Y.Zhang等人,2020)。在這種情況下,人類可以遵循簡(jiǎn)單的啟發(fā)式方法,即始終遵循AI的建議來(lái)提高性能。然而,這種情況提出了一個(gè)問(wèn)題,即在沒(méi)有相關(guān)道德的情況下,為什么人類應(yīng)該參與決策過(guò)程和法律考慮。當(dāng)人工智能輔助的性能不僅超過(guò)無(wú)輔助的人類性能,而且超過(guò)人工智能本身的性能時(shí),就會(huì)出現(xiàn)更令人信服的情況。這這種情況被稱為互補(bǔ)性Bansal,Wu,etal.,2021;Steyvers等人,2022年),并指出人類與人工智能的性能優(yōu)于人類或人工智能單獨(dú)的表現(xiàn)。盡管一些研究已經(jīng)顯示出關(guān)于人類和人工智能的綜合性能超過(guò)人工智能或孤立的人類(Bansal,Wu,etal.2021;Tejeda等人,2022年),其他研究表明,人類DM對(duì)這種性能沒(méi)有貢獻(xiàn),而AI本身的行為會(huì)帶來(lái)更好的性能(馮&Boyd-Graber2019;Green&Chen,2019;Lai&Tan,2019;Y.Zhang等人,2020)。

為了理解人工智能增強(qiáng)決策導(dǎo)致互補(bǔ)績(jī)效的條件,區(qū)分潛在失敗的兩個(gè)不同原會(huì)有所幫助互補(bǔ)。首先,重要的是要了解人類DMAI可以獨(dú)立貢獻(xiàn)什么樣的信息,以及這些信息是否可以(理論上)引導(dǎo)互補(bǔ)性。例如,Steyvers等人。(2022)確定了在分類領(lǐng)域互補(bǔ)的一些一般條件。調(diào)查的重點(diǎn)是成對(duì)的分類器:人類-人類、混合人類-人工智能和人工智能-人工智能(特別是兩個(gè)不同的機(jī)器分類器)對(duì)。研究結(jié)果表明,將人類預(yù)測(cè)與不同程度的準(zhǔn)確人工智能預(yù)測(cè)相結(jié)合的混合人類-人工智能對(duì)可以超越人-人或AI-AI配對(duì)。只要人類和人工智能預(yù)測(cè)之間的準(zhǔn)確性差異保持在特定閾值以下,就可以實(shí)現(xiàn)這種卓越的性能。這個(gè)閾值取決于潛在相關(guān)性,這表示人類和人工智能預(yù)測(cè)之間的獨(dú)立性水平。當(dāng)人類和人工智能預(yù)測(cè)之間的相關(guān)性較低時(shí),將高度準(zhǔn)確率的人工智能的預(yù)測(cè)與人工智能的預(yù)測(cè)合并。不太準(zhǔn)確的人類(反之亦然)仍然可以產(chǎn)生比一對(duì)人類或一對(duì)人工智能所達(dá)到的性能更好的性能。同樣,對(duì)人類群體決策的研究表明,當(dāng)群體由認(rèn)知組成時(shí),個(gè)體預(yù)測(cè)的統(tǒng)計(jì)組合可以導(dǎo)致準(zhǔn)確的群體表現(xiàn)不同的個(gè)體,產(chǎn)生不相關(guān)的預(yù)測(cè)(Davis-Stober等人,2015;Hong&Page,2004)。

在人工智能增強(qiáng)決策的情況下,最終的預(yù)測(cè)不是使用統(tǒng)計(jì)手段創(chuàng)建的,而是人類DM內(nèi)部認(rèn)知過(guò)程的結(jié)果,他們必須將AI預(yù)測(cè)與自己的獨(dú)立信息相結(jié)合。理想情況下,人類在人工智能更準(zhǔn)確的問(wèn)題背景下依賴人工智能,而當(dāng)人工智能不太準(zhǔn)確時(shí),人類依靠自己的判斷。為確保適當(dāng)?shù)囊蕾囆裕瑤椭祟愓_識(shí)別人工智能的互補(bǔ)能力區(qū)域至關(guān)重要。這可以通過(guò)提供AI信心或解釋來(lái)幫助人類更好地理解AI的決定來(lái)實(shí)現(xiàn)。當(dāng)互補(bǔ)性的本質(zhì)易于人們識(shí)別時(shí),人們可以做出適當(dāng)?shù)囊蕾嚊Q定(Q.Zhangetal.2022)。然而,目前尚不完全清楚人類DM是否能夠更廣泛地利用這種潛力。因此,互補(bǔ)性可能會(huì)失敗,因?yàn)楸M管互補(bǔ)性具有潛力,但由于依賴決策不理想,DM無(wú)法實(shí)現(xiàn)互補(bǔ)性存在。

或者,互補(bǔ)性可能會(huì)失敗,因?yàn)閺撵o態(tài)的角度來(lái)看,互補(bǔ)性的潛力從未存在過(guò)(例如,人類和人工智能之間的性能差異可能是足夠大且相關(guān)性過(guò)高),在這種情況下,即使是人類DM的選擇性依賴決定也不會(huì)產(chǎn)生互補(bǔ)性。識(shí)別互補(bǔ)性成功或失敗的一種方法是觀察人類DM最終決定的范式中的性能差異決策和一種范式,其中獨(dú)立的人類和人工智能決策在統(tǒng)計(jì)上組合成最終決策。然而,依靠外部統(tǒng)計(jì)聚合器來(lái)識(shí)別和利用人工智能的互補(bǔ)性并不是一個(gè)可行的解決方案,在這種情況下人類DM做出最終決定。正如我們討論挑戰(zhàn)2時(shí),重要的是要授權(quán)人類DM為他們的AI助手構(gòu)建適當(dāng)?shù)男睦砟J?,以便他們可以利用人工智能的補(bǔ)充能力。人類是否有效地利用了人工智能提供的信息?

提高人類與人工智能的互補(bǔ)性

必須開(kāi)展更多的研究,以更好地理解有助于人類與人工智能的融合的因素,并開(kāi)發(fā)促進(jìn)互補(bǔ)性的新方法。在人工智能研究的背景下,開(kāi)發(fā)了新的人工智能系統(tǒng),以考慮到人類是決策過(guò)程的一部分這一事實(shí)(Bansal、Nushi、等人,2021;De等人,2020;Wilder等人,2021年)。這些AI系統(tǒng)經(jīng)過(guò)訓(xùn)練,可以優(yōu)化人類利用AI促進(jìn)決策時(shí)可以預(yù)期的聯(lián)合性能。在心理學(xué)的背景下,有必要進(jìn)行更多的研究,以了解人工智能預(yù)測(cè)的獨(dú)立程度如何影響人類決策。在人類團(tuán)隊(duì)中,團(tuán)隊(duì)成員之間一定程度的認(rèn)知多樣性對(duì)團(tuán)隊(duì)績(jī)效有積極貢獻(xiàn),但研究人員假設(shè)過(guò)度的認(rèn)知多樣性可能會(huì)對(duì)團(tuán)隊(duì)成員之間的溝通產(chǎn)生負(fù)面影響從而導(dǎo)致團(tuán)隊(duì)績(jī)效欠佳(Aggarwal等人,2015年)。同樣,雖然人類和人工智能預(yù)測(cè)之間的獨(dú)立性有助于完整性,但與人類預(yù)測(cè)有很大差異的人工智能預(yù)測(cè)可能并非如此被認(rèn)為是有用的(Grgic'-Hlacˇa等人,2022年)。因此,有必要進(jìn)行更多的研究來(lái)了解可能阻止人類DM有效利用AI預(yù)測(cè)的心理局限性。

挑戰(zhàn)2理解人工智能的人類心智模型

有效使用人工智能輔助的一個(gè)重要決定因素是人工智能的人類心智模型,它包含一個(gè)人對(duì)人工智能的信念集合。人工智能以及關(guān)于與人工智能互動(dòng)的影響的期望。一般來(lái)說(shuō),心智模型是人類構(gòu)建的世界的簡(jiǎn)化表示,允許他們整合新信息并做出預(yù)測(cè),同時(shí)消耗很少的腦力勞動(dòng)(Craik,1952;Smyth等人,1994)。因此,人工智能的心智模型越準(zhǔn)確,人工智能就越有可能被正確使用(Bansal等人,2019年)。同樣,人工智能的無(wú)效使用可能是由人工智能的不完整和/或不正確的心智模型驅(qū)動(dòng)的。這種不正確的心智模型可能導(dǎo)致對(duì)人工智能的不適當(dāng)依賴或錯(cuò)誤校準(zhǔn)的信任。我們認(rèn)為,更深入地了解人們對(duì)人工智能的心智模型可以促進(jìn)工作流程的設(shè)計(jì),從而幫助人類開(kāi)發(fā)采用適當(dāng)?shù)囊蕾嚥呗?,從而提高團(tuán)隊(duì)績(jī)效。

對(duì)人們的人工智能心智模型的研究表明,人們對(duì)人工智能有著廣泛的概念。為了組織和理解這些實(shí)證結(jié)果,我們區(qū)分了在人們實(shí)際體驗(yàn)人工智能之前就已經(jīng)開(kāi)發(fā)的人工智能心智模型有問(wèn)題,其中心智模型主要由先前的信念驅(qū)動(dòng),以及這些模型如何與人類為其他人建立的模型進(jìn)行比較。我們還討論了人們的人工智能心智模型是如何通過(guò)與人工智能互動(dòng)的體驗(yàn)來(lái)塑造的。

幾項(xiàng)研究調(diào)查了人們先前的信念,其中參與者被問(wèn)及在各種假設(shè)場(chǎng)景中,他們將如何使用人工智能建議與人類的建議。結(jié)果很大程度上取決于場(chǎng)景的框架方式,包括任務(wù)域、提供的有關(guān)AI性能的信息量、和個(gè)體差異(Abrahametal.2017;Bigman&Gray,2018;Castelo等人,2019;LubarsTan,2019年)。當(dāng)有選擇時(shí),人們更愿意依賴人類而不是人工智能,這非常重要情景Casteloetal.2019),尤其是在與死而未決的假設(shè)道德情景的背景下Bigman&Gray,2018)。對(duì)于高度感知客觀性相關(guān)的任務(wù)(例如,那些涉及可量化事實(shí)個(gè)人觀點(diǎn)直覺(jué)的任務(wù)),對(duì)人類這種偏好轉(zhuǎn)變?yōu)?span>對(duì)人工智能偏好(Castelo等人,2019年)。一些低風(fēng)險(xiǎn)定量任務(wù)的背景下例如照片中估計(jì)一個(gè)人體重預(yù)測(cè)歌曲受歡迎程度,人們實(shí)際上其他人,他們更喜歡從算法中獲取建議Loggetal.,2019)。此外,當(dāng)提供有關(guān)人工智能的性能數(shù)據(jù)時(shí)人們對(duì)依賴人工智能偏好會(huì)變得更強(qiáng)Casteloetal.,2019)。人們考慮使用自動(dòng)化意愿取決于人口因素例如,年輕用戶愿意車輛中使用自動(dòng)化Abrahametal.,2017)。了解這些關(guān)于任務(wù)可委派性和對(duì)AI性能的期望偏好非常重要因?yàn)?/span>這些因素可能會(huì)影響人們接受AI意愿當(dāng)他們實(shí)際人工智能決策支持系統(tǒng)交互時(shí)提供建議。

另一研究調(diào)查了人們?cè)?/span>初次接觸人工智能對(duì)特定人工智能的心理模型。一看,這些實(shí)驗(yàn)似乎呈現(xiàn)人們對(duì)人工智能的理解他們依賴決策的有效性混合圖景。例如,Dietvorst等人。2015表明,參與者目睹了算法的性能,更愿意依賴人類決策而不是算法,其中包括算法會(huì)犯錯(cuò)誤,盡管該算法實(shí)際上平均優(yōu)于人類DM。這一結(jié)果被認(rèn)為表明,人工智能的經(jīng)驗(yàn),尤其是人工智能所犯的錯(cuò)誤,會(huì)導(dǎo)致算法厭惡,大概因?yàn)槿藗?/span>期望算法的性能實(shí)際表現(xiàn)更好(例如,有關(guān)概述,請(qǐng)參閱Burton等人2020年)。然而,這些實(shí)驗(yàn)研究面臨著一個(gè)重要的局限性。雖然個(gè)人熟悉了算法的性能,但他們被要求做出一次委托決定,而且他們沒(méi)有被告知該授權(quán)決定后果。因此,這些結(jié)果不能用于回答有關(guān)人類是否選擇性地使用人工智能建議的問(wèn)題。

相比之下,最近的研究中M.Kelly等人,2023;Liang等人2022;Tejeda等人,2022年),參與者獲得了許多做出依賴決策的機(jī)會(huì),并且DM被允許有選擇地使用算法建議。這些實(shí)驗(yàn)并沒(méi)有證實(shí)關(guān)于人們一般算法厭惡的說(shuō)法。取而代之的是,Tejeda等人報(bào)告的結(jié)果。2022表明參與者采用靈活的依賴策略,根據(jù)該策略,依賴取決于DM自身的置信狀態(tài)、AI表達(dá)的信心以及AI的整體性能。此外,這些結(jié)果表明這種依賴策略有效的,與最優(yōu)依賴策略沒(méi)有實(shí)質(zhì)性差異。其他研究發(fā)現(xiàn)人們可以考慮算法建議準(zhǔn)確性Liangetal.2022;Yin等人,2019年)。值得注意的是,即使在沒(méi)有明確的準(zhǔn)確性反饋的情況下,個(gè)人也可以校準(zhǔn)他們對(duì)人工智能的依賴(Lu&Yin,2021;Wang等人,2022年)。他們可以通過(guò)使用對(duì)自己的表現(xiàn)具有高度信心實(shí)例來(lái)評(píng)估人工智能或其他功能來(lái)實(shí)現(xiàn)這一目標(biāo)個(gè)人(Pescetelli&Yeung,2021年)。此外,M.凱利等人2023研究了個(gè)人對(duì)人工智能系統(tǒng)和其他人類瑣事相關(guān)任務(wù)的能力所做的比較評(píng)估。研究結(jié)果表明個(gè)人對(duì)他人的評(píng)價(jià)深受自身感知能力的影響。這種相關(guān)性并不延伸到對(duì)人工智能評(píng)估;個(gè)人對(duì)人工智能評(píng)估他們的自我評(píng)估相徑庭此外,個(gè)人普遍期望人工智能代理將在各種瑣事分類勝過(guò)人類。

總體而言,這些實(shí)證結(jié)果表明,人們對(duì)人工智能智模型取決于他們對(duì)相關(guān)人工智能的熟悉程度以及他們對(duì)人工智能熟悉程度其依賴性決定的結(jié)果。那些對(duì)人工智能的性能有些熟悉,但對(duì)自己決定后果不熟悉的人,可能會(huì)委托依賴人工智能的建議可能有一個(gè)不完整的心智模型,可能無(wú)法準(zhǔn)確地代表人工智能相對(duì)于自身的差異能力也許他們對(duì)人工智能的心理評(píng)估暴露不可避免的人工智能錯(cuò)誤后(正確地)降級(jí),但沒(méi)有正確反映他們試圖解決同樣的問(wèn)題時(shí),他們自己可能不會(huì)表現(xiàn)得更好事實(shí)上,在這種情況下他們的表現(xiàn)可能會(huì)更糟。然而,人們被告知依賴決定的后果的研究結(jié)果表明,人們發(fā)展出更豐富的心智模型AI,允許依賴自己AI的決策方面具有靈活性。其他因素人工智能復(fù)雜性手頭決策任務(wù),也可能影響心理模型的保真度。一些實(shí)驗(yàn)室任務(wù)側(cè)重于相對(duì)簡(jiǎn)單的行為任務(wù),這些任務(wù)可能不需要大量學(xué)習(xí)來(lái)制定有效的依賴策略。然而,在復(fù)雜的工業(yè)試驗(yàn)系統(tǒng)或軍事應(yīng)用的背景下在自動(dòng)化程度更高的情況下,DM可能無(wú)法完全理解系統(tǒng)的工作原理,因此可能會(huì)默認(rèn)使用簡(jiǎn)單的策略例如不分青紅皂白依賴AICummings,2017年)。

改善對(duì)心理模式評(píng)估

理解人們對(duì)人工智能的心智模型需要在幾個(gè)方向上進(jìn)行新的研究。首先,目前人們對(duì)人類對(duì)人工智能的信念的長(zhǎng)期變化知之甚少(Glikson&Woolley,2020)。必須進(jìn)行長(zhǎng)期研究,以了解人們心智模式隨時(shí)間的變化。隨著時(shí)間的推移,這些心智模型會(huì)變得更加準(zhǔn)確嗎?此外,認(rèn)知建模等方法可用于推斷人們心智模型的潛在內(nèi)容,包括他們的決策策略和無(wú)法使用行為測(cè)量直接評(píng)估的信念(例如,Chong等人,2022;Tejeda等人,2022年)。鑒于人類與人工智能互動(dòng)的心理模型編碼了他們自己能力與人工智能能力之間的感知差異,它可能是有助于利用從元認(rèn)知心理學(xué)研究中得出的見(jiàn)解來(lái)理解人們估計(jì)自己自信的方式(Koriat&Levy-Sadot,1999)及其相對(duì)于其他人的表現(xiàn)(Moore&Cain2007)。此外,個(gè)人與人工智能的合作可能是由直接的學(xué)習(xí)方法指導(dǎo)的,例如無(wú)模型強(qiáng)化學(xué)習(xí),而不是通過(guò)對(duì)AI助手能力的明確心理化。需要進(jìn)一步的研究來(lái)確定個(gè)人是否對(duì)人工智能產(chǎn)生了明確的譴責(zé),或者在整合其建議。

挑戰(zhàn)3開(kāi)發(fā)人工智能交互的有效方法

開(kāi)發(fā)準(zhǔn)確的人工智能心智模型對(duì)于有效和高效的人類與人工智能協(xié)作至關(guān)重要。因此,開(kāi)發(fā)工作流程和系統(tǒng)來(lái)幫助人類DM構(gòu)建其AI隊(duì)友的準(zhǔn)確心理模型至關(guān)重要。具體來(lái)說(shuō),我們考慮了影響人類DM使用AI輔助方式的兩個(gè)主要設(shè)計(jì)選擇:選擇何時(shí)提供AI輔助以及選擇提供哪些信息。此外,我們還討論了自適應(yīng)方法,這些方法可以定制人工智能輸出和人機(jī)交互,以考慮人類的認(rèn)知局限性。

什么時(shí)候應(yīng)該人類DM提供AI幫助?

幾項(xiàng)研究調(diào)查了在整個(gè)決策過(guò)程的不同時(shí)間提供人工智能援助的影響。這些操作旨在提高人們參與AI助手的建議和解釋的認(rèn)知?jiǎng)訖C(jī)(Bu?inca等人,2021年)。我們將這些建議呈現(xiàn)范式分為以下幾組:(a)并發(fā),(b)順序,(c)按需和(d)延遲。

在并發(fā)范式中,當(dāng)問(wèn)題被引入時(shí),人工智能建議會(huì)立即顯示給DM。在順序范式中,在決策科學(xué)中被稱為法官顧問(wèn)系統(tǒng)Bonaccio&Dalal,2006),只有在DM首先做出獨(dú)立決定后,才會(huì)顯示AI建議。在收到AI的建議后,DM將有機(jī)會(huì)更新他們的決定。一些研究表明,與人類在沒(méi)有幫助的情況下完成任務(wù)時(shí)的準(zhǔn)確性相比,順序范式提高了人工智能輔助決策的準(zhǔn)確性(綠色&Chen,2019),大概是因?yàn)樗膭?lì)獨(dú)立反思,這可能導(dǎo)致檢索其他與問(wèn)題相關(guān)的信息。然而,其他研究發(fā)現(xiàn),在這種情況下,整體表現(xiàn)沒(méi)有差異(Bu?incaetal.,2021;Tejeda等人,2022年)。

按需范式允許DM有選擇地尋求AI幫助(Bu?inca等人,2021;Kumar等人,2021;Liang等人,2022年)。這種方法要求DM參與一個(gè)元認(rèn)知過(guò)程,該過(guò)程涉及評(píng)估AI助手相對(duì)于自己的專業(yè)知識(shí)并尋求其幫助。請(qǐng)注意,按需范式是順序參數(shù)的變體,因?yàn)閮烧叨脊膭?lì)DM在接受AI之前做出初步判斷助理的建議。Kumar等人。(2021)提出了這種元認(rèn)知決策的計(jì)算模型,以尋求幫助。Bu?inca等人。(2021)直接比較了按需范式與順序和延時(shí)范式之間的團(tuán)隊(duì)績(jī)效。盡管這些作者沒(méi)有發(fā)現(xiàn)總體準(zhǔn)確性有任何改善,但必須進(jìn)行更多的研究,以更好地理解這種范式中的決策。最后,延時(shí)參數(shù)延遲了人工智能建議的提供,這可以提高決策的準(zhǔn)確性(Parketal.,2019)。對(duì)這種影響的一種解釋是,延遲為DM提供了額外的時(shí)間來(lái)反思問(wèn)題并改進(jìn)自己的決策,從而減少了錨定效應(yīng)。另一種方法是改變?nèi)藗兲幚?span>AI預(yù)測(cè)的可用時(shí)間,立即顯示(Rastogi等人,2022年)。Rastogi等人。(2022年)表明,當(dāng)有更多時(shí)間可用時(shí),人們更有可能檢測(cè)到AI錯(cuò)誤。有必要進(jìn)行進(jìn)一步的調(diào)查,以了解提供人工智能建議的時(shí)間的影響。

AI應(yīng)該向人類DM提供哪些信息?

人工智能輔助決策是一種接受建議的形式,人類可以從人工智能助手那里獲得建議。人與人之間的建議文獻(xiàn)表明,人類傾向于忽視他人的建議,因?yàn)樗麄儫o(wú)法獲得他人的反饋(Bonaccio&Dalal2006;GinoMoore,2007)。與AI合作也不例外。研究表明,人類在接受人工智能的建議時(shí)容易受到各種誤判和偏見(jiàn)的影響(Logg2017;Logg等人,2019年)。因此,開(kāi)發(fā)可解釋和可解釋的人工智能的任務(wù)是建立人工智能的關(guān)鍵。人類與人工智能之間富有成效的工作關(guān)系。

AI信心。大多數(shù)人工智能系統(tǒng)可以計(jì)算其預(yù)測(cè)的置信度量,例如回歸任務(wù)的置信度或準(zhǔn)確率預(yù)測(cè)的估計(jì)概率分類任務(wù)(Bhatt等人,2021年)。這些置信度有助于DM校準(zhǔn)他們對(duì)AI的心智模型,并確定它何時(shí)可能做出錯(cuò)誤的預(yù)測(cè)(Bansal等人,2019;Y.Zhang等人,2020)。與人工智能信心低的DM相比,DM更傾向于采用具有高AI信心的解決方案(Y.Zhangetal.,2020)。此外,Tejeda等人。(2022)發(fā)現(xiàn)AIDM之間的置信度差異會(huì)影響依賴決策。如果AI表現(xiàn)出高度的信心,則DM更有可能遵循AI的建議,而DM則基于其獨(dú)立決策過(guò)程,表現(xiàn)出低置信度。

AI解釋。已經(jīng)開(kāi)發(fā)了多種技術(shù)來(lái)增強(qiáng)AI預(yù)測(cè)和解釋。其中一種解釋是識(shí)別有助于模型預(yù)測(cè)的特征集(Lakkaraju等人,2022年)。這種補(bǔ)充信息可能很有價(jià)值,因?yàn)樗试SDM辨別AI預(yù)測(cè)何時(shí)基于合理或有缺陷的推理,從而允許他們進(jìn)行調(diào)節(jié)因此,他們對(duì)人工智能系統(tǒng)的依賴。然而,關(guān)于特征歸因方法的有用性,已經(jīng)報(bào)道了混合證據(jù)(BansalWuetal.,2021;Bu?inca等人,2021;Chen等人,2022;Nguyen等人,2021年)。例如,BansalWu等人。(2021)表明提供功能

在基線條件下,歸因并沒(méi)有提高人類與人工智能的互補(bǔ)性能,在這種條件下,人工智能僅表示其置信度。此外,這些類型的解釋只會(huì)增加人們采用人工智能建議的傾向,而不管其正確性如何。盡管特征歸因存在潛在缺陷,但存在用于呈現(xiàn)人工智能解釋的替代方法。一種值得注意的方法是展示一組人工智能模型認(rèn)為與目標(biāo)概率相似的示例,并演示這些特征如何相互影響。與這些示例相關(guān)。這種方法可以幫助人類DM確定AI是否引用了適當(dāng)?shù)念悾约八欠駵?zhǔn)確地識(shí)別了特征之間的關(guān)系(Nguyen等人,2021;Taesiri等人,2022年)。

提供人工智能解釋的一個(gè)潛在風(fēng)險(xiǎn)是,人們可能只是膚淺地處理這些解釋,并可能利用此類解釋的存在作為啟發(fā)式解釋模型精度。因此,設(shè)計(jì)增加認(rèn)知努力和分析思維的行為干預(yù)可能會(huì)使人們更有可能有效地使用解釋(Bu?inca等人,2021年)。為了增加DM的認(rèn)知參與度,GajosMamykina2022)認(rèn)為,僅顯示AI的解釋(即突出顯示信息)可能是有益的與問(wèn)題相關(guān)),并保留AI的預(yù)測(cè)。

通常,解釋的設(shè)計(jì)必須考慮到人類用戶(Hoffmanetal.,2018)。與其設(shè)計(jì)出令人信服的解釋,這會(huì)導(dǎo)致不恰當(dāng)?shù)囊蕾嚕蝗鐚⒔忉屧O(shè)計(jì)得盡可能翔實(shí)(Bansal,Wu,et等人,2021年)。正如LeeSee2004)所指出的,這個(gè)過(guò)程的目標(biāo)不是設(shè)計(jì)系統(tǒng)來(lái)增加依賴或信任,而是設(shè)計(jì)它們以產(chǎn)生適當(dāng)?shù)乃降囊蕾嚭托湃巍?span lang='ZH'>

邁向自適應(yīng)交互式AI輔助

總體而言,經(jīng)驗(yàn)證據(jù)表明,提供更多關(guān)于人工智能的信息并不總能提高性能。鑒于可用于處理人工智能建議的認(rèn)知資源有限,特別是在時(shí)間敏感(時(shí)間不足)的情況下,這對(duì)人工智能來(lái)說(shuō)很重要調(diào)整其輸出(例如,通過(guò)提供適當(dāng)詳細(xì)程度的解釋)。過(guò)多的信息可能不利于決策(Poursabzi-Sangdeh等人,2021;Schaffer等人,2019)。因此,人工智能系統(tǒng)的設(shè)計(jì)必須適應(yīng)人類DM的認(rèn)知局限性(Cummings,2017)。應(yīng)該提供什么、何時(shí)以及提供多少信息的問(wèn)題對(duì)人類DM強(qiáng)調(diào)需要開(kāi)發(fā)理論框架,以推斷AI輔助工具對(duì)人類認(rèn)知和觀察表現(xiàn)的影響。這種框架現(xiàn)在開(kāi)始在可解釋的人工智能的背景下出現(xiàn)(Chenetal.,2022)。此外,在與人工智能合作時(shí),可以利用從心理學(xué)中汲取的理論和計(jì)算模型來(lái)更好地理解人類的認(rèn)知(Rastogietal.,2022年)。例如,在必須快速做出決定或需要不同程度的腦力勞動(dòng)來(lái)處理人工智能輸出的情況下,理論合理資源分配(Gershmanetal.2015;Lewis等人,2014;Lieder等人,2018;Lieder&Griffiths,2020)可用于確定人們何時(shí)可能會(huì)忽略人工智能的預(yù)測(cè),如果感知到的收益不值得相關(guān)的時(shí)間和腦力勞動(dòng)方面的成本。

心理學(xué)和行為經(jīng)濟(jì)學(xué)的研究長(zhǎng)期以來(lái)一直主張干預(yù)或推動(dòng)來(lái)指導(dǎo)人們的決策(Thaler&Sunstein,2008)。輕推計(jì)算理論的進(jìn)展(Callaway,Hardy,&Griffiths,2022;Callaway,Jain,etal.,2022)能夠確定最佳決策策略和有效的反饋來(lái)指導(dǎo)決策??ɡ?、耆那教等人。(2022)表明,人工智能助手在獲得有關(guān)其決策過(guò)程的反饋時(shí),可以成功地促使人們采取最佳決策策略。同樣,最佳游戲化可以重新設(shè)計(jì)環(huán)境的獎(jiǎng)勵(lì)結(jié)構(gòu),使人們的長(zhǎng)期目標(biāo)與他們的短期獎(jiǎng)勵(lì)保持一致。這種方法有助于人們克服短視的決策傾向,并在面對(duì)順序任務(wù)時(shí)以更有遠(yuǎn)見(jiàn)的方式行事(Consuletal.,2022;Lieder等人,2019年)。人工智能輔助助推是自適應(yīng)人工智能輔助的一種強(qiáng)大范式,可以根據(jù)人們的能力進(jìn)行調(diào)整,并可以減少長(zhǎng)期優(yōu)化。

最后,另一個(gè)有前途的研究方向是使AI輸出更具交互性。Lakkaraju等人沒(méi)有以一次性輸出的形式預(yù)先發(fā)送解釋。(2022)論證了交互式AI系統(tǒng)的重要性。在這些系統(tǒng)中,人類DM可以使用自然語(yǔ)言對(duì)話來(lái)查詢模型,了解為什么會(huì)做出決策,從而通過(guò)以下方式澄清AI預(yù)測(cè)一系列的互動(dòng)。此外,交互式AI助手已被證明可以提高用戶的接受度和信任度。例如,病理學(xué)家報(bào)告說(shuō),當(dāng)他們能夠在基于內(nèi)容的圖像檢索系統(tǒng)中定制搜索時(shí),診斷效用和信任度提高(Caietal.,2019年)。允許與人工智能助手進(jìn)行通信和互動(dòng)可以提高人們對(duì)系統(tǒng)的理解。

討論與結(jié)論

盡管關(guān)于人工智能輔助決策的實(shí)證研究范圍不斷擴(kuò)大,但關(guān)于人類與人工智能合作的潛力仍有許多需要發(fā)現(xiàn)的地方。這是因?yàn)樵S多實(shí)驗(yàn)室研究在各個(gè)方面都面臨局限性。首先,許多實(shí)證研究都涉及來(lái)自模擬人工智能或綠野仙蹤程序的算法建議(Laietal.2021),這些算法建議在預(yù)設(shè)的精確水平上產(chǎn)生決策?;顫姾团c人類的一致(例如,Gajos&

Mamykina,2022;Grgic'-Hlacˇa等人,2022;Liang等人,2022;Pescetelli等人,2021年)。盡管這種方法簡(jiǎn)化了進(jìn)行行為研究的過(guò)程,但它忽略了實(shí)際人工智能系統(tǒng)的一個(gè)重要方面,即它們?cè)谀撤N程度上是相關(guān)的與人類決策(Steyvers等人,2022;Tejeda等人,2022年)。其次,許多實(shí)驗(yàn)室研究涉及低風(fēng)險(xiǎn)的決策問(wèn)題,對(duì)參與者的專業(yè)知識(shí)要求相對(duì)較少。目前尚不完全清楚這些實(shí)證研究的結(jié)果將如何推廣到更復(fù)雜和高風(fēng)險(xiǎn)的環(huán)境,例如醫(yī)療保健決策(Bu?incaetal.,2020;.J.Kelly等人,2019年)。最后,大多數(shù)實(shí)證研究只關(guān)注有限的時(shí)間窗口來(lái)評(píng)估人類對(duì)人工智能的理解。在極端情況下,一些研究涉及單次人工智能依賴決策(例如,Dietvorst等人,2015年),這些決策可能無(wú)法提供選擇性的完整情況人類對(duì)人工智能的依賴。其他實(shí)證研究往往局限于單一的體驗(yàn)性會(huì)議,沒(méi)有提供對(duì)人類長(zhǎng)期變化的見(jiàn)解關(guān)于人工智能的信念或人工智能依賴策略的變化(Glikson&Woolley,2020;Nishikawa&Bae,2018年)。

在長(zhǎng)期使用人工智能決策輔助工具的背景下,可能需要考慮其他因素。例如,人類動(dòng)機(jī)理論,如自我決定理論(Ryan&Deci,2000),已經(jīng)強(qiáng)調(diào)了感知自主的重要性,因?yàn)楦杏X(jué)的控制和代理可以提高整體參與度和結(jié)果。如果人類DM認(rèn)為缺乏自主性,這可能會(huì)對(duì)參與度產(chǎn)生負(fù)面影響,并最終導(dǎo)致更糟糕的結(jié)果。例如,Dietvorst等人。(2018)表明,允許個(gè)人干預(yù)算法的決策會(huì)使相關(guān)個(gè)人更加欣賞算法,并使他們更加將來(lái)可能會(huì)使用該算法,即使允許算法在沒(méi)有干預(yù)的情況下做出決定會(huì)帶來(lái)更好的結(jié)果結(jié)果。作者認(rèn)為,允許人類擁有一定程度的控制權(quán)最終可能會(huì)帶來(lái)更好的整體結(jié)果,并避免原地其中,人類避免使用算法。在人工智能輔助決策的框架下,最終決定權(quán)在人類手中,因此,人們可以爭(zhēng)辯說(shuō),這種方法為人類的自主性留下了充足的空間。然而,與該框架相關(guān)的許多潛在因素可能會(huì)影響對(duì)決策的感知控制,進(jìn)而影響人類的依賴意愿在人工智能上(Chugunova&Sele,2022年)。例如,人工智能可能不會(huì)透露其預(yù)測(cè),而只是顯示與預(yù)測(cè)相關(guān)的信息,以增加人類的參與度和感知的能動(dòng)性。&Tan,2019)。一般來(lái)說(shuō),需要更多的研究來(lái)了解為人類DM提供對(duì)AI的額外控制的方式(例如,允許他們確定人工智能解釋的程度)會(huì)影響性能,因?yàn)檫@種方法可能會(huì)增加感知能動(dòng)性,但也會(huì)導(dǎo)致認(rèn)知超載和無(wú)效使用可用信息。

為了更深入地了解人類如何依賴人工智能,研究人員可以在先前的人對(duì)人建議的基礎(chǔ)上進(jìn)行研究,旨在闡明個(gè)人采用的策略在重新評(píng)估和完善自己的判斷時(shí),整合他人的意見(jiàn)(Himmelstein,2022;Jayles等人,2017)。與人工智能輔助決策研究的分析,這些研究有著共同的主題。這兩個(gè)研究領(lǐng)域都有興趣了解如何從人類或人工智能來(lái)源獲得建議。這包括建議的溝通和提出,以及建議來(lái)源的可信度如何影響其被接受的可能性。此外,在這兩種情況下,研究人員都有興趣了解人們?nèi)绾螀R總多種意見(jiàn)以形成修訂后的判斷。這包括探索個(gè)人對(duì)不同建議來(lái)源的權(quán)重以及用于組合信息的策略。然而,在比較人類和人工智能的建議時(shí),也存在顯著差異。人工智能生成的建議可能更難理解或解釋,尤其是在涉及復(fù)雜算法時(shí)。與人類建議相比,這可能會(huì)影響人們?nèi)绾卫斫馊斯ぶ悄芙ㄗh,而人類建議通常更透明,更容易理解。人類的建議也可能受到情感和社會(huì)因素的影響,例如同理心和個(gè)人關(guān)系。這些因素可以在人類建議的接受中發(fā)揮作用,但在人工智能生成的建議中通常不存在。最后,使用人工智能生成的建議引發(fā)了倫理問(wèn)題,例如算法的公平性和有偏見(jiàn)的建議的可能性。雖然人類的建議也可能有偏見(jiàn),但人工智能建議的倫理影響可能會(huì)有所不同,從而導(dǎo)致這一研究領(lǐng)域面臨獨(dú)特的挑戰(zhàn)??傮w而言,盡管關(guān)于人類從其他人那里獲得建議和人類從人工智能中接受建議的研究有幾個(gè)共同的主題,但人工智能生成的建議的獨(dú)特方面為決策過(guò)程引入新的維度,值得進(jìn)一步探索。

盡管研究人員也可以從大量關(guān)于人類依賴簡(jiǎn)單算法決策輔助工具(Arkesetal.,1986)和自動(dòng)(Parasuraman)的研究中汲取見(jiàn)解&Riley,1997),我們認(rèn)為,當(dāng)人工智能充當(dāng)助手而不是基于直接的決策輔助時(shí),不同的因素就會(huì)發(fā)揮作用算法。人工智能能夠提供多樣化的信息,而不僅僅是建議,例如置信度和詳細(xì)的解釋,同時(shí)具備適應(yīng)人類DM認(rèn)知約束的能力。這允許對(duì)全新的工作流程進(jìn)行概念化,從而減少人類的工作量。例如,與其說(shuō)人類和人工智能在個(gè)別問(wèn)題上進(jìn)行合作,不如說(shuō)他們可能合作定義描述的規(guī)則將一整套問(wèn)題分為人類DM應(yīng)該解決的類型,以及AI很可能表現(xiàn)出良好性能的問(wèn)題-曼斯(Lai等人,2022年)。請(qǐng)注意,在此工作流中,人類DM放棄了對(duì)某些決策問(wèn)題的控制,但在定義類型方面保留了高級(jí)控制權(quán)人工智能解決的問(wèn)題。

為了在幫助人類的背景下真正增加價(jià)值,有必要開(kāi)發(fā)人工智能系統(tǒng),這些系統(tǒng)可以超越提供膚淺的幫助,而是作為有用的隊(duì)友到人類DM。完成這項(xiàng)任務(wù)的一種方法是使人工智能能夠開(kāi)發(fā)人類DM的心理模型,使人工智能能夠推斷出心理狀態(tài),人類DM的專業(yè)知識(shí)、工作量、長(zhǎng)期和短期目標(biāo)以及信念。我們認(rèn)為,計(jì)算認(rèn)知建模必須在開(kāi)發(fā)此類人工智能助手方面發(fā)揮關(guān)鍵作用。認(rèn)知建模使研究人員能夠?qū)θ祟惖臐撛谡J(rèn)知狀態(tài)進(jìn)行建模,并對(duì)其未來(lái)的行為、信念和知識(shí)狀態(tài)進(jìn)行預(yù)測(cè)。認(rèn)知科學(xué)文獻(xiàn)中的大多數(shù)先前工作都集中在構(gòu)建人類單獨(dú)工作或與他人一起工作時(shí)的決策模型(例如,Himmelstein,2022年)。最近,人們對(duì)在人工智能的幫助下開(kāi)發(fā)用于人類決策過(guò)程的計(jì)算模型的興趣激增(參見(jiàn)Kumar等人,2021;Oulasvirta等人,2022;Tejeda等人,2022年)。這些模型是人類DM心理過(guò)程的近似值,可用于開(kāi)發(fā)對(duì)人類DM的認(rèn)知狀態(tài)。盡管使AI能夠構(gòu)建人類DM的顯式心智模型是構(gòu)建有用的AI助手的關(guān)鍵途徑,但在某些情況下,AI助手可能足以依靠基于認(rèn)知科學(xué)原理的啟發(fā)式方法。例如,人工智能助手可以巧妙地只顯示最相關(guān)的內(nèi)容對(duì)人類的每項(xiàng)任務(wù)都有洞察力,以避免用過(guò)多的信息淹沒(méi)DM。

對(duì)人工智能輔助決策的持續(xù)評(píng)估對(duì)于確保提高績(jī)效至關(guān)重要。目前的評(píng)估基于簡(jiǎn)單的經(jīng)驗(yàn)指標(biāo),如總體準(zhǔn)確性和決策的周轉(zhuǎn)時(shí)間。但是,這些指標(biāo)僅提供了決策過(guò)程的有限視圖。有必要進(jìn)一步詳細(xì)地理解和量化人工智能真正有幫助的意義。第一個(gè)挑戰(zhàn)促使研究人員密切關(guān)注人工智能的發(fā)展,以補(bǔ)充人類的能力并提供有用的幫助。此外,人工智能助手可以推斷人類對(duì)手頭概率的理解以及人類對(duì)AI助手的決策過(guò)程。第二個(gè)挑戰(zhàn)強(qiáng)調(diào)需要理解人類的心智模型并開(kāi)發(fā)自適應(yīng)人工智能助手。最后,第三個(gè)挑戰(zhàn)需要仔細(xì)設(shè)計(jì)人與人工智能的交互。這些設(shè)計(jì)決策必須以人類DM的潛在認(rèn)知狀態(tài)為指導(dǎo)。

總之,為了優(yōu)化人工智能輔助決策,科學(xué)家們必須冒險(xiǎn),而不僅僅是改進(jìn)人工智能或開(kāi)發(fā)更好的方法來(lái)改善人類決策,而是要考慮與人類、人工智能助手以及人類與人工智能之間的交互相關(guān)的眾多角色。隨著人工智能援助變得越來(lái)越普遍,本文討論的三個(gè)挑戰(zhàn)仍將具有相關(guān)性。歸根結(jié)底,人工智能系統(tǒng)有可能發(fā)揮的作用不僅僅是靜態(tài)信息提供者的簡(jiǎn)單作用,并且可以被設(shè)計(jì)為追求更普遍的目標(biāo),例如盡可能幫助人類(Russell,2019年)并學(xué)習(xí)補(bǔ)充人類DM的專業(yè)知識(shí)(Wilder等人,2020年)?;卮鹑绾卧O(shè)計(jì)和量化這些總體目標(biāo)的問(wèn)題需要一種跨學(xué)科的方法,結(jié)合來(lái)自多個(gè)學(xué)科的見(jiàn)解,包括人工智能和機(jī)器學(xué)習(xí)、人機(jī)交互和心理學(xué)。

References

    本站是提供個(gè)人知識(shí)管理的網(wǎng)絡(luò)存儲(chǔ)空間,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點(diǎn)。請(qǐng)注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購(gòu)買等信息,謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請(qǐng)點(diǎn)擊一鍵舉報(bào)。
    轉(zhuǎn)藏 分享 獻(xiàn)花(0

    0條評(píng)論

    發(fā)表

    請(qǐng)遵守用戶 評(píng)論公約

    類似文章 更多