讀博6年兩次換導(dǎo)師，靠一點點“倔”，俞舟成為social chatbot的開拓者之一

長沙7喜 2021-05-04

展開全文

導(dǎo)語：讀博六年，兩次換博士導(dǎo)師、差點交不上學(xué)費，還能順利畢業(yè)、成為所在領(lǐng)域的青年佼佼者之一，俞舟不簡單。

作者 | 陳彩嫻

在俞舟的想象中，智能機器的存在不僅是為了執(zhí)行人類下達(dá)的任務(wù)，而是擁有與人類相近的感知與情緒，可以與人類建立情感的紐帶。

比如，在電影《她》（Her）中由斯嘉麗·約翰遜配音的OS對話系統(tǒng)，既可以幫助用戶完成會議安排、信件閱讀與文稿撰寫等工作，也能夠以朋友的身份陪伴他們，與他們談天說地，理解人類的情緒并作出回應(yīng)。

圖注：電影《她》中的男主人公（左）與OS對話系統(tǒng)（右）

因此，在2014年剛接觸對話系統(tǒng)時，俞舟便選擇了當(dāng)時較為冷門的研究方向——非任務(wù)導(dǎo)向的對話系統(tǒng)，即“chatbot”（聊天機器人）。

在構(gòu)思博士論文時，她選擇從社交對話系統(tǒng)的用戶參與度入手，研究如何吸引人類與機器進(jìn)行更長時間的交流。這需要提高機器的“情商”，在與人類的交互中進(jìn)行文本、語音、視覺等不同模態(tài)的信息傳遞，包括但不限于類人的情感表達(dá)輸出。

當(dāng)時，研究對話系統(tǒng)的學(xué)者大多集中在任務(wù)導(dǎo)向的對話系統(tǒng)，直接給計算機下達(dá)簡單指令，比如訂機票、訂餐館、獲取公交車信息等，然后由計算機去執(zhí)行相應(yīng)的任務(wù)。所以，一開始，俞舟的“社交型”對話系統(tǒng)思想也遭到了許多人的質(zhì)疑與否定。

每次聽到他人評價“你做的研究沒有用”，俞舟就會與之爭辯。不服氣的背后，是因為她始終認(rèn)為，社交語言在人的日常交往中占了極大的比例。既然是要打造一臺能夠與人進(jìn)行無障礙交流的對話系統(tǒng)，那么社交語言的研究一定是不可避免的。

果不其然，隨著蘋果的Siri、微軟的小冰、亞馬遜的Alexa等智能語音助理越來越受歡迎，人們開始注意到社交語言對人機交流的重要作用。在她博士畢業(yè)的那一年（2017年），社交型對話系統(tǒng)已成為人工智能的主流研究趨勢之一。

后來，2018年，俞舟又帶領(lǐng)加州大學(xué)戴維斯分校（UC Davis）的14名學(xué)生參加亞馬遜Alexa Prize對話機器人大賽，以人機交流長達(dá)10分鐘的出色戰(zhàn)績奪冠，在對話系統(tǒng)研究領(lǐng)域一舉成名。

她能在這次比賽中奪冠的一個關(guān)鍵因素，就是使用算法在對話中插入一些停頓或高級韻律提示音，比如“哇”、“哈哈”，讓機器的對話系統(tǒng)更具情感色彩。

俞舟能成為最早開拓社交型對話系統(tǒng)的知名學(xué)者之一，靠的是當(dāng)初那一點點“倔”。

1
俞舟的兩次選擇

2018年亞馬遜Alexa Prize奪冠之后，俞舟獲得了許多來自學(xué)術(shù)界與產(chǎn)業(yè)界的關(guān)注。

圖注：俞舟（中間）與學(xué)生獲得Alexa Prize冠軍

“俞舟是誰？”關(guān)于這個問題，人們很快找到了一些信息：

UC Davis助理教授，主要研究多模態(tài)對話系統(tǒng)，入選2018年“福布斯30位30歲以下科學(xué)精英榜”（Forbes 30 Under 30 list in Science），卡內(nèi)基梅隆大學(xué)（CMU）博士、浙江大學(xué)竺可楨學(xué)院本科，雙修計算機科學(xué)與語言學(xué)雙學(xué)位……

這一特殊的學(xué)科背景引起了許多人的注意。因為在中國，擁有語言學(xué)背景的CS學(xué)生可謂鳳毛棱角。而對話系統(tǒng)一直是自然“語言”處理研究領(lǐng)域的重要課題，俞舟在該領(lǐng)域能有所建樹，是否與早期的學(xué)習(xí)經(jīng)歷有關(guān)？

在AI科技評論與俞舟的對話中，她談起當(dāng)初的選擇，與她后來研究多模態(tài)對話系統(tǒng)的動機是相似的：“其實無論是學(xué)習(xí)語言學(xué)，還是研究多模態(tài)對話系統(tǒng)，我都是覺得這些方向比較有意思、比較適合我，所以我才去學(xué)習(xí)?！?/span>

2007年，俞舟通過小語種自主招生通道，提前半年從蘇州中學(xué)畢業(yè)，保送至浙江大學(xué)外國語學(xué)院。經(jīng)過一個學(xué)期的學(xué)習(xí)，她重新參加考試考入竺可楨學(xué)院，并選擇了竺院與外語學(xué)院聯(lián)辦的英語雙學(xué)位班，同時修讀計算機科學(xué)與英語專業(yè)的語言學(xué)方向。

她是當(dāng)年竺院（也可能是全國）計算機專業(yè)下唯一一位修讀語言學(xué)的學(xué)生，也是語言學(xué)專業(yè)里唯一一位修讀計算機的學(xué)生。俞舟從小接觸計算機編程，也很愛學(xué)習(xí)英語，所以看到可以同時學(xué)習(xí)這兩個專業(yè)的機會時，她毫不猶豫就報名了。

這個不經(jīng)意的選擇對她產(chǎn)生的最直接影響是：在本科大四申請卡內(nèi)基梅隆大學(xué)語言技術(shù)研究所（簡稱“LTI”，NLP專業(yè)全美排名第一）的博士生時，俞舟憑借計算機+語言學(xué)的跨學(xué)科背景，在一眾申請者中脫穎而出，成為浙江大學(xué)第一位成功拿到 LTI 博士offer的本科生。

俞舟讀博的想法緣于大一時參加梅爾頓基金會（Melton Foundation）。

這個基金會由POS機的領(lǐng)導(dǎo)者Verifone公司創(chuàng)始人在90年代初創(chuàng)立，共有5個成員大學(xué)，分別是德國Friedrich Schiller大學(xué)、印度B.M.S理工大學(xué)、智利La Frontera大學(xué)、美國Dillard大學(xué)以及中國浙江大學(xué)，每年都會從成員大學(xué)的一年級新生中選拔新成員（Melton Fellow），免費提供一臺電腦與全年的上網(wǎng)，讓大家進(jìn)行跨文化交流，其中，中國最有名的Melton Fellow就是拼多多的創(chuàng)始人黃崢。

在基金會的年會活動上，俞舟遇到了幾位同樣學(xué)習(xí)計算機專業(yè)的浙大師兄師姐。她與他們討論本科畢業(yè)后的道路，前輩總結(jié)，可以選擇的路無外乎幾種：出國升學(xué)，國內(nèi)讀研，或直接工作。俞舟對自己的未來尚未明確，學(xué)長就建議她：可以先試試做科研，看看自己合不合適，如果覺得有興趣，就去讀博士。

“我當(dāng)時就很簡單。他們說什么，我就做什么?！?/span>

圖注：浙大時期的俞舟

所以，到了大三，俞舟選擇加入何曉飛與蔡登的實驗室，跟著他們做科研，學(xué)習(xí)機器學(xué)習(xí)與計算機視覺的知識。當(dāng)時，何曉飛與蔡登剛從美國回來，俞舟是他們的第一批學(xué)生，因此，在帶俞舟那幫學(xué)生時，他們在指導(dǎo)上付出了很多時間與心血。

但即使是這樣，當(dāng)蔡登與何曉飛聽說俞舟拿到卡內(nèi)基梅隆大學(xué)的博士offer時，他們也很驚訝：“為什么俞舟會申請到這么好的學(xué)校？”

畢竟俞舟只是一個本科生。雖然她曾獲得一個小會議（2010年互聯(lián)網(wǎng)多媒體計算與服務(wù)國際會議）的最佳論文獎，但研究內(nèi)容也不是自然語言處理，而是數(shù)據(jù)挖掘。

那時候，俞舟的科研經(jīng)歷中，與自然語言處理最相關(guān)的，也許是跟著外語學(xué)院的瞿云華老師做機器翻譯，但也沒有進(jìn)行深入的學(xué)習(xí)。

“我當(dāng)時也不了解NLP的具體研究內(nèi)容。那時候和實驗室的同學(xué)一起申請，我們就是單純按照學(xué)校的排名從高到低遞交（申請文書），沒有做詳細(xì)的功課，也沒有與任何老師事先聯(lián)系?！庇嶂刍貞洠?，這還是她當(dāng)時拿到的第一個offer。

直到后來擔(dān)任教職，俞舟才明白：正是因為她有不同的學(xué)科背景，所以才能得到招生委員的注意，尤其是在自然語言處理領(lǐng)域。在這個領(lǐng)域里，許多泰斗級的人物都是同時擁有計算機與語言學(xué)的學(xué)科背景，比如Dan Jurafsky與Chris Manning。

俞舟介紹：“自然語言處理和計算語言（Computational Linguistics）其實基本是一樣的， NLP 最好的會議就是Association for Computational Linguistics (ACL)。在早期，計算語言是語言學(xué)的一個分支，因為語言數(shù)據(jù)非常多，沒法手工標(biāo)注，所以研究員就思考能不能用計算機來幫助大家標(biāo)注數(shù)據(jù)、學(xué)習(xí)數(shù)據(jù)，將語言學(xué)中的規(guī)則做成可以執(zhí)行的命令，以幫助大家更好地處理海量數(shù)據(jù)。”

深度學(xué)習(xí)興起之后，神經(jīng)網(wǎng)絡(luò)的應(yīng)用使NLP的研究門檻降低了許多，研究人員即使沒有語言學(xué)的知識基礎(chǔ)，也可以研究NLP。但在俞舟開始讀博時（2011年），神經(jīng)網(wǎng)絡(luò)還沒有那么火，語言學(xué)在NLP的研究中占了很大的比例，如果不具備語言學(xué)的基礎(chǔ)，研究人員在NLP研究中可能寸步難行。

后來，俞舟研究多模態(tài)對話系統(tǒng)，早期的語言學(xué)知識也成為了她的研究助力源。因為打造以社交為中心的多模態(tài)對話系統(tǒng)，不僅涉及到自然語言處理，還需要語義分析、人機交互、基于知識的數(shù)據(jù)挖掘等不同學(xué)科的支持。

俞舟提到，了解人們交談時的對話結(jié)構(gòu)，并利用這個結(jié)構(gòu)訓(xùn)練對話系統(tǒng)，能夠更好地理解對話流，為不同的個體提供不同的答復(fù)。

比如，一個人在表達(dá)自己對貓的喜歡時，可以很多不同的表達(dá)方式。Ta可以說：“我有只貓，我很喜歡它”，這句話中的“它”是指Ta的貓；也可以說“我有只貓，我可喜歡了”，沒有說明賓語，但根據(jù)上下文語境，人類可以理解“我”喜歡自己的貓。第一種表達(dá)用了指代（co-reference），第二種表達(dá)用了省略（ellipsis）。

自然語言理解（NLU）是對話中的核心要素之一。如果機器能夠輕易理解人類的表達(dá)，那么人與機器的對話就會容易許多。而對話結(jié)構(gòu)中的語義與句法，本質(zhì)上是語言學(xué)的知識。

2
讀博兩次換導(dǎo)師

雖然以本科生的身份幸運申請到CMU的讀博機會，但俞舟的博士生涯可能比任何人都更波折：讀博六年，換了兩次導(dǎo)師，并因此要面臨讀博學(xué)費中斷、科研隨時可能中斷的風(fēng)險。

這段曲折的讀博經(jīng)歷，一是與她本科畢業(yè)就直接讀博有關(guān)，二是與運氣有關(guān)。“情感上不夠成熟，也缺乏科研經(jīng)驗?！?/span>俞舟談道。

圖注：卡內(nèi)基梅隆大學(xué)校園

正如前面所述，俞舟在本科期間曾學(xué)習(xí)計算機視覺，又熱愛語言學(xué)習(xí)，所以在博士剛開學(xué)時就確定了自己的研究方向：多模態(tài)（視覺+語言）。在匹配導(dǎo)師時，俞舟選擇了研究多媒體分析的Alex Hauptmann教授。

Alex Hauptmann在多媒體信息檢索方向有著卓越的成就，此前也帶過許多中國留學(xué)生，比如阿里巴巴數(shù)據(jù)科學(xué)研究院的現(xiàn)任副院長金榕、Dada Group的創(chuàng)始人楊?。ㄍ瑫r也是浙江大學(xué)計算機科學(xué)與工程系的本碩校友）。

而俞舟想要換組的原因是，覺得Alex Hauptmann的小組研究內(nèi)容偏工程，而非學(xué)術(shù)研究，且科研的壓力非常大。

博士第一年，22歲的俞舟經(jīng)驗較淺，并不能理解導(dǎo)師的難處，也不能理解項目組的難處：

Alex Hauptmann的科研經(jīng)費主要來自于DARPA（美國國防部高級研究計劃局），是一個非常大的項目，經(jīng)費要求參加該項目的小組要進(jìn)行一年一度的評比。如果評比得分不高，那么整個小組的經(jīng)費就會被“砍掉”，組內(nèi)學(xué)生第二年讀博的學(xué)費與生活費也就成了問題。

在這種情況下，組內(nèi)的成員自然要犧牲自己的一些時間去研究工程技巧來提高系統(tǒng)的整體性能，其次才是做一些長期的、前沿的基礎(chǔ)性研究。

這讓俞舟很不解：“如果第一年不成功，第二年就不能繼續(xù)做這個項目了。那我們做研究還有什么意義呢？”在她看來，讀博就是要做一些長期的、前沿的研究，而不是炒快飯、搭工程。

追求前沿研究的科研品味，與俞舟在浙大讀書期間跟著何曉飛與蔡登做研究時得到的科研啟蒙有關(guān)：當(dāng)時兩位海歸老師便是偏向于做前沿課題，而不是工程項目。

而且，在他們的指導(dǎo)下，俞舟有機會學(xué)習(xí)到了浙大當(dāng)時還沒有正式設(shè)置的機器學(xué)習(xí)課程，閱讀最新的研究論文與書籍，與實驗室里的研究生一起參加討論。這個過程讓俞舟覺得科研很有意思，因為每次討論都會學(xué)習(xí)一些新的知識，見證科研者取得新的成就。

在科研節(jié)奏緊迫與科研內(nèi)容“無趣”的雙重壓力之下，俞舟產(chǎn)生了一些小情緒，與導(dǎo)師和組員也產(chǎn)生了一些爭論和沖突。想到CMU還有很多從事多模態(tài)的學(xué)者，俞舟想到了換博士導(dǎo)師，不再從事偏工程化的研究。

在多模態(tài)研究方向，她有兩位導(dǎo)師可以選擇：一個是機器人研究系的 Abhinav Gupta，他的組里主要研究視覺-語言；另一個是人機交互系（HCII）新入職不久的系主任Justine Cassell，研究虛擬人類。權(quán)衡之下，俞舟選了Justine Cassell。

由于Justine Cassell屬于HCII，而俞舟屬于LTI，所以Justine Cassell就讓俞舟再去找一位LTI的教授當(dāng)合作指導(dǎo)老師（co-advisor），俞舟就聯(lián)系了研究語音合成的Alan Black。所以，從CMU讀博的第二年開始，俞舟就跟著Justine Cassell與Alan Black一起做研究。

但過了大約一年，俞舟又產(chǎn)生了換組的念頭，因為她發(fā)現(xiàn)自己很難與Justine相處，兩人在性格方面不是很合得來。此外，在專業(yè)指導(dǎo)上，Justine是純粹的語言學(xué)出身，對前沿的計算機知識幾乎不了解，她要求研究的內(nèi)容也跟俞舟的想法不太一樣。

于是俞舟就去跟Alan Black說：“我們能不能不要跟Justine合作？就我和你兩個人研究就好。”雖然Alan沒意見，但這一變動會產(chǎn)生一個比較棘手的問題：俞舟讀博的資金主要來自Justine，Alan沒有多余的費用來承擔(dān)她的學(xué)費與生活費支出。Alan就讓俞舟仔細(xì)思考這個決定，確定后再跟他說。

到了博士第三年快結(jié)束的時候，俞舟實在受不了了，很確定地向?qū)烝lan提出了自己的想法：“我真的不行?！盇lan無可奈何，就說：“那好吧，你就跟著我好了。但是我沒有錢，我們要一起想辦法幫你找到一份資金來支持你讀PhD。”

對俞舟來說，頻繁換導(dǎo)師所帶來的最直接影響并不是經(jīng)費，而是論文成果的低產(chǎn)。因為科研項目的中斷，俞舟在前三年的論文成果比其他的同級博士生落后了許多。

心理壓力自然有，但俞舟卻沒有被打垮。她當(dāng)時的想法是：“就算不讀博，我也能找到一份很好的工作。要繼續(xù)讀，就要做我喜歡的研究?！?/span>

圖注：俞舟與CMU的吉祥物蘇格蘭梗（Scotty）。CMU的創(chuàng)始人Andrew Carnegie認(rèn)為，蘇格蘭梗有一種堅定與沉穩(wěn)的氣質(zhì)，是許多CMUer的個性特征，因此選擇它為CMU的吉祥物。

那時候，她也許已經(jīng)為自己做了最壞的打算。

3
為讀博經(jīng)費奔波

“要不你先出去實習(xí)，因為我們交不出學(xué)費?！睂?dǎo)師Alan建議。

所以，與大多數(shù)博士生不同的是：從博士四年級開始，俞舟就要提前承擔(dān)起屬于一位導(dǎo)師的大部分責(zé)任，一邊是單槍匹馬地往少人問津的科研領(lǐng)域沖刺，一邊是想方設(shè)法地“搞錢”，去企業(yè)做科研，向別人“推銷”自己的研究內(nèi)容，取得他人的信任，爭取能夠支持自己繼續(xù)學(xué)業(yè)的科研資助。

2014年秋天，在Alan的牽線下，俞舟去了微軟雷德蒙研究院實習(xí)。當(dāng)時，在微軟研究院里，其他學(xué)生都是暑期實習(xí)生（summer intern），只實習(xí)兩個月，而她是學(xué)期實習(xí)生（in-semester intern），“因為我們沒有錢?！庇嶂壅{(diào)侃自己。

幸運的是，在微軟實習(xí)期間，她遇到了兩個非常好的mentor，一個是Dan Bohus，他在CMU讀博的導(dǎo)師是俞舟后來的導(dǎo)師Alexander Rudnicky；一個是Eric Horvitz，當(dāng)時Eric Horvitz已經(jīng)是整個微軟雷德蒙研究院的部門負(fù)責(zé)人，后來又晉升為整個研究院的主任。

在微軟實習(xí)期間，俞舟第一次正式接觸多模態(tài)對話系統(tǒng)：此前，她在Alex Hauptmann的門下是研究多模態(tài)的表征學(xué)習(xí)，在Justine Cassell的組里是研究多模態(tài)分析。在博士三年級時，她雖然上了一門對話系統(tǒng)的課，但卻沒有條件開始正兒八經(jīng)的對話系統(tǒng)研究。

當(dāng)時距離微軟推出“小冰”不到4個月，對話系統(tǒng)的研究也還處于起步階段。俞舟在項目中的表現(xiàn)很出色，能力得到了兩位mentor的肯定。在Dan Bohus的推薦下，俞舟接觸到了他的博士導(dǎo)師Alexander Rudnicky。Alexander Rudnicky在語音對話系統(tǒng)研究上有30多年的經(jīng)驗，在他的指導(dǎo)下，俞舟才開始有機會學(xué)習(xí)研究對話系統(tǒng)的系統(tǒng)方法。

微軟的4個月實習(xí)快結(jié)束時，Eric Horvitz了解到俞舟正面臨讀博資金短缺的難題，決定伸出援手。Eric與LTI當(dāng)時的系主任Jaime Carbonell關(guān)系很好，于是就跑去Jaime那里給俞舟當(dāng)說客：“我覺得俞舟很優(yōu)秀，我們能不能想想辦法，先幫她解決一年的學(xué)費？我們微軟出一部分錢，你們系里出一部分錢？”這個提議得到了Jaime的同意，俞舟因此得以紓解博士四年級的學(xué)費難題。

圖注：俞舟與Dan Bohus（右）、Eric Horvitz（左）

那么博士五年級呢？導(dǎo)師Alan Black一直記得俞舟讀博的經(jīng)費問題。從微軟實習(xí)結(jié)束后，俞舟回到CMU跟著Alexander Rudnicky研究對話系統(tǒng)的用戶參與度，即如何讓用戶與機器進(jìn)行更長時間的交流。Alan聽了，覺得很有意思，就說：“我們可以看看有沒有人對你的研究感興趣，然后愿意資助你。”

2016年的暑假，Alan給俞舟介紹了ETS美國教育考試服務(wù)中心。ETS主要做托?？荚嚺嘤?xùn)與面試訓(xùn)練，俞舟的多模態(tài)對話系統(tǒng)正好可以用于教育測試服。于是俞舟就利用暑假的3個月時間，在ETS跟著David Suendermann-Oeft實習(xí)。她與ETS的研究員合作地非常愉快，ETS愿意資助她第二年的學(xué)費。

值得一提的是，俞舟與ETS合作的研究成果HALEF（一款用于幫助用戶提高對話能力的面試培訓(xùn)系統(tǒng)）后來成為她最引以為豪的工作之一。

博士五年級結(jié)束的時候，俞舟已經(jīng)可以博士畢業(yè)，但她還想再留多一年，尋找學(xué)術(shù)界的工作機會，于是就主動與Alan Black提出再留一年。當(dāng)時正趕上亞馬遜在2017年舉辦的Alexa Prize挑戰(zhàn)賽，俞舟以學(xué)生的身份報名參賽，第六年的讀博費用就是從這個比賽中來的。

對俞舟來說，這段獨自爭取讀博經(jīng)費的經(jīng)歷有很多早已淡忘的難處，但也有一個影響深遠(yuǎn)的好處，就是：她在學(xué)生時代就提前體驗了做導(dǎo)師的責(zé)任，所以，在擔(dān)任教職后，她很快就適應(yīng)了“青椒”的身份，也許比其他青年教師更早熟一些。

4
如何選導(dǎo)師？

讀博的一切困難，根本原因都是在于俞舟因為信息閉塞與不慎重而選錯導(dǎo)師。在俞舟去到CMU的那一年，她沒有浙大直系師兄師姐的信息披露，也沒有意識與能力去了解系里每位老師的研究風(fēng)格、學(xué)術(shù)聲望與具體研究內(nèi)容，所以吃了許多虧。

相比之下，其他本科便就讀于美國高校的學(xué)生消息要靈通地多。比如，她有位同學(xué)，來自新加坡，本科是在美國讀的。當(dāng)俞舟問他要選哪位導(dǎo)師時，他就非常確定地說：“我要選Noah Smith（現(xiàn)在在華盛頓大學(xué)），其他老師我都不愿意選?！?/span>

再談選擇導(dǎo)師，俞舟的想法是：一個老師的能力固然非常重要，但更重要的是，這個導(dǎo)師的為人好不好。

不懂的科研問題并不是只能從導(dǎo)師那里獲得答案，也可以請教周圍的其他老師與同學(xué)。但如果與導(dǎo)師的相處十分困難，那么5-6年的讀博生涯就會顯得非常漫長、度日如年。

而雖然Alan Black的研究方向是語音，能夠給予俞舟的具體研究建議非常少，但他會盡最大的努力給予俞舟支持。俞舟形容他是一個“cheer leader”：“無論與他說什么，他都會給予快速的反饋。傾聽你，關(guān)注你的研究?！?/span>

圖注：俞舟與博士導(dǎo)師Alan Black（右）

“當(dāng)然，如果在人好的前提下，能夠選擇到一個在學(xué)術(shù)界非常有建樹的導(dǎo)師，那是最好的，這樣你能從導(dǎo)師那里繼承到一些connection（人脈關(guān)系）?！?/span>俞舟繼續(xù)談道，“比如我的導(dǎo)師Alan，他的所有學(xué)術(shù)影響力都集中在語音研究領(lǐng)域，但我并不側(cè)重于研究語音，我在NLP的會議投稿要多得多，這就要靠我自己去開拓影響力，去跟別人介紹自己的研究內(nèi)容?！?/span>

但這也有一個好處：因為別人記住的是你本人，而非你是誰的學(xué)生。有一次，Alan與俞舟說起，他去參加一個NLP的會議，大家都不認(rèn)識他，也不知道他的研究內(nèi)容。然后他介紹他是俞舟的老師，別人才開始與他搭話，Alan便調(diào)侃自己：“原來我去NLP混還要靠你呀?！?/span>

也正是因為這段奇葩的換導(dǎo)師經(jīng)歷，俞舟擔(dān)任教職后，招收學(xué)生前一定會講清楚自己的研究風(fēng)格與研究內(nèi)容，也十分注重為學(xué)生創(chuàng)造一個能夠順利做科研的環(huán)境。同時，她也建議學(xué)生能夠開誠布公地與導(dǎo)師交流讀博的目的：

“畢業(yè)后無論是想往業(yè)界發(fā)展，還是往學(xué)術(shù)界發(fā)展，或是不確定，都要提前跟老師說，因為老師會為你的目標(biāo)制定適合你的培養(yǎng)標(biāo)準(zhǔn)，選擇適合你的項目?！?/span>

此外，在選擇學(xué)生時，俞舟也會十分注重學(xué)生是否已經(jīng)做好讀博的準(zhǔn)備，是否具備讀博的基本能力，是否擁有比較成熟的情商與溝通能力。這一標(biāo)準(zhǔn)源于她對自己的反省。

在剛開始讀博時，俞舟不愿意做做工程上的“臟活”、“累活”，眼高手低，導(dǎo)致與Alex Hauptmann的合作不順暢。后來她開始搭建對話系統(tǒng)，才明白Alex Hauptmann的苦心：要做比較前沿的研究，具備工程能力是基本要求。“你首先要學(xué)會如何做工程，才能做應(yīng)用配置。”

后來俞舟自己帶團(tuán)隊時，再與Alex Hauptmann交流，發(fā)現(xiàn)Alex在管理團(tuán)隊上其實非常有見地，也給了她很多建議與幫助。“導(dǎo)師要去思考如何把團(tuán)隊里的10位同學(xué)更好地凝聚起來。很多工程方面的努力與管理團(tuán)隊的能力是非常相似的，也是相通的?！?/span>

歷經(jīng)風(fēng)雨，俞舟比22歲時更加懂得自省。事實上，經(jīng)歷挫折也不一定是壞事，因為俞舟后來明白：其實很多事情都要慢慢學(xué)習(xí)，如果沒有經(jīng)歷挫折，也許她也學(xué)不會踏踏實實地做工程、建系統(tǒng)，算是“塞翁失馬，焉知非福”吧。

5
對話向善，機器成為人類的伙伴

在2015年剛進(jìn)入對話系統(tǒng)研究領(lǐng)域時，俞舟就思考：是否可以在沒有任務(wù)的情況下研究用戶的參與度？比如單純從社交的角度看人機對話。

所謂“參與度”，就是指人類用戶愿意與機器交流的時長。用戶參與度一直是評價一個對話系統(tǒng)性能的重要指標(biāo)，但在任務(wù)導(dǎo)向的對話系統(tǒng)中，因為每個任務(wù)的框架都會略有不同，所以研究者無法專注于研究參與度。

這也與人機交互的思維有關(guān)。剛到CMU時，俞舟因為沒有浙大直系師兄師姐的帶領(lǐng)，基本就是跟著蘇州中學(xué)的學(xué)姐朱海一玩。朱海一研究的方向是人機交互，久而久之，俞舟也耳濡目染。

俞舟認(rèn)為，既然人工智能的最終目標(biāo)是做一個natural agent（自然智能體），那么機器也應(yīng)該有人的“感知”能力。在人與人的交往中，我們往往要先進(jìn)行一番寒暄，然后再提出懇請對方幫忙的要求。比如，如果你想讓你的同事幫忙做一個PPT，你會先問一句：“你有沒有時間？最近忙不忙？”

親密關(guān)系的建立大多是從社交語言開始的。但在此之前，許多研究員是純計算機的角度：“我有一個要求，機器是來幫我實現(xiàn)這個要求的”。這與現(xiàn)實生活不符，也與人類的天性（對社交的需求）相悖。

于是，俞舟便思考從社交語言的角度提升對話系統(tǒng)的用戶參與度。

打造對話系統(tǒng)的耗時很長。俞舟回憶，他們當(dāng)時做對話系統(tǒng)要從頭開始寫，用時大約兩年。比較幸運的是，轉(zhuǎn)到Alexander Rudnicky的門下后，俞舟從Alexander以前的學(xué)生那繼承了一部分系統(tǒng)，再基于他們的研究做改進(jìn)，增加不同模態(tài)的對話功能。

2015年，俞舟開始在社交對話系統(tǒng)的用戶參與度研究上發(fā)表了許多出色的論文成果。讀博期間，她的主要成果是創(chuàng)建了TickTock、Direction-giving Robot與HALEF這三個對話系統(tǒng)。

其中，TickTock就是俞舟團(tuán)隊獲得2018年亞馬遜Alexa Prize的機器人“Gunrock”的原型，后被部署到Amazon Alexa 上，產(chǎn)生了非常重大的社會影響。他們的系統(tǒng)支持上千用戶同時與機器對話，俞舟的團(tuán)隊得以收到很多反饋。

令俞舟感到最溫暖的是，有些小朋友會把對話機器人當(dāng)成自己的小伙伴。他們會說：“Alexa is my sister. I'd like to talk to her every day before I go to sleep. ”（Alexa是我的姐妹，我希望每天睡覺前都可以跟她聊天。）

這讓俞舟感到自己作為研究者的社會責(zé)任感。隨著現(xiàn)代人越來越容易接觸到對話系統(tǒng)，她也開始考慮自己設(shè)計出來的系統(tǒng)在道德層面的義務(wù)。比如，當(dāng)機器人在與小朋友聊天時，至少不要教壞小朋友。

圖注：社交對話系統(tǒng)讓機器成為人類的伙伴

而HALEF是一個工作面試系統(tǒng)，結(jié)合了視覺與語言，幫助用戶練習(xí)口語等，甚至在用戶學(xué)習(xí)受挫、感到沮喪時，用夸獎肯定的語言鼓勵學(xué)生。

圖注：HALEF系統(tǒng)能夠?qū)崟r觀察男生回答問題時的面部神情、音量，判斷“他走神了”。

在俞舟看來，多模態(tài)對話系統(tǒng)的研究價值在于：在人與人的對話中，我們不可能只基于一個人的說話內(nèi)容來做決策，還有根據(jù)Ta的行為、反應(yīng)等。因此，憑借單一的信息源是不夠的，這也是為什么相機越來越普遍、語音識別越來越可靠之后，多模態(tài)對話系統(tǒng)會成為大勢所趨。

多模態(tài)對話系統(tǒng)的應(yīng)用場景非常廣泛，在銷售領(lǐng)域，可以推薦電影、推銷商品；在教育領(lǐng)域，可以實時對話，訓(xùn)練個人技能，甚至幫助初步篩選面試者；在醫(yī)療領(lǐng)域，可以與用戶進(jìn)行半預(yù)先設(shè)定對話（semi-constructive dialogue plan），檢驗用戶是否有心理問題；或做一個虛擬人類和有自閉癥的小孩互動，給予老年人關(guān)懷，等等。

俞舟當(dāng)初的研究內(nèi)容也慢慢被大家接受。加入社交語言，對話系統(tǒng)既可以創(chuàng)造商業(yè)價值，也可以實現(xiàn)人文關(guān)懷。她也因為在多模態(tài)對話系統(tǒng)的研究成就入選2018年“福布斯30為30歲以下科學(xué)精英榜”。

2017年從CMU博士畢業(yè)后，俞舟加入UC Davis擔(dān)任助理教授，開始在任務(wù)上將研究拓展到社交+任務(wù)導(dǎo)向相結(jié)合的系統(tǒng)。這一新型的系統(tǒng)被稱為“勸說型對話系統(tǒng)”（Persuasive Dialog Systems）。

勸說型對話系統(tǒng)也有許多應(yīng)用場景，比如勸慰抑郁癥患者，勸說有自殺傾向的病人，推薦產(chǎn)品，勸說大家在疫情期間不要出門，甚至是給慈善機構(gòu)捐款。這也是俞舟小組目前的一個重要研究方向。他們的工作“Persuasion for Good”（勸說向善）獲得 ACL 2019 最佳論文提名。

圖注：勸說向善的一個示例

親歷社交對話系統(tǒng)從冷清到火熱，俞舟認(rèn)為多模態(tài)對話系統(tǒng)仍處于一個蓬勃發(fā)展的階段。多模態(tài)對話系統(tǒng)的上升在俞舟身上也可見一斑：“很多企業(yè)希望與我們合作，或者希望我們的博士生畢業(yè)后能夠去他們的公司工作?！?/span>

她的工作也獲得了越來越多大廠的關(guān)注，比如亞馬遜、英特爾、Facebook、騰訊等，不久前，俞舟獲得Facebook資助200萬美元，支持推薦對話系統(tǒng)研究。此外，她的研究也獲得了NSF、DARPA等權(quán)威機構(gòu)的支持。

對此，俞舟認(rèn)為是“因為他們看到多模態(tài)對話系統(tǒng)在未來會有非常強大的影響力?！?/span>

6
加入哥倫比亞大學(xué)

今年1月，為了迎接一個新的小生命，俞舟從UC Davis轉(zhuǎn)到了哥倫比亞大學(xué)計算機系擔(dān)任助理教授。從人工智能重鎮(zhèn)到金融業(yè)繁華的紐約，俞舟繼續(xù)多模態(tài)對話系統(tǒng)研究。

從懵懂天真的學(xué)生，到獨當(dāng)一面的大學(xué)教師，俞舟跌跌撞撞，唯一不變的是從事科研的初心：在對話系統(tǒng)中結(jié)合文本、視覺、語音等不同模態(tài)的算法，打造一臺能夠與人類在智識與情商上無障礙交流的機器。

再看當(dāng)年讀博的曲折時光，俞舟也從來不是一個人孤軍奮戰(zhàn)。她不是很在意來自外界的質(zhì)疑與打擊，因為她知道自己有來自父母、老師、同學(xué)與其他合作伙伴的支持。

圖注：俞舟在CMU讀博時與同學(xué)們

對她來說，讀博是一個跳出溫室的過程，她成長、突破、思考，學(xué)習(xí)與挫折面對面。這是科研人的必修課，也是攀登更高峰的通行證。

除了科研與指導(dǎo)學(xué)生，俞舟也開始將一部分重心放在了對話系統(tǒng)的教育上。

近日，俞舟與中國人民大學(xué)的閆瑞老師、蘇州大學(xué)的李俊濤開始合寫一本關(guān)于對話系統(tǒng)的教科書。此外，她還在哥倫比亞大學(xué)開設(shè)了一門對話課程，叫做《Conversational AI 》，主要教授對話系統(tǒng)的各個方向最新的研究成果。

這里分享這個課程的閱讀材料和對應(yīng)的課件：https://docs.google.com/.../1nSKcnM5r9x82BdyPgn.../edit...

有想要與俞舟老師進(jìn)行交流的高校、企業(yè)或?qū)W生，可以通過以下郵箱聯(lián)系：echoyuzhou@gmail.com。

最后俞舟老師希望大家在讀博之前做好思想準(zhǔn)備，多了解一些各方面的知識。一旦開始后，也不要因為不順利就一直自己默默隱忍，要積極的學(xué)會向不同的同學(xué)老師朋友尋求幫助。不要總是和同學(xué)攀比論文數(shù)量有沒有獲獎什么的，要有自己堅持的喜愛，做自己覺得有意義的工作。祝大家科研順利！