一組由麻省理工學(xué)院（MIT）、微軟和 Adobe 組成的圖像、聲學(xué)算法學(xué)家等開發(fā)出了一種新的算法，能夠通過靜音視頻中的物品微小的振動(dòng)幅度，提取復(fù)原出當(dāng)時(shí)場景中的聲音！

該團(tuán)隊(duì)已經(jīng)測試了該技術(shù)：測試者在房間內(nèi)對話，房間內(nèi)放置一個(gè)薯片袋；房間外一臺攝像機(jī)隔著隔音玻璃對著這個(gè)薯片袋進(jìn)行拍攝。研究人員從這段完全無聲的視頻中復(fù)原出了測試者在房間內(nèi)的對話！

攝像機(jī)隔著隔音玻璃拍攝薯片袋，測試者在房間里對話

其他測試對象還包括鋁箔、水面，甚至一盆植物的葉子……團(tuán)隊(duì)都能夠通過算法，從這些視頻中的材質(zhì)表面微震中提取出有效的音頻素材。該團(tuán)隊(duì)將會(huì)在今年的國際頂級計(jì)算機(jī)圖像峰會(huì) Siggraph 大會(huì)上呈現(xiàn)研究成果。

其中一位成員Abe Davis是來自MIT的機(jī)電工程和計(jì)算機(jī)科學(xué)研究生?！奥暡ń佑|到物品的時(shí)候，會(huì)導(dǎo)致物品發(fā)生振動(dòng)——即便是最微小的振動(dòng)。這種振動(dòng)人眼幾乎識別不了，人們不知道從這種振動(dòng)中能夠提取出信息。”

團(tuán)隊(duì)成員還包括 Frédo Durand、Bill Freeman，兩位 MIT 的計(jì)算機(jī)科學(xué)教授；Neal Wadhwa，MIT 的另一名研究生；Michael Rubinstein 博士，來自微軟研究院；Gaytham Mysore，來自 Adobe 研究院。

不過，不用太擔(dān)心普通的攝像頭拍下的視頻能夠被用于提取音頻信號。該研究團(tuán)隊(duì)使用了能夠拍攝每秒 2000 到 6000 幀素材的高速攝像機(jī)——已經(jīng)非常快，但并沒有目前世界頂尖的商業(yè)級高速攝像機(jī)快，后者能夠拍攝高達(dá) 10 萬幀每秒的視頻。

但這并不意味著普通的攝像機(jī)達(dá)到不了效果。該團(tuán)隊(duì)解釋，使用 60 幀每秒的攝像機(jī)拍攝的素材，通過算法仍然能夠提取出一些音頻信號，雖然可能完全聽不清說的是什么，不過能夠判別出講話者的個(gè)數(shù)、講話者的性別，甚至講話者的聲學(xué)特性——用以判斷講話者的身份。

研究團(tuán)隊(duì)對著一個(gè)正在播放搖滾樂的耳機(jī)進(jìn)行拍攝，通過算法重現(xiàn)出一個(gè)音頻文件，然后播放給猜歌軟件 Shazam。后者完美地識別出了最一開始播放的這首歌……

專題 > 科技前沿 MIT新技術(shù)：從靜音視頻中提取聲音 量子物理：“柴郡貓”變成現(xiàn)實(shí) 百度能讓你在公路上像“騎馬”一樣飛馳 基因技術(shù)首次“刪除”HIV病毒