小男孩‘自慰网亚洲一区二区,亚洲一级在线播放毛片,亚洲中文字幕av每天更新,黄aⅴ永久免费无码,91成人午夜在线精品,色网站免费在线观看,亚洲欧洲wwwww在线观看

分享

50萬美元冠軍成績被莫名取消,F(xiàn)acebook熱門數(shù)據(jù)競賽引爭議

 板橋胡同37號 2020-06-14

機(jī)器之心報道

參與:澤南、蛋醬

Facebook AI 團(tuán)隊(duì)今天宣布了首個 Deepfake 檢測挑戰(zhàn)賽(DFDC)的結(jié)果,第一名算法的識別準(zhǔn)確率達(dá) 82.56%。然而比結(jié)果更加耐人尋味的是,原本獲得頭名的團(tuán)隊(duì)成績被取消了。
本屆 Deepfake 比賽,主辦方 Facebook 開出了共計百萬美元的獎金,其中頭名團(tuán)隊(duì)可以獲得 50 萬美元。在這項(xiàng)賽事中,數(shù)據(jù)科學(xué)家們需要通過算法檢測出使用 Deepfake 技術(shù)換臉的「虛假圖像」,幫助阻止惡意篡改的圖片誤導(dǎo)他人。

Deepfake 技術(shù)通過深度學(xué)習(xí)算法可以實(shí)現(xiàn)換臉、換表情,時有通過這種技術(shù)制造的假新聞傳出,近年來已越來越讓人們感到擔(dān)憂。

豐厚的獎金,熱門的研究領(lǐng)域讓 DFDC 在去年 9 月宣布以來受到了業(yè)內(nèi)的廣泛關(guān)注。這項(xiàng)比賽在去年 12 月的 NeurIPS 2019 大會上公布了數(shù)據(jù)集并正式開始,今年 3 月 31 日結(jié)果提交正式截止。據(jù)統(tǒng)計,這一在著名數(shù)據(jù)競賽平臺 Kaggle 上進(jìn)行的比賽吸引了 2114 名參與者,并獲得了 3.5 萬種檢測算法,最終得出的最高準(zhǔn)確率達(dá) 82.56%,整體平均準(zhǔn)確度為 65.18%。

在賽后 Facebook 表示,Deepfake 檢測仍然是一個「未解決的問題」。

成功舉辦的賽事本是一件可喜可賀的事情,F(xiàn)acebook 還將獲勝團(tuán)隊(duì)的方法以及競賽數(shù)據(jù)集寫成了論文,計劃在下周舉行的 CVPR 2020 上向人們進(jìn)行介紹。然而事情沒有這么簡單,原排名第一團(tuán)隊(duì)「All Faces Are Real Team」的抗議出現(xiàn)在 Kaggle 社區(qū)上,成為了人們關(guān)注的焦點(diǎn)。

在這場比賽中,原本排名第一的團(tuán)隊(duì)因?yàn)閿?shù)據(jù)的原因,優(yōu)勢方案被取消成績,最終他們的第二方案獲得了第七名。該團(tuán)隊(duì)的成員表示,在過去兩個月中,這一團(tuán)隊(duì)與 Facebook 進(jìn)行了多輪接觸,但沒有獲得令兩方信服的結(jié)果。

今天,該團(tuán)隊(duì)對此事發(fā)表了一份聲明,完整聲明如下:

致 Kaggle、Facebook 托管團(tuán)隊(duì)和各位參賽者們:

首先,我們要向 Kaggle 和 Facebook 托管團(tuán)隊(duì)表示感謝。感謝他們創(chuàng)建了這一數(shù)據(jù)集以及舉辦本次競賽,并在此向所有最終獲獎?wù)弑硎咀YR。

我們想在這里進(jìn)一步解釋一下,關(guān)于我們的獲勝解決方案無效的問題。以及我們第二方案在 LB 上的情況變動。

為了應(yīng)對 Private LB 的激烈競爭,我們準(zhǔn)備了兩個解決方案,最終分別獲得 0.42320 和 0.44531 的 Private LB 分?jǐn)?shù)。對于在 Public LB 上得分更高的 0.44531 方案,我們僅使用了競賽數(shù)據(jù)和 12 個模型的未加權(quán)均值:這是我們在 LB 上保持第七名位置的方案。對于我們最初的獲獎方案(0.42320),我們將使用競賽數(shù)據(jù)訓(xùn)練的 6 個模型和使用一些外部數(shù)據(jù)訓(xùn)練的 9 個模型混合在了一起。

比賽官方最終公布的前十名成績,All Faces Are Real 排名第七,但這只是該隊(duì)提交的第二個成績。

在這個最初獲勝的模型中,我們使用了這些外部數(shù)據(jù):

  • flickrface 數(shù)據(jù)集:我們使用了該數(shù)據(jù)集尺寸調(diào)整后的版本。其中一些圖像不允許用于商業(yè)用途,我們選用的是原始 GitHub 上允許商業(yè)使用的圖像,并按照許可類型和本次競賽規(guī)范進(jìn)行訓(xùn)練。許可包括以下幾種:CC-BY, Public Domain Mark 1.0, Public Domain CC0 1.0,  U.S. Government Works。


  • Youtube 視頻圖像:按照 CC-BY 許可從一些 Youtube 視頻中創(chuàng)建了人臉圖像數(shù)據(jù)集,該許可已標(biāo)明允許用于商業(yè)用途。


我們選用這些數(shù)據(jù)源時,確信它們符合外部數(shù)據(jù)使用的相關(guān)規(guī)則,尤其是外部數(shù)據(jù)「必須可供競賽的所有參賽者用于比賽目的,其他參與者可無償使用」,在外部數(shù)據(jù)的其他聲明中,它們必須可用于商業(yè)用途,不局限于教學(xué)用途。

但在我們與 Facebook 以及 Kaggle 的申辯過程中,我們被告知盡管符合以上規(guī)定,卻違反了「獲勝作品提交文檔」的規(guī)定:

獲勝作品提交文檔(競賽專門規(guī)則第 4 部分)

除了遵循 Kaggle 文檔指南之外,獲勝作品提交文檔還必須遵循以下規(guī)則:

A. 如果提交文檔的任何部分描述、標(biāo)識或包括了非本次參與者的任何人,則必須具備所描述、標(biāo)識或包括的個人的許可和授權(quán),并且您需要根據(jù)要求提供書面形式的確認(rèn)證明給競賽贊助商和 PAI。

B. 提交的文檔不得侵犯、挪用、有損第三方的任何權(quán)利,包括但不限于版權(quán)(包括精神權(quán)利)、商標(biāo)、商業(yè)機(jī)密、專利、隱私權(quán)或公開權(quán)。
具體來說,我們被(Facebook)要求提供出現(xiàn)在我們外部數(shù)據(jù)集中的每個人的附加許可。但這些數(shù)據(jù)來自公共數(shù)據(jù)集,所以我們未出示其中每一個人的具體書面許可,也無法識別這些人。我們在競賽過程中,沒有意識到競賽的外部數(shù)據(jù)應(yīng)屬于「文檔」以及外部數(shù)據(jù)規(guī)則,因此也未從上述人員那里得到這些許可。

我們懷疑大多數(shù)參賽者也沒有意識到這些附加限制的存在——大致觀察了一下,并沒有哪個參賽方案在外部數(shù)據(jù)方面滿足上述要求。在競賽中,有關(guān)外部數(shù)據(jù)使用的規(guī)則被反復(fù)申明多次,這讓我們好奇,為什么 Kaggle 卻沒有機(jī)會講清楚外部數(shù)據(jù)必須額外遵循獲勝提交文檔這一更加嚴(yán)格的規(guī)則。

另一個問題是,F(xiàn)acebook 感覺我們的某些標(biāo)記為 CC-BY 的外部數(shù)據(jù)「明顯侵犯了第三方的權(quán)利」,目前不太清楚他們指的是哪些數(shù)據(jù)。即使事實(shí)如此,Kaggle 團(tuán)隊(duì)也應(yīng)該追查并驗(yàn)證發(fā)布該數(shù)據(jù)集的人是否有權(quán)利這樣做,以及我們?yōu)榱烁傎愇臋n的提交必須聘請權(quán)利清算服務(wù)——對方建議在提交競賽成績之前將外部數(shù)據(jù)傳遞給我們的律師,以確保沒有侵權(quán)。

盡管我們認(rèn)為這些額外的規(guī)則本可以在比賽中闡明,并且希望 Kaggle 在以后的比賽中在開始就闡明這些規(guī)則,但我們知道在這種情況下我們無能為力。我們與 Kaggle 和 Facebook 進(jìn)行了建設(shè)性的交流,我們對此表示感謝。在電話會議后大家一致同意,由于我們沒有故意破壞任何規(guī)則,因此應(yīng)該保留未使用任何外部數(shù)據(jù)的提交內(nèi)容,而僅取消獲勝的提交內(nèi)容的資格。

盡管如此,我們對花費(fèi)數(shù)月在比賽中獲得如此結(jié)果仍然非常失望。成功的 Kaggle 競賽依賴于競爭對手和 Kaggle 之間的信任,只有信任才能讓我們公平地解釋和執(zhí)行規(guī)則,但這種信任已被破壞。

Giba、Mikel、Yifan、Gary 與 Qishen
All Faces are Real

沒有觸犯任何規(guī)則卻被取消了成績,還要求參賽隊(duì)伍提交額外數(shù)據(jù)集里出現(xiàn)人物每個人肖像的授權(quán)許可,facebook 這樣「魔性」的要求讓參賽隊(duì)伍在過去兩個月的交涉過程中身心俱疲。這一事件爆出后立即引發(fā)了社區(qū)的大量討論,F(xiàn)acebook 對于頭名團(tuán)隊(duì)的奇怪要求成為了主要槽點(diǎn):


英偉達(dá)資深系統(tǒng)軟件工程師,Kaggle Grandmaster 獲得者 Bojan Tunguz 對此表示:「幾乎所有計算機(jī)視覺研究都依賴于預(yù)先訓(xùn)練的模型,這些模型顯然已經(jīng)在有人類照片的數(shù)據(jù)集上進(jìn)行了訓(xùn)練。如果我們需要所有這些人的明確同意才能進(jìn)行研究,那么就不會有什么開放科學(xué)?!?/span>

根據(jù) Kaggle 條款,除非法律禁止,否則你與任何競賽實(shí)體因?yàn)閿?shù)據(jù)競賽產(chǎn)生的糾紛,任何獎項(xiàng)的確定都不得訴諸于任何形式的集體訴訟。因此這一爭議目前看來無法通過法律途徑來解決了。

但 All Faces Are Real Team 的成員表示,已經(jīng)在尋求律師幫助,但是作為參賽選手,法律上受到的保護(hù)有限。

參考鏈接:
https://www./c/deepfake-detection-challenge/discussion/157983
https://ai./blog/deepfake-detection-challenge-results-an-open-initiative-to-advance-ai/

世界人工智能大會線上活動(WAIC)是由上海市政府打造的國際頂級人工智能會議。為進(jìn)一步促進(jìn)人工智能技術(shù)與產(chǎn)業(yè)相融合,推動開發(fā)者技術(shù)生態(tài)建設(shè),WAIC 2020年黑客馬拉松將于7月9日-11日期間舉辦。

    本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點(diǎn)。請注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息,謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請點(diǎn)擊一鍵舉報。
    轉(zhuǎn)藏 分享 獻(xiàn)花(0

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多