|
大數(shù)據(jù)文摘出品 作者：蔣寶尚 鑒黃師是一個(gè)因?yàn)椤皰唿S打非”的需要而設(shè)立的特殊崗位。 在互聯(lián)網(wǎng)色情內(nèi)容暴增的情況下其在凈化網(wǎng)絡(luò)的任務(wù)中扮演著非常重要的角色。 然而長期面對大量色情內(nèi)容的刺激使這類工作者往往要承受心理、生理的雙重壓力。 機(jī)器學(xué)習(xí)和深度學(xué)習(xí)發(fā)展到了今天，造出的AI已經(jīng)可以在下棋方面狂虐人類。設(shè)計(jì)個(gè)識(shí)別不雅圖片的算法也不難實(shí)現(xiàn)。 GitHub 上開源了一款鑒定不雅內(nèi)容的js庫NSFW JS，你可以根據(jù)他的教程，搭建屬于你自己的鑒黃客戶端，甚至都不需要讓文件離開用戶的電腦。
貢獻(xiàn)者的背景非常復(fù)雜，例如Gant Laborde是Infinite Red的首席技術(shù)戰(zhàn)略家，Jamon Holmgren是Infinite Red的聯(lián)合創(chuàng)始人。Frank von Hoven III是Infinite Red的軟件工程師，Sean Nam和Gilbert Emerson則都是計(jì)算機(jī)專業(yè)的學(xué)生。 懶得動(dòng)手的小伙伴，作者也給出了網(wǎng)頁版的AI，只需要把圖片上傳到網(wǎng)頁，只需幾秒就能出來識(shí)別結(jié)果。 先給出github項(xiàng)目地址和網(wǎng)頁地址： 網(wǎng)頁地址： https:/// 項(xiàng)目地址： https://github.com/infinitered/nsfwjs 打開網(wǎng)頁是這樣的? 輸入圖片后的表現(xiàn)是這樣的? 嗯，算法還算準(zhǔn)確，兩個(gè)人物露了這么多的肉，還能準(zhǔn)確識(shí)別這不屬于不雅內(nèi)容。 注意這五個(gè)標(biāo)簽的意思是：繪畫（Drawing）：無害的藝術(shù)，或藝術(shù)繪畫。變態(tài)（Hentai）：色情藝術(shù)，不適合大多數(shù)工作環(huán)境下觀看。中立（Neutral）：一般，無害的內(nèi)容。色情（Porn）：不雅的內(nèi)容和行為，通常涉及生殖器。性感（Sexy）：不合時(shí)宜的挑釁內(nèi)容。 那我們再來一張，升級(jí)一下難度? 不錯(cuò)不錯(cuò)，竟然能識(shí)別出來裸體的思考者不屬于不雅內(nèi)容，可以說厲害極了。 那....再來一張? 色情藝術(shù)和繪畫藝術(shù)幾乎五五開，這讓人有點(diǎn)摸不著頭腦了！
數(shù)據(jù) 準(zhǔn)確率如此優(yōu)秀的模型，怎么可能少了優(yōu)質(zhì)的數(shù)據(jù)做支撐。 根據(jù)項(xiàng)目github的介紹，這個(gè)算法的訓(xùn)練來自一位名叫Alexander Kim的數(shù)據(jù)科學(xué)家貢獻(xiàn)的數(shù)據(jù)集。 數(shù)據(jù)集地址： https://github.com/alexkimxyz/nsfw_data_scraper 數(shù)據(jù)集一共將內(nèi)容分為5類，分別是：hentai、sexy、neutral、drawings、porn，代表的含義和上文介紹的一樣。 除此之外，還有每個(gè)腳本的作用也做了解釋，使用者可以做到心中有數(shù)！ 這些數(shù)據(jù)集可以用來訓(xùn)練圖像分類器，使用CNN做出來的分類器，分辨上述的5種圖像準(zhǔn)確度可以達(dá)到91%。 數(shù)據(jù)集中，一共有227995張圖片。其中，hentai類別中有45228張；sexy類別19554張；neutral有20960張、drawings有25732張；porn類別最多，有116521張。而這些圖片，都以txt格式的形式存儲(chǔ)圖片的網(wǎng)頁鏈接，以drawings類別為例： 注意：注意有少數(shù)圖片的網(wǎng)址已經(jīng)失效 另外，這個(gè)數(shù)據(jù)集的github項(xiàng)目，也對運(yùn)行環(huán)境和以及運(yùn)行方式做了介紹，需要的小伙伴可以去github地址查看： https://github.com/alexkimxyz/nsfw_data_scraper
如何使用
根據(jù)網(wǎng)站給出的博客文章，只有三個(gè)步驟：1.獲取代碼；2.在客戶端加載模型；3.對圖像進(jìn)行分類。 博客主要展示的是node風(fēng)格的用法，首先引入NSFW JS，當(dāng)然，需要事先獲取ensorflowJS。
然后在 JS 文件中導(dǎo)入 Node 模塊： // Load files from the server to the client! // or just use require('nsfwjs') 然后在客戶端加載模型，這個(gè)“模型”是用來評價(jià)函數(shù)的。模型的文件可以下載，而且這些文件是 4MB 大小的分片，便于在客戶端進(jìn)行緩存。在示例中，作者將它們放在 public/model/ 文件夾中。
加載模型的路徑要注意，如果你的目錄也和作者一樣，可以?
現(xiàn)在，模型已經(jīng)在客戶端的內(nèi)存當(dāng)中了，接下來做的是對頁面上的圖像元素進(jìn)行分類。 // Gimme that image // Classify the image 預(yù)測在默認(rèn)情況下將返回 5 個(gè)分類結(jié)果，按照概率的大小進(jìn)行排序！例如：
所有概率的加起來等于1 。在使用的過程中，你可以標(biāo)記關(guān)注概率超過 0.6分類，或者僅關(guān)注概率值最高的那個(gè)。 另外，模型可以會(huì)出現(xiàn)一定概率的誤報(bào)，原因可能是標(biāo)記的數(shù)據(jù)存在偏差，隨著對數(shù)據(jù)的校正，誤報(bào)會(huì)逐漸減少，當(dāng)然，這是一個(gè)漸進(jìn)的過程。但是對于不雅內(nèi)容，出現(xiàn)識(shí)別誤差要比漏報(bào)好很多。 因?yàn)槭情_源的，模型一直在改進(jìn)，你也可以加入算法改進(jìn)的隊(duì)列當(dāng)中去喲~ 最后，作者建議在做一些項(xiàng)目的過程中要打開你的想象力，正如下面的幻燈片說說的那樣?
相關(guān)報(bào)道： https://github.com/infinitered/nsfwjs https://shift./avoid-nightmares-nsfw-js-ab7b176978b1 實(shí)習(xí)/全職編輯記者招聘ing 加入我們，親身體驗(yàn)一家專業(yè)科技媒體采寫的每個(gè)細(xì)節(jié)，在最有前景的行業(yè)，和一群遍布全球最優(yōu)秀的人一起成長。坐標(biāo)北京·清華東門，在大數(shù)據(jù)文摘主頁對話頁回復(fù)“招聘”了解詳情。簡歷請直接發(fā)送至zz@bigdatadigest.cn |
|
|
