小男孩‘自慰网亚洲一区二区,亚洲一级在线播放毛片,亚洲中文字幕av每天更新,黄aⅴ永久免费无码,91成人午夜在线精品,色网站免费在线观看,亚洲欧洲wwwww在线观看

分享

你覺(jué)得可以用python爬蟲(chóng)做哪些有意思的事情?

 梅與牛 2019-12-15

當(dāng)然是批量下載B站視頻啦,主要分為2步,首先爬取視頻url地址,然后根據(jù)url地址下載視頻,下面我簡(jiǎn)單介紹一下實(shí)現(xiàn)過(guò)程,實(shí)驗(yàn)環(huán)境win10+python3.6+pycharm5.0,主要內(nèi)容如下:

這里為了更好的說(shuō)明實(shí)驗(yàn)過(guò)程,以爬取B站的TED演講為例,如下:

1.首先,爬取視頻的url地址信息,B站視頻的信息是動(dòng)態(tài)加載的,存儲(chǔ)在一個(gè)json文件中,所以需要進(jìn)行抓包分析,按F12調(diào)出開(kāi)發(fā)者,F(xiàn)5刷新頁(yè)面,查看所有抓包信息,如下,可以看到j(luò)son格式加載的視頻信息:

2.接著就是獲取上面的json文件,解析這個(gè)json文件,提取到我們所需要的視頻信息,這里主要是獲取到url地址信息,代碼如下,主要用到requests和json這2個(gè)模塊,其中requests用于獲取json文件,json用于解析json文件:

運(yùn)行程序,效果如下,已經(jīng)成功獲取到視頻信息:

3.最后就是根據(jù)視頻url地址批量下載視頻了,這里主要用到y(tǒng)ou-get這個(gè)模塊,安裝的話,直接在cmd窗口輸入命令“pip install you-get”就行,基本使用方式“you-get 視頻URL地址 -o 視頻存放目錄”,這里我們直接使用os.system執(zhí)行這個(gè)命令就行,主要代碼如下,非常簡(jiǎn)單:

運(yùn)行程序,截圖如下,已經(jīng)開(kāi)始下載視頻:

接著打開(kāi)對(duì)應(yīng)的視頻存放目錄,就可以看到正在下載的文件,如下:

至此,我們就完成了利用python爬取并批量下載B站視頻??偟膩?lái)說(shuō),整個(gè)過(guò)程非常簡(jiǎn)單,就是步驟有些繁瑣,只要你有一定的python爬蟲(chóng)基礎(chǔ),熟悉一下上面代碼,多調(diào)試幾遍程序,很快就能掌握的,網(wǎng)上也有相關(guān)教程和資料,非常豐富詳細(xì),感興趣的話,可以搜一下,希望以上分享的內(nèi)容能對(duì)你有所幫助吧,也歡迎大家評(píng)論、留言。

    本站是提供個(gè)人知識(shí)管理的網(wǎng)絡(luò)存儲(chǔ)空間,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點(diǎn)。請(qǐng)注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購(gòu)買等信息,謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請(qǐng)點(diǎn)擊一鍵舉報(bào)。
    轉(zhuǎn)藏 分享 獻(xiàn)花(0

    0條評(píng)論

    發(fā)表

    請(qǐng)遵守用戶 評(píng)論公約

    類似文章 更多