|
正式介紹weixin_crawler之前，我準(zhǔn)備了兩個(gè)問(wèn)題，這兩個(gè)問(wèn)題通過(guò)weixin_crawler自帶的報(bào)告和搜索指數(shù)都能得到回答。 問(wèn)題1：高考在每年的幾月舉行？ 有無(wú)數(shù)種方法可以知道這個(gè)問(wèn)題的答案。鑒于手頭有60個(gè)公眾號(hào)的全部發(fā)文數(shù)據(jù)，共計(jì)大約14萬(wàn)篇文章，其中包含了文章的發(fā)文時(shí)間、正文、閱讀量等信息，于是決定使用“大數(shù)據(jù)”回答這個(gè)問(wèn)題。 在這14萬(wàn)篇文章中出現(xiàn)“高”或者“考”的文章有12285篇，出現(xiàn)“高考”的文章有4390篇，按照月份統(tǒng)計(jì)這4390篇文章就得到了這張條形圖，很明顯每年的6月份出現(xiàn)“高考”的文章最多，如下圖。 所以也就不難回答高考所在的月份了，這個(gè)問(wèn)題只是起到一個(gè)拋磚引玉的用途，類似的問(wèn)題還有很多，比如“創(chuàng)客教育是在哪一年興起的？” 問(wèn)題2：一個(gè)公眾號(hào)應(yīng)該在一天的哪個(gè)個(gè)小時(shí)段推文？ 以新加坡萬(wàn)事通為例，新加坡萬(wàn)事通截止到今天累計(jì)發(fā)文10450篇。 第一步，獲取公眾號(hào)新加坡萬(wàn)事通的全部歷史發(fā)文，得到每篇文章的發(fā)文小時(shí)和閱讀量。 第二步，統(tǒng)計(jì)每個(gè)小時(shí)段內(nèi)的發(fā)文總數(shù)，會(huì)得到一個(gè)類似這樣的條形圖。從下圖可見該公眾號(hào)主要是晚上7、8、8、10和凌晨12點(diǎn)發(fā)文為主，由此可大致推測(cè)目標(biāo)讀者的作息時(shí)間。 第三步，計(jì)算每個(gè)小時(shí)段發(fā)文閱讀量的平均數(shù)或者中位數(shù)。如下圖，可見晚上8點(diǎn)鐘發(fā)文的閱讀量中位數(shù)最高。 那些發(fā)文量靠前同時(shí)平均閱讀量最高的小時(shí)段就應(yīng)該是最佳發(fā)文時(shí)間，該公眾號(hào)應(yīng)該選擇在更早的8點(diǎn)發(fā)文而不是大量集中在9點(diǎn)發(fā)文，凌晨12點(diǎn)就更加不合適了。實(shí)際統(tǒng)計(jì)中發(fā)現(xiàn)相當(dāng)大比例的公眾號(hào)并非在最佳的小時(shí)段發(fā)文。 以上數(shù)據(jù)和統(tǒng)計(jì)計(jì)算工作通過(guò)都可以通過(guò)weixin_crawler一鍵完成，現(xiàn)在回到開源微信公眾號(hào)爬蟲weixin_crawler。 What is weixin_crawler? weixin_crawler是一款使用Scrapy、Flask、Echarts、Elasticsearch等實(shí)現(xiàn)的微信公眾號(hào)文章爬蟲，自帶分析報(bào)告和全文檢索功能，幾百萬(wàn)的文檔都能瞬間搜索 主要特點(diǎn)
|
|
|
