從1958年開始每年十二月Billboard都會發(fā)布一個年度百首流行曲金榜。這個圖表涵蓋了美國全年的流行單曲表現(xiàn)。

通過R語言，我已經(jīng)把50年的(1965-2015) 年度流行金榜百首的歌詞合并到一個數(shù)據(jù)集進(jìn)行分析。你可以在我的Github庫中下載該數(shù)據(jù)集。

獲取歌詞

用于分析的歌曲是來自于對維基百科中每個Billboard年度流行金榜百首（如2014年）的抓取。這是整個年度的圖表，而不是每周的排名。許多藝術(shù)家做過周圖表，但沒有做過年度圖表。年度圖表是通過周Billboard的逆點(diǎn)系統(tǒng)來進(jìn)行計(jì)算的。

我使用XML和RCurl從每個維基百科詞條中抓取歌曲和藝術(shù)家的名字。然后我用這個列表從有可預(yù)見的URL字符串的網(wǎng)站上抓取歌詞（例如，metrolyrics.com就使用metrolyrics.com/SONG-NAME-lyrics-ARTIST-NAME.html）。如果第一個站點(diǎn)抓取失敗了，就轉(zhuǎn)向第二個，依此類推。大約78.9％的歌詞是從metrolyics.com上抓取的，15.7％是從songlyrics.com上，1.8％是從lyricsmode.com上。另外大約3.6％（187/5100）沒有找到。

該數(shù)據(jù)集對5100個觀測對象根據(jù)歌曲、藝術(shù)家、年份、歌詞和來源進(jìn)行了1-100的特征等級劃分。歸功于維基百科藝術(shù)家特征是相當(dāng)標(biāo)準(zhǔn)化的，但當(dāng)涉及到與藝術(shù)家的合作時就存在一些問題。如果在抓取的歌詞中存在錯誤，如拼寫錯誤或另外的像把“night”寫成了“nite”，這些并沒有得到糾正。

管理數(shù)據(jù)

最常見的歌詞

58％一單首現(xiàn)象

出現(xiàn)在年度圖表上的1989名中的1154名藝術(shù)家（約占58％）都僅僅只有一首知名曲目。右邊的數(shù)據(jù)是通過把藝術(shù)家的歌曲進(jìn)行匯總而計(jì)算出來的；另外把“精選”藝術(shù)家都單獨(dú)列出來。這意味著只有位列第一的藝術(shù)家才能得到對其歌曲的完全信任。

馬拉松vs沖刺生涯

我們驚訝地發(fā)現(xiàn)一些位居表格頂端的藝術(shù)家反而有相對較短的職業(yè)生涯（Rihanna在10年時間內(nèi)有28個入表的歌曲），所以我觀察了一下歌手職業(yè)生涯的長度和入榜歌曲的平均數(shù)量之間的關(guān)系，并發(fā)現(xiàn)這兩者之間是呈負(fù)相關(guān)的。職業(yè)生涯跨度每增加一年，每年歌曲入榜平均數(shù)量就會減少94％。

*數(shù)據(jù)集不包括1964年披頭士樂隊(duì)第一年入選年度榜單，所以實(shí)際上他們的職業(yè)生涯跨度是12年。

隨時間增長歌詞的變化

詞匯和曲長不斷增長

數(shù)據(jù)集中的歌曲平均總長332個單詞，114種詞匯。平均字?jǐn)?shù)（包括種類和數(shù)量）隨著時間的推移不斷增加。字?jǐn)?shù)的變化量也有所增加，可能是由于隨著時間的推移進(jìn)入榜單排名的歌曲體裁更加多樣?？勺兎讲钔ㄟ^字?jǐn)?shù)統(tǒng)計(jì)的轉(zhuǎn)換日志進(jìn)行校正，并和兩個線性模型擬合，最后產(chǎn)生總系數(shù)0.01873和單詞種類系數(shù)0.0136。在每年的增加量上，總字?jǐn)?shù)平均每年增加1.87％，字?jǐn)?shù)種類增加1.36％。

這個增長可能是由于較長的歌曲——自從20世紀(jì)60年代以來歌曲逐漸從2.5分鐘增長至4分鐘，這時期快節(jié)奏的音樂風(fēng)格和歌曲特征盛行，超過了對某個藝術(shù)家的關(guān)注。

從Boogie到Bitch：十年間最具特色的歌詞

利用我先前的職位（Text Mining South Park）中列出的對數(shù)似然統(tǒng)計(jì)，我能夠識別在特定十年內(nèi)最有特色的歌詞?？傊谟休^高的對數(shù)似然語料庫中，單詞會比預(yù)期出現(xiàn)的頻率更高。 25個最有力的結(jié)果（總數(shù)>81; P <>下顯著度10.83）。

很明顯，個別歌曲是在反復(fù)重復(fù)從而影響了結(jié)果。這反而引起了對數(shù)似然在歌詞上的適用性方面的一個很好的議題——一首高度重復(fù)的歌曲會扭轉(zhuǎn)這個結(jié)果嗎？

注意事項(xiàng)

廣告牌年終熱門100首排行榜政策的變化

流行歌曲內(nèi)容的一般變化至少可以部分歸因于隨著時間的推移百強(qiáng)排名方法的演變。廣告牌通過發(fā)現(xiàn)和購買音樂的方法改變其排名政策以保持其時代相關(guān)性。

1958年至1991年：由單曲銷量和AirPlay的比例確定排名

1991年：廣告牌開始收集數(shù)字銷售數(shù)據(jù)（使用SoundScan的），以便更快更準(zhǔn)確的制作圖表

1998年：廣告牌要求歌曲必須作為單曲發(fā)行才能出現(xiàn)在圖表上

2005：包括數(shù)字下載（如iTunes）

2012：流媒體點(diǎn)播服務(wù)（Spotify，狂想曲）收錄

2013：包括視頻形式（YouTube）

現(xiàn)在的消費(fèi)者比以往在單曲榜中更多的發(fā)言權(quán)。在此之前的2005年，消費(fèi)者可以通過購買單曲或在電臺上點(diǎn)歌來影響圖表排名?，F(xiàn)在，消費(fèi)者可以通過觀看視頻、下載單曲或購買物理拷貝版本來對歌曲的流行度做出影響。