|
4月10日InfoQ中文站和百度合作舉辦了首屆百度技術(shù)沙龍，邀請(qǐng)了百度Web開發(fā)高級(jí)工程師和豆瓣網(wǎng)系統(tǒng)程序員劉洪清分享了他們對(duì)數(shù)據(jù) 交互的理解，本文簡單總結(jié)了他們演講的內(nèi)容并提供了演講資料下載。 據(jù)介紹，本這次是百度第一次深入社區(qū)，通過線下活動(dòng)的形式和業(yè)界技術(shù)人員 交流。從整個(gè)活動(dòng)的策劃和準(zhǔn)備，以及百度在CSDN網(wǎng)站上開始的討論專區(qū)，可 以看出百度已經(jīng)將與社區(qū)的交流提上了議事日程。在和百度講師黃方榮、百度產(chǎn)品市場經(jīng)理鄭昊的溝通中，他們也提到雖然百度內(nèi)部經(jīng)常有類似的交流活動(dòng)，但和外 界的交流還是比較少，這次活動(dòng)是一次嘗試，如果效果不錯(cuò)，以后會(huì)繼續(xù)和InfoQ聯(lián)合舉辦類似的活動(dòng)。 在黃方榮的演講中，他主要介紹了數(shù)據(jù)在Web發(fā)展中的重要性，即“數(shù)據(jù)交互推動(dòng)著Web的發(fā)展”，介紹的內(nèi)容點(diǎn)包括：
在每個(gè)技術(shù)點(diǎn)中，黃方榮都列舉了多個(gè)解決方案進(jìn)行類比。比如在介紹Server數(shù)據(jù)推送時(shí)，他提到了輪詢、長連接、偽長連接等不同的應(yīng)用及各自特 點(diǎn)。而對(duì)于數(shù)據(jù)的壓縮處理，他則介紹了YUI Compressor和GZIP不同的應(yīng)用場景。最后，他總結(jié)說在Web2.0時(shí)代，Ajax大行其道，為網(wǎng)站提供了酷炫的交互界面，而在Web3.0時(shí) 代，數(shù)據(jù)的交互將會(huì)更加人性化和簡便。根據(jù)與會(huì)者的反饋，美中不足的是黃方榮在介紹數(shù)據(jù)交互的應(yīng)用場景時(shí)，并沒有比較多地涉及這些技術(shù)是如何在百度產(chǎn)品上 使用的，這讓許多慕名而來的技術(shù)人員有些失望。 劉洪清是豆瓣網(wǎng)的系統(tǒng)程序員，同時(shí)也是豆瓣開源數(shù)據(jù)存儲(chǔ)系統(tǒng) BeansDB，這次他主要介紹了如何應(yīng)用BeansDB來解決三千多萬豆瓣用戶持續(xù)增長的數(shù)據(jù)需求。豆瓣現(xiàn)在有超過3800萬的用戶，有15萬 個(gè)小組，430萬條目，300萬評(píng)論等，換算成后臺(tái)的數(shù)據(jù)，則是200G結(jié)構(gòu)化數(shù)據(jù)，800G文本數(shù)據(jù)，10T圖片，6T音樂等等。要保證這些數(shù)據(jù)24小 時(shí)的穩(wěn)定性，安全性和可用性，并不是一件易事。豆瓣采取的措施就是將數(shù)據(jù)進(jìn)行分類，比如將用戶信息、好友關(guān)系等歸為結(jié)構(gòu)化數(shù)據(jù)類型，將文本內(nèi)容、圖片等歸 為小文件類型，而日志和備份數(shù)據(jù)歸為大文件類型。然后采用不同的技術(shù)來解決問題，比如結(jié)構(gòu)化數(shù)據(jù)用MySQL，小文件用BeansDB，大文件用 MooseFS等。 在問答環(huán)節(jié)，有讀者對(duì)豆瓣廣播的實(shí)現(xiàn)方式很感興趣，劉洪清介紹說： 豆瓣的廣播跟twitter等微博客收件箱的實(shí)現(xiàn)思路不太一樣，是只保持一分廣播副本, 在用戶瀏覽的時(shí)候?qū)崟r(shí)合并，依靠精巧的緩存和數(shù)據(jù)流設(shè)計(jì)，能夠在用戶可接受的時(shí)間范圍內(nèi)完成復(fù)雜的廣播合并。這種方式可以大大減少數(shù)據(jù)庫中的數(shù)據(jù)量和壓 力, 也與我們產(chǎn)品的某些特性配合得比較好。這種實(shí)現(xiàn)方式可行的前提是，用戶的關(guān)注數(shù)是有限的，一般在一百左右，對(duì)社會(huì)網(wǎng)絡(luò)的相關(guān)研究也是類似的結(jié)論。 對(duì)于MySQL的雙Master如何實(shí)現(xiàn)，以及如何避免諸如自增ID等可能的數(shù)據(jù)沖突等問題，劉洪清也介紹了豆瓣的做法： 豆瓣目前的雙Master主要是處于切換的便利性考慮，數(shù)據(jù)讀寫方面其實(shí)是Master-Slave結(jié)構(gòu)，通過運(yùn)維的方式來控制，同時(shí)只有一個(gè) Master是可寫的，比如修改賬號(hào)權(quán)限等，這樣就沒有數(shù)據(jù)沖突的問題了。 本次百度技術(shù)沙龍的演講資料現(xiàn)在已經(jīng)可以下載，鏈接為：Web 數(shù)據(jù)交互的藝術(shù)、豆瓣數(shù)據(jù)存儲(chǔ)實(shí)踐資料下載 本次活動(dòng)原計(jì)劃80人到場，結(jié)果有400多人報(bào)名，近300人到場，組織者不得不加急調(diào)整了一個(gè)大的會(huì)議室人到場。有讀者開玩笑說，百度在開拓技術(shù) 社區(qū)方面開了個(gè)頭彩。我們也希望類似百度這樣的國內(nèi)大公司能夠更多地關(guān)注社區(qū)，和社區(qū)分享他們的開發(fā)經(jīng)驗(yàn)，讓信息在社區(qū)內(nèi)流動(dòng)起來。 |
|
|
