那么遇到的最大挑戰(zhàn)什么？就是大數(shù)據(jù)，數(shù)據(jù)量大了以后原來看來不是很大的問題的時(shí)候都會(huì)成為很大的問題。所以在未來，可能會(huì)采用新的技術(shù)，比如說專門開發(fā)了一套傳輸日志的技術(shù)，這樣的技術(shù)我們未來可能會(huì)用，因?yàn)榻裉煲呀?jīng)進(jìn)入到這個(gè)時(shí)代，大數(shù)據(jù)的存儲(chǔ)是hds，大數(shù)據(jù)的計(jì)算是map-reduce，實(shí)時(shí)性的提高是hbase，在這樣一個(gè)環(huán)境里面，性能并不是一個(gè)瓶頸。這點(diǎn)和以前的分析是有很大的區(qū)別。那么未來還要考慮到實(shí)時(shí)性的提高，現(xiàn)在其實(shí)已經(jīng)可以做到，未來可以做到更快，如果要提高實(shí)時(shí)性的話，會(huì)考慮hbase，所以我們面對(duì)的最大問題是大數(shù)據(jù)?，F(xiàn)有流程，這個(gè)架構(gòu)符號(hào)，先是日志收集，然后經(jīng)過ETL，進(jìn)行規(guī)則分析，最后是結(jié)果輸出，其實(shí)也可以看到這樣的一個(gè)倉庫，把日志收集，經(jīng)過ETL，進(jìn)行規(guī)則分析，然后進(jìn)行結(jié)果的輸出。前面講了大數(shù)據(jù)以后，在阿里今天的數(shù)據(jù)請(qǐng)求是每天十多億，基本上半個(gè)小時(shí)分析完，但是仍有有提高的空間。所以說他的處理的能力還是有非常大的提高空間的，我們可以申請(qǐng)更多的資源，讓它變得更快，滿足更多的需求。所以說處理也不是非常強(qiáng)的，仍然有提高的空間，因?yàn)榘⒗锸亲鰳I(yè)務(wù)，會(huì)有很多網(wǎng)站，把這些網(wǎng)站集中起來，我們一起做這個(gè)業(yè)務(wù)，會(huì)有很多的數(shù)據(jù)價(jià)值，在未來數(shù)據(jù)是很重要的。我們到底要分析什么？分析什么呢？在一開始我想的非常理想，我提出了一個(gè)假設(shè)，就是互聯(lián)網(wǎng)網(wǎng)站的請(qǐng)求，正常的請(qǐng)求都是有規(guī)律的，但是異常攻擊的請(qǐng)求是有明顯區(qū)別于正常請(qǐng)求的，如果我們把正常的區(qū)分出來，那么異常的就出來的。比如URL，可能大部分URL都是來自比較固定的來源，那么少數(shù)的就不是異常，結(jié)果這個(gè)結(jié)果就是產(chǎn)生了過多的噪音，你會(huì)看到每天會(huì)和這些噪音做戰(zhàn)斗，結(jié)果產(chǎn)生了過高的人力成本，最后成果并不是特別大。到第二年，又做了一個(gè)，我們就檢測(cè)一些供給類型，注冊(cè)、文件包含這些，跨站，如果在請(qǐng)求里面，出現(xiàn)了Alibaba的需求vs小網(wǎng)站的需求，結(jié)果第二年還是失敗的，這個(gè)時(shí)候檢測(cè)出意義其實(shí)并不是特別大，也可以看到很多請(qǐng)求，但是發(fā)給安全主管，會(huì)發(fā)現(xiàn)他拿這個(gè)東西不知道干什么，后來這個(gè)結(jié)果就造到了置疑。在阿里的網(wǎng)站，像文件包括這種，所以說到第三，我想到阿里的需求和其他的網(wǎng)站不一樣的。所以第二次嘗試是失敗的，到第三年，為中小網(wǎng)站提供服務(wù)，檢測(cè)什么東西，每一個(gè)漏洞新出來，比如說我們新出現(xiàn)一個(gè)漏洞，這些信息涉及到一個(gè)漏洞庫和知識(shí)庫的一個(gè)過程。到今天我又開始檢測(cè)具體的漏洞，每一個(gè)漏洞在網(wǎng)絡(luò)里面的實(shí)際攻擊情況到底是怎么樣的，到今天也算是做出來一些眉目了。其實(shí)一塊是做這個(gè)還是很好的，從實(shí)驗(yàn)室做到產(chǎn)品是有一定距離的。做到這里還沒做完，漏洞，供給，供給成功，當(dāng)我再次給老板看的時(shí)候，老板說沒用，這個(gè)價(jià)值其實(shí)意義并不是特別大，好了，把它做死，我們能夠檢測(cè)到攻擊，這些東西都是造成誤報(bào)的主要來源，有用嗎？用處不大。所以說這是一個(gè)非常關(guān)鍵的一個(gè)需求，所以在供給驗(yàn)證滯后，我們的流程加兩步，就變化了規(guī)則分析再到供給驗(yàn)證，再到結(jié)果分析。阿里已經(jīng)做了四五年，規(guī)則分析之后，把這些信息再進(jìn)去確認(rèn)一遍。這個(gè)是照的一張截圖，可以看到中間的，這兩分鐘處理了很多的數(shù)據(jù)。所以說整個(gè)大數(shù)據(jù)，隨著業(yè)務(wù)的增長這個(gè)數(shù)據(jù)量可能會(huì)更多的增長。在這個(gè)過程中，我們還做了web檢測(cè)，這是一個(gè)月內(nèi)的一個(gè)趨勢(shì)圖，在這個(gè)里面，每年都能發(fā)現(xiàn)，所以說今天的互聯(lián)網(wǎng)安全形勢(shì)是非常不樂觀的，其實(shí)我一開始在公司來說，也是一個(gè)意外，因?yàn)橐矝]想到會(huì)分析出來這么多，所以做安全的時(shí)候并不能僅僅憑想象。今天可以說能夠檢測(cè)到90%以上，甚至95%以上，有很多黑客寫的有加密的，所以說今天我們檢測(cè)這么多，實(shí)際上是非常了不起的成績，很有意思是90%以上是為了DDOS，而且發(fā)現(xiàn)多數(shù)webshell是ddos、掛暗鏈，掛馬。這集中行為都和地區(qū)無關(guān)，所以說現(xiàn)在的黑站，只需要把網(wǎng)站拿下來以后，他就可以完成他需要干的事情，左邊的這個(gè)是一個(gè)服務(wù)商分析，主要是webshell的一個(gè)服務(wù)商，在webshll請(qǐng)求量的趨勢(shì)，0.0026%為了webshell請(qǐng)求，因?yàn)閐dos能夠知道，就相當(dāng)于一種加速網(wǎng)絡(luò)，去下達(dá)指令的時(shí)候，不會(huì)產(chǎn)生一條新的請(qǐng)求，這其實(shí)也是一個(gè)問題。

此外對(duì)攻擊檢測(cè)，也這是日?qǐng)?bào)的一部分，可以看到有漏洞編號(hào)、漏洞描述，還有提取攻擊總數(shù)，被攻擊網(wǎng)站總數(shù)，被成功攻擊網(wǎng)站數(shù)，所以一定要把這一方面做透，否則也沒有什么意義。每當(dāng)有新漏洞公布時(shí)，DEDS CM5.7 SQLI（ssvid+60089），SHopex，當(dāng)然我們做的這種離線分析，我們用于統(tǒng)計(jì)，因?yàn)槲覀儼咐粋€(gè)安全數(shù)據(jù)倉庫，這是我們做的一份主要是手機(jī)方面病毒的統(tǒng)計(jì)，其實(shí)這里面可以看到一些很有意思的，iphone和ipad請(qǐng)求是差不多的，安卓可能會(huì)與iphene差不多，但是加了ipad之后就不行了。這些統(tǒng)計(jì)實(shí)際上也可以做為很有意思的統(tǒng)計(jì)，比如說在未來可以公布一個(gè)表，可以統(tǒng)計(jì)出來有多少系統(tǒng)的網(wǎng)站用戶被黑掉了，這些東西是非常重要的，可以直接看到這個(gè)網(wǎng)站到底安不安全。這個(gè)其實(shí)更多提供的是漏洞分析，這些漏洞其實(shí)有多少網(wǎng)站因?yàn)檫@個(gè)漏洞被黑掉，所以說這個(gè)漏洞是需要數(shù)據(jù)分析來找出來的。所以在未來這樣的一套系統(tǒng)，可能會(huì)為占提供數(shù)據(jù)安全分析的服務(wù)，同時(shí)也希望稱為互聯(lián)網(wǎng)安全的風(fēng)向標(biāo)。這就是我今天大家分享的一個(gè)主題，關(guān)于網(wǎng)站離線數(shù)據(jù)安全分析，謝謝大家。

（根據(jù)專家現(xiàn)場(chǎng)演講整理）