splunk針對(duì)機(jī)器學(xué)習(xí)的一個(gè)計(jì)算占用1 core的痛點(diǎn) ，splunk加入了 深度學(xué)習(xí)Deep learning Toolkit、ai ml dl 

深度學(xué)習(xí)Deep learning Toolkit分為3中模式:

一、監(jiān)督式學(xué)習(xí)

二、無(wú)監(jiān)督式學(xué)習(xí)

三、半監(jiān)督式學(xué)習(xí)

目的是強(qiáng)化機(jī)器學(xué)習(xí)解決之前的痛點(diǎn)，是否有監(jiān)督（supervised），就看輸入數(shù)據(jù)是否有標(biāo)簽（label）。輸入數(shù)據(jù)有標(biāo)簽，則為有監(jiān)督學(xué)習(xí)，沒(méi)標(biāo)簽則為無(wú)監(jiān)督學(xué)習(xí)。

其中重點(diǎn)說(shuō)明了

1）監(jiān)督式

輸入數(shù)據(jù)被稱(chēng)為“訓(xùn)練數(shù)據(jù)”，每組訓(xùn)練數(shù)據(jù)有一個(gè)明確的標(biāo)識(shí)或結(jié)果，如對(duì)防垃圾郵件系統(tǒng)中“垃圾郵件”“非垃圾郵件”，在建立預(yù)測(cè)模型的時(shí)候，監(jiān)督式學(xué)習(xí)建立一個(gè)學(xué)習(xí)過(guò)程，將預(yù)

測(cè)結(jié)果與“訓(xùn)練數(shù)據(jù)”的實(shí)際結(jié)果進(jìn)行比較，不斷的調(diào)整預(yù)測(cè)模型，直到模型的預(yù)測(cè)結(jié)果達(dá)到一個(gè)預(yù)期的準(zhǔn)確率。

監(jiān)督式學(xué)習(xí)的常見(jiàn)應(yīng)用場(chǎng)景如分類(lèi)問(wèn)題和回歸問(wèn)題。

常見(jiàn)算法有邏輯回歸（Logistic Regression）和反向傳遞神經(jīng)網(wǎng)絡(luò)（Back Propagation Neural Network）

此處以高考為例，高考的題目在上考場(chǎng)前我們未必做過(guò)，但在高中三年我們做過(guò)很多很多題目，懂解題方法，因此考場(chǎng)上面對(duì)陌生問(wèn)題也可以算出答案。

機(jī)器學(xué)習(xí)的思路也類(lèi)似：我們能不能利用一些訓(xùn)練數(shù)據(jù)（已經(jīng)做過(guò)的題），使機(jī)器能夠利用它們（解題方法）分析未知數(shù)據(jù)（高考的題目）？

最簡(jiǎn)單也最普遍的一類(lèi)機(jī)器學(xué)習(xí)算法就是分類(lèi)

（classification）。

對(duì)于分類(lèi)，輸入的訓(xùn)練數(shù)據(jù)有特征（feature），有標(biāo)簽（label）。

所謂的學(xué)習(xí)，其本質(zhì)就是找到特征和標(biāo)簽間的關(guān)系（mapping）。

這樣當(dāng)有特征而無(wú)標(biāo)簽的未知數(shù)據(jù)輸入時(shí)，我們就可以通過(guò)已有的關(guān)系得到未知數(shù)據(jù)標(biāo)簽。在上述的分類(lèi)過(guò)程中，如果所有訓(xùn)練數(shù)據(jù)都有標(biāo)簽，則為有監(jiān)督學(xué)習(xí)（supervised learning）。如

果數(shù)據(jù)沒(méi)有標(biāo)簽，顯然就是無(wú)監(jiān)督學(xué)習(xí)（unsupervised learning）了，也即聚類(lèi)（clustering）。

2）無(wú)監(jiān)督式

我們有一些問(wèn)題，但是不知道答案，我們要做的無(wú)監(jiān)督學(xué)習(xí)就是按照他們的性質(zhì)把他們自動(dòng)地分成很多組，每組的問(wèn)題是具有類(lèi)似性質(zhì)的（比如數(shù)學(xué)問(wèn)題會(huì)聚集在一組，英語(yǔ)問(wèn)題會(huì)聚集在一

組，物理…）。

所有數(shù)據(jù)只有特征向量沒(méi)有標(biāo)簽，但是可以發(fā)現(xiàn)這些數(shù)據(jù)呈現(xiàn)出聚群的結(jié)構(gòu)，本質(zhì)是一個(gè)相似的類(lèi)型的會(huì)聚集在一起。

把這些沒(méi)有標(biāo)簽的數(shù)據(jù)分成一個(gè)一個(gè)組合，就是聚類(lèi)（Clustering）。

比如Google新聞，每天會(huì)搜集大量的新聞，然后把它們?nèi)烤垲?lèi)，就會(huì)自動(dòng)分成幾十個(gè)不同的組（比如娛樂(lè)，科技，政

治…），每個(gè)組內(nèi)新聞都具有相似的內(nèi)容結(jié)構(gòu)。

無(wú)監(jiān)督學(xué)習(xí)還有一個(gè)典型的例子就是雞尾酒會(huì)問(wèn)題（聲音的分離），在這個(gè)酒會(huì)上有兩種聲音，被兩個(gè)不同的麥克風(fēng)在不同的地方接收到，而可以利用無(wú)監(jiān)督學(xué)習(xí)來(lái)分離這兩種不同的聲音。

注意到這里是無(wú)監(jiān)督學(xué)習(xí)的原因是，事先并不知道這些聲音中有哪些種類(lèi)（這里的種類(lèi)就是標(biāo)簽的意思）。

目前分類(lèi)算法的效果還是不錯(cuò)的，但相對(duì)來(lái)講，聚類(lèi)算法就有些慘不忍睹了。確實(shí)，無(wú)監(jiān)督學(xué)習(xí)本身的特點(diǎn)使其難以得到如分類(lèi)一樣近乎完美的結(jié)果。

這也正如我們?cè)诟咧凶鲱}，答案（標(biāo)簽）是非常重要的，假設(shè)兩個(gè)完全相同的人進(jìn)入高中，一個(gè)正常學(xué)習(xí)，另一人做的所有題目都沒(méi)有答案，那么想必第一個(gè)人高考會(huì)發(fā)揮更好，第二個(gè)人會(huì)

發(fā)瘋。

這時(shí)各位可能要問(wèn)，既然分類(lèi)如此之好，聚類(lèi)如此之不靠譜，那為何我們還可以容忍聚類(lèi)的存在？

因?yàn)樵趯?shí)際應(yīng)用中，標(biāo)簽的獲取常常需要極大的人工工作量，有時(shí)甚至非常困難。例如在自然語(yǔ)言處理（NLP）中，Penn Chinese Treebank在2年里只完成了4000句話(huà)的標(biāo)簽……

從splunk社區(qū)老楊哪里得知他的朋友們感覺(jué)splunk 的syslog不太友好，而且很多設(shè)備數(shù)據(jù)接入都是syslog數(shù)據(jù)類(lèi)型無(wú)法清晰的分辨他們自己開(kāi)發(fā)了一個(gè)splunk connect for syslog。

第三方Splunk Connect for Syslog（SC4S）是一個(gè)社區(qū)項(xiàng)目，致力于減輕將syslog數(shù)據(jù)源引入Splunk的痛苦。SC4S解決的主要痛點(diǎn)包括以下內(nèi)容……

社區(qū)中缺乏豐富的syslog專(zhuān)業(yè)知識(shí)

syslog服務(wù)器部署之間的不一致帶來(lái)了支持挑戰(zhàn)

標(biāo)記了全部源類(lèi)型“ syslog”的數(shù)據(jù)源限制了Splunk分析

Splunk索引器之間的數(shù)據(jù)分配不均會(huì)影響搜索性能

Splunk Connect for Syslog應(yīng)該由需要通過(guò)syslog到Splunk加載數(shù)據(jù)源的任何Splunk客戶(hù)使用。

下載鏈接：https://github.com/splunk/splunk-connect-for-syslog

從百度安全人員哪里學(xué)習(xí)到了lookup的用途以及快速查找的用途，他們有一個(gè)痛點(diǎn)是針對(duì)tcp6的ip無(wú)法定位以及時(shí)間上他們用腳本的方式進(jìn)行校準(zhǔn)，還有一個(gè)很好用的slookup-file-

editor_332,可以清楚的看到你創(chuàng)建的lookup表、以及講述了splunk SAS插件模板的好處可以參考思科的 SAS app。

更多的講述了splunk的8.0+的新功能、對(duì)字段的權(quán)限控制、自定義指標(biāo)、工作負(fù)載管理等、針對(duì)app他們還提供了一個(gè)splunk-dashboards-app-beta_032（僅支持8.0版本）可以自定義開(kāi)發(fā)復(fù)

制json 制作相同案例的APP DEMO（針對(duì)開(kāi)發(fā)人員）。

介紹了安全的對(duì)接架構(gòu)Splunk Enterprise Security、Splunk Phantom Splunk 、User Behavior Analytics、Splunk Business Flow。

以上僅個(gè)人記憶整理并不代表全部?jī)?nèi)容。