通過Spark Streaming進(jìn)行設(shè)備日志監(jiān)控報(bào)警及性能優(yōu)化1、Spark Streaming進(jìn)行設(shè)備監(jiān)控及報(bào)警 ELK Stack：一整套開源的日志處理平臺(tái)解決方案，可以集日志的采集、檢索、可視化于一身，真正的處理現(xiàn)在的首選是Spark Streaming，中間件為Kafka用于做ELK和Spark Streaming之間的適配，關(guān)鍵的地方在于可以通過Spark Streaming中的.transform方法可以實(shí)現(xiàn)非常復(fù)雜的功能，而通過foreachRDD可以根據(jù)處理的結(jié)果發(fā)送郵件、短信、調(diào)用第三方平臺(tái)或者報(bào)警系統(tǒng)等。 Transoform可觸發(fā)Action |
|
|
