|
本文主要介紹Storm分布式集群環(huán)境的搭建,單機模式(又稱本地集群、偽分布式)作為集群模式的一個特例,也會在后面有所介紹。如果在安裝搭建的過程中遇到任何問題,可直接回復作者。 Storm集群搭建主要包括以下步驟: 1、搭建一個Zookeeper集群 2、在nimbus、supervisor節(jié)點安裝依賴包 3、在nimbus、supervisor節(jié)點下載并解壓縮Storm包 4、修改nimbus、supervisor節(jié)點的配置文件(storm.yaml) 5、使用storm腳本啟動守護進程(包括nimbus、supervisor、ui) Storm集群搭建一些準備 在自己的win2008服務器(IP:202.202.5.223)上安裝如下三臺虛擬機(普通PC機上也行): ①cluster01: 用戶名 / 密碼:nimbus / nimbus ip:192.168.170.128 ②cluster02: 用戶名 / 密碼:zookeeper / zookeeper ip:192.168.170.129 ③cluster03: 用戶名 / 密碼:supervisor / supervisor ip:192.168.170.130 此三臺虛擬機分別用作Storm集群中的nimbus節(jié)點、Zookeeper集群、supervisor節(jié)點,因此后面說的在nimbus節(jié)點上的操作實際上就是在cluster01這臺虛擬機上進行操作,其他類推。 1、搭建一個Zookeeper集群 在cluster02這臺虛擬機上搭建zookeeper集群,如何快速搭建zookeeper集群,請參考:http://nileader.blog.51cto.com/1381108/795230,此處不再贅述。 2、在nimbus、supervisor節(jié)點安裝依賴包 JDK必須安裝,本文不再贅述。(java -version檢查是否安裝JDK) 此外,Storm支持多種語言的開發(fā),需要安裝相應的環(huán)境。(如果需要運行storm-starter中的例子,則需要安裝Python) 3、下載并解壓Storm到nimbus、supervisor節(jié)點 下載地址:http://storm.incubator./downloads.html 注:解壓完之后,為了后面的使用方便,可以將storm的bin目錄添加到PATH環(huán)境變量中。 4、修改nimbus、supervisor節(jié)點的配置文件(storm.yaml) Storm的配置文件位于storm主目錄下的conf/storm.yaml,有四處強制需要指定,分別是: 1) storm.zookeeper.servers:指定zookeeper集群中的主機列表,本例中zookeeper集群只有一臺主機,配置如下: storm.zookeeper.servers: - “192.168.170.129″ 2) storm.local.dir: nimbus和supervisor進程需要一個本地磁盤上的目錄去存儲一些jar包、配置文件,需要注意此目錄的權限。 nimbus節(jié)點上的配置: storm.local.dir: “/home/nimbus/storm” supervisor節(jié)點上的配置: storm.local.dir: “/home/supervisor/storm” 3) nimbus.host:指定nimbus節(jié)點對應的主機,配置如下: nimbus.host: “192.168.170.128″ 4) supervisor.slots.ports:對于每個supervisor節(jié)點,需要指定一些端口,來運行相應數(shù)目的JVM進程。下面的配置開發(fā)了四個端口,即在supervisor節(jié)點上運行了四個JVM進程(4個worker、此處涉及到Storm中的并行化機制)。 supervisor.slots.ports: - 6700 - 6701 - 6702 - 6703 注:nimbus節(jié)點和supervisor節(jié)點上的storm.yaml均需要配置。 5、使用storm腳本啟動守護進程(包括nimbus、supervisor、ui) 1)nimbus:在nimbus節(jié)點上運行storm nimbus命令 2)supervisor:在supervisor節(jié)點上運行 storm supervisor命令 3)ui:在nimbus節(jié)點上運行storm ui命令,并訪問http://192.168.170.128:8080,出現(xiàn)如下界面則表明集群搭建成功:
單機版集群搭建(偽分布式)所謂偽分布式,其實并不是真正的分布式,它只是在一臺機器上模擬了一個真實的分布式的環(huán)境。同理,單機版集群環(huán)境也只是用一臺機器模擬了一個集群,即若干臺計算機組成的環(huán)境。 單機版集群搭建的步驟與Storm集群環(huán)境的搭建過程大致相同,不過需要注意的是: 1)由于單機版集群只有一臺主機,并不涉及與其他機器之間的通信,因此,在出現(xiàn)ip地址的地方用localhost或者127.0.0.1代替即可。 2)由于nimbus、supervisor都在同一臺機器上,因此storm.yaml文件只需配置一次即可。 可能出現(xiàn)的問題在啟動nimbus、supervisor守護進程時如果出現(xiàn)問題,不妨把linux的防火墻暫時關閉一下,筆者在部署Storm集群時就遇到過這個問題。 在使用Storm時可能出現(xiàn)的一些其他問題可以參考:http://storm.incubator./documentation/Troubleshooting.html |
|
|
來自: 昵稱20874412 > 《Storm》