小男孩‘自慰网亚洲一区二区,亚洲一级在线播放毛片,亚洲中文字幕av每天更新,黄aⅴ永久免费无码,91成人午夜在线精品,色网站免费在线观看,亚洲欧洲wwwww在线观看

分享

Storm開發(fā)環(huán)境快速搭建(單機、集群模式)

 昵稱20874412 2016-02-16

本文主要介紹Storm分布式集群環(huán)境的搭建,單機模式(又稱本地集群、偽分布式)作為集群模式的一個特例,也會在后面有所介紹。如果在安裝搭建的過程中遇到任何問題,可直接回復作者。

Storm集群搭建主要包括以下步驟:

1、搭建一個Zookeeper集群

2、在nimbus、supervisor節(jié)點安裝依賴包

3、在nimbus、supervisor節(jié)點下載并解壓縮Storm包

4、修改nimbus、supervisor節(jié)點的配置文件(storm.yaml)

5、使用storm腳本啟動守護進程(包括nimbus、supervisor、ui)

Storm集群搭建

一些準備

在自己的win2008服務器(IP:202.202.5.223)上安裝如下三臺虛擬機(普通PC機上也行):

①cluster01:

用戶名 / 密碼:nimbus / nimbus

ip:192.168.170.128

②cluster02:

用戶名 / 密碼:zookeeper / zookeeper

ip:192.168.170.129

③cluster03:

用戶名 / 密碼:supervisor / supervisor

ip:192.168.170.130

此三臺虛擬機分別用作Storm集群中的nimbus節(jié)點、Zookeeper集群、supervisor節(jié)點,因此后面說的在nimbus節(jié)點上的操作實際上就是在cluster01這臺虛擬機上進行操作,其他類推。

1、搭建一個Zookeeper集群

在cluster02這臺虛擬機上搭建zookeeper集群,如何快速搭建zookeeper集群,請參考:http://nileader.blog.51cto.com/1381108/795230,此處不再贅述。

2、在nimbus、supervisor節(jié)點安裝依賴包

JDK必須安裝,本文不再贅述。(java -version檢查是否安裝JDK)

此外,Storm支持多種語言的開發(fā),需要安裝相應的環(huán)境。(如果需要運行storm-starter中的例子,則需要安裝Python)

3、下載并解壓Storm到nimbus、supervisor節(jié)點

下載地址:http://storm.incubator./downloads.html

注:解壓完之后,為了后面的使用方便,可以將storm的bin目錄添加到PATH環(huán)境變量中。

4、修改nimbus、supervisor節(jié)點的配置文件(storm.yaml)

Storm的配置文件位于storm主目錄下的conf/storm.yaml,有四處強制需要指定,分別是:

1) storm.zookeeper.servers:指定zookeeper集群中的主機列表,本例中zookeeper集群只有一臺主機,配置如下:

storm.zookeeper.servers:

- “192.168.170.129″

2) storm.local.dir: nimbus和supervisor進程需要一個本地磁盤上的目錄去存儲一些jar包、配置文件,需要注意此目錄的權限。

nimbus節(jié)點上的配置:

storm.local.dir: “/home/nimbus/storm”

supervisor節(jié)點上的配置:

storm.local.dir: “/home/supervisor/storm”

3) nimbus.host:指定nimbus節(jié)點對應的主機,配置如下:

nimbus.host: “192.168.170.128″

4) supervisor.slots.ports:對于每個supervisor節(jié)點,需要指定一些端口,來運行相應數(shù)目的JVM進程。下面的配置開發(fā)了四個端口,即在supervisor節(jié)點上運行了四個JVM進程(4個worker、此處涉及到Storm中的并行化機制)。

supervisor.slots.ports:

- 6700

- 6701

- 6702

- 6703

注:nimbus節(jié)點和supervisor節(jié)點上的storm.yaml均需要配置。

5、使用storm腳本啟動守護進程(包括nimbus、supervisor、ui)

1)nimbus:在nimbus節(jié)點上運行storm nimbus命令

2)supervisor:在supervisor節(jié)點上運行 storm supervisor命令

3)ui:在nimbus節(jié)點上運行storm ui命令,并訪問http://192.168.170.128:8080,出現(xiàn)如下界面則表明集群搭建成功:

stormui

 

單機版集群搭建(偽分布式)

所謂偽分布式,其實并不是真正的分布式,它只是在一臺機器上模擬了一個真實的分布式的環(huán)境。同理,單機版集群環(huán)境也只是用一臺機器模擬了一個集群,即若干臺計算機組成的環(huán)境。

單機版集群搭建的步驟與Storm集群環(huán)境的搭建過程大致相同,不過需要注意的是:

1)由于單機版集群只有一臺主機,并不涉及與其他機器之間的通信,因此,在出現(xiàn)ip地址的地方用localhost或者127.0.0.1代替即可。

2)由于nimbus、supervisor都在同一臺機器上,因此storm.yaml文件只需配置一次即可。

可能出現(xiàn)的問題

在啟動nimbus、supervisor守護進程時如果出現(xiàn)問題,不妨把linux的防火墻暫時關閉一下,筆者在部署Storm集群時就遇到過這個問題。

在使用Storm時可能出現(xiàn)的一些其他問題可以參考:http://storm.incubator./documentation/Troubleshooting.html


    本站是提供個人知識管理的網(wǎng)絡存儲空間,所有內容均由用戶發(fā)布,不代表本站觀點。請注意甄別內容中的聯(lián)系方式、誘導購買等信息,謹防詐騙。如發(fā)現(xiàn)有害或侵權內容,請點擊一鍵舉報。
    轉藏 分享 獻花(0

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多