徹底實(shí)戰(zhàn)詳解使用IntelliJ IDEA下的Spark程序開(kāi)發(fā)

1、下載安裝包（Windows)
2、本地java8和Scala 2.10.4軟件套件的安裝
3、為IDEA安裝Scala，這個(gè)過(guò)程是IDEA的自動(dòng)化的插件管理，所以點(diǎn)擊后會(huì)自動(dòng)下載
4、指定JDK1.8.x和Scala2.10.4
5、File->Project Structure 來(lái)設(shè)置工程的Libraries核心是添加Spark的jar依賴
6、添加Spark的jar依賴

為什么不能再I(mǎi)DE中直接發(fā)布Spark程序到Spark集群中
1、內(nèi)存和core的限制，默認(rèn)情況下Spark程序的Driver會(huì)在提交Spark的機(jī)器上，所以如果在IDE中提交程序的話，那IDE機(jī)器就必須非常強(qiáng)大
2、driver要指揮集群中的worker運(yùn)行，并頻繁地發(fā)生通信，如果開(kāi)發(fā)環(huán)境IDEA和Spark集群不在同一個(gè)網(wǎng)絡(luò)下，就會(huì)出現(xiàn)任務(wù)丟失，運(yùn)行緩慢等多種不必要的問(wèn)題
3、這是不安全的

打包：
File->Project Structure-> Artifacts -> 加號(hào) -> jar -> From module with dependencies

注意要把Spark和Scala的jar去掉