大數(shù)據(jù)是對海量數(shù)據(jù)存儲、計算、統(tǒng)計、分析等一系列處理手段，處理的數(shù)據(jù)量是TB級，甚至是PB或EB級的數(shù)據(jù)，是傳統(tǒng)數(shù)據(jù)處理手段無法完成的，大數(shù)據(jù)涉及分布式計算、高并發(fā)處理、高可用處理、集群、實時性計算等等，匯集的是IT最熱門、最流行的IT技術(shù)，大數(shù)據(jù)是機器學(xué)習(xí)、深度學(xué)習(xí)、AI等尖端可以領(lǐng)域的基礎(chǔ)架構(gòu)。

　　大數(shù)據(jù)技術(shù)為決策提供依據(jù)，在政府、企業(yè)、科研項目等決策中扮演著重要的角色，在社會治理和企業(yè)管理中起到了不容忽視的作用，例如我國、美國以及歐盟等國家都已將大數(shù)據(jù)列入國家發(fā)展戰(zhàn)略，微軟、谷歌、百度以及亞馬遜等大型企業(yè)也將大數(shù)據(jù)技術(shù)列為未來發(fā)展的關(guān)鍵籌碼。

　　那么，常用的大數(shù)據(jù)技術(shù)有哪些呢?

　　第一階段JavaSE + MySql + Linux

　　Java 基礎(chǔ) → OOP編程 →Java集合 → IO/NIO → Eclipse → Intellij IDEA → Socket網(wǎng)絡(luò)技術(shù) → Mysql 數(shù)據(jù)庫 → JDBC Api → JVM內(nèi)存結(jié)構(gòu) → 階段項目實戰(zhàn) → Linux(VMware、CentOS、目錄結(jié)構(gòu)、Linux命令)

　　第二階段Hadoop 與 生態(tài)系統(tǒng)

　　Hadoop→ MapReduce → Hive → Avro與Protobuf → Zookeeper → HBase → phoenix → Redis → Flume分布式 → SSM(Spring、SpringMVC、Mybatis) → Kafka架構(gòu)

　　第三階段Storm 與Spark 及其生態(tài)圈

　　Scala → Spark Job → Spark RDD → spark job部署與資源分配 → Spark shuffle → Spark SQL → Spark Streaming → Spark ML → azkaban

　　第四階段其他

　　Python與數(shù)據(jù)分析

　　第五階段項目實戰(zhàn)、技術(shù)綜合運用

　　大數(shù)據(jù)商業(yè)實戰(zhàn)階段需掌握的技術(shù)有：實操企業(yè)大數(shù)據(jù)處理業(yè)務(wù)場景，分析需求、解決方案實施，綜合技術(shù)實戰(zhàn)應(yīng)用。

　　在擁有Java編程語言基礎(chǔ)的前提下，可以學(xué)習(xí)以上大數(shù)據(jù)技術(shù)，大數(shù)據(jù)是未來的發(fā)展方向，正在挑戰(zhàn)我們的分析能力及對世界的認知方式，因此，我們與時俱進，迎接變化，并不斷的成長，掌握大數(shù)據(jù)核心技術(shù)，才是掌握真正的價值所在。