2018大數(shù)據(jù)培訓(xùn)學(xué)習(xí)路線全課程目錄+學(xué)習(xí)線路詳解（詳細(xì)完整版）

第一階段：大數(shù)據(jù)基礎(chǔ)Java語(yǔ)言基礎(chǔ)階段

1.1：Java開(kāi)發(fā)介紹

1.1.1 Java的發(fā)展歷史

1.1.2 Java的應(yīng)用領(lǐng)域

1.1.3 Java語(yǔ)言的特性

1.1.4 Java面向?qū)ο?/p>

1.1.5 Java性能分類

1.1.6 搭建Java環(huán)境

1.1.7 Java工作原理

1.2：熟悉Eclipse開(kāi)發(fā)工具

1.2.1 Eclipse簡(jiǎn)介與下載

1.2.2 安裝Eclipse的中文語(yǔ)言包

1.2.3 Eclipse的配置與啟動(dòng)

1.2.4 Eclipse工作臺(tái)與視圖

1.2.5 “包資源管理器”視圖

1.2.6 使用Eclipse

1.2.7 使用編輯器編寫(xiě)程序代碼

1.3：Java語(yǔ)言基礎(chǔ)

1.3.1 Java主類結(jié)構(gòu)

1.3.2 基本數(shù)據(jù)類型

1.3.3 變量與常量

1.3.4 Java運(yùn)算符

1.3.5 數(shù)據(jù)類型轉(zhuǎn)換

1.3.6 代碼注釋與編碼規(guī)范

1.3.7 Java幫助文檔

1.4：Java流程控制

1.4.1 復(fù)合語(yǔ)句

1.4.2 條件語(yǔ)句

1.4.3 if條件語(yǔ)句

1.4.4 switch多分支語(yǔ)句

1.4.5 while循環(huán)語(yǔ)句

1.4.6 do…while循環(huán)語(yǔ)句

1.4.7 for循環(huán)語(yǔ)句

1.5：Java字符串

1.5.1 String類

1.5.2 連接字符串

1.5.3 獲取字符串信息

1.5.4 字符串操作

1.5.5 格式化字符串

1.5.6 使用正則表達(dá)式

1.5.7 字符串生成器

1.6：Java數(shù)組與類和對(duì)象

1.6.1 數(shù)組概述

1.6.2 一維數(shù)組的創(chuàng)建及使用

1.6.3 二維數(shù)組的創(chuàng)建及使用

1.6.4 數(shù)組的基本操作

1.6.5 數(shù)組排序算法

1.6.6 Java的類和構(gòu)造方法

1.6.7 Java的對(duì)象、屬性和行為

1.7：數(shù)字處理類與核心技術(shù)

1.7.1 數(shù)字格式化與運(yùn)算

1.7.2 隨機(jī)數(shù) 與大數(shù)據(jù)運(yùn)算

1.7.3 類的繼承與Object類

1.7.4 對(duì)象類型的轉(zhuǎn)換

1.7.5 使用instanceof操作符判斷對(duì)象類型

1.7.6 方法的重載與多態(tài)

1.7.7 抽象類與接口

1.8：I/O與反射、多線程

1.8.1 流概述與File類

1.8.2 文件 輸入/輸出流

1.8.3 緩存 輸入/輸出流

1.8.4 Class類與Java反射

1.8.5 Annotation功能類型信息

1.8.6 枚舉類型與泛型

1.8.7 創(chuàng)建、操作線程與線程安全

1.9：Swing程序與集合類

1.9.1 常用窗體

1.9.2 標(biāo)簽組件與圖標(biāo)

1.9.3 常用布局管理器 與面板

1.9.4 按鈕組件 與列表組件

1.9.5 常用事件監(jiān)聽(tīng)器

1.9.6 集合類概述

1.9.7 Set集合 與Map集合及接口

1.10：PC端網(wǎng)站布局

1.10.1 HTML基礎(chǔ)，CSS基礎(chǔ)，CSS核心屬性

1.10.2 CSS樣式層疊，繼承，盒模型

1.10.3 容器，溢出及元素類型

1.10.4 瀏覽器兼容與寬高自適應(yīng)

1.10.5 定位，錨點(diǎn)與透明

1.10.6 圖片整合

1.10.7 表格，CSS屬性與濾鏡

1.10.8 CSS優(yōu)化

1.11：HTML5+CSS3基礎(chǔ)

1.11.1 HTML5新增的元素與屬性

1.11.2 CSS3選擇器

1.11.3 文字字體相關(guān)樣式

1.11.4 CSS3位移與變形處理

1.11.5 CSS3 2D、3D轉(zhuǎn)換與動(dòng)畫(huà)

1.11.6 彈性盒模型

1.11.7 媒體查詢

1.11.8 響應(yīng)式設(shè)計(jì)

1.12：WebApp頁(yè)面布局項(xiàng)目

1.12.1 移動(dòng)端頁(yè)面設(shè)計(jì)規(guī)范

1.12.2 移動(dòng)端切圖

1.12.3 文字流式/控件彈性/圖片等比例的布局

1.12.4 等比縮放布局

1.12.5 viewport/meta

1.12.6 rem/vw的使用

1.12.7 flexbox詳解

1.12.8 移動(dòng)web特別樣式處理

1.13：原生JavaScript功能開(kāi)發(fā)

1.13.1 什么是JavaScript

1.13.2 JavaScript使用及運(yùn)作原理

1.13.3 JavaScript基本語(yǔ)法

1.13.4 JavaScript內(nèi)置對(duì)象

1.13.5 事件，事件原理

1.13.6 JavaScript基本特效制作

1.13.7 cookie存儲(chǔ)

1.13.8 正則表達(dá)式

1.14：Ajax異步交互

1.14.1 Ajax概述與特征

1.14.2 Ajax工作原理

1.14.3 XMLHttpRequest對(duì)象

1.14.4 同步與異步

1.14.5 Ajax異步交互

1.14.6 Ajax跨域問(wèn)題

1.14.7 Ajax數(shù)據(jù)的處理

1.14.8 基于WebSocket和推送的實(shí)時(shí)交互

1.15：JQuery應(yīng)用

1.15.1 各選擇器使用及應(yīng)用優(yōu)化

1.15.2 Dom節(jié)點(diǎn)的各種操作

1.15.3 事件處理、封裝、應(yīng)用

1.15.4 jQuery中的各類動(dòng)畫(huà)使用

1.15.5 可用性表單的開(kāi)發(fā)

1.15.6 jQuery Ajax、函數(shù)、緩存

1.15.7 jQuery編寫(xiě)插件、擴(kuò)展、應(yīng)用

1.15.8 理解模塊式開(kāi)發(fā)及應(yīng)用

1.16：數(shù)據(jù)庫(kù)

1.16.1 Mysql數(shù)據(jù)庫(kù)

1.16.2 JDBC開(kāi)發(fā)

1.16.3 連接池和DBUtils

1.16.4 Oracle介紹

1.16.5 MongoDB數(shù)據(jù)庫(kù)介紹

1.16.6 apache服務(wù)器/Nginx服務(wù)器

1.16.7 Memcached內(nèi)存對(duì)象緩存系統(tǒng)

1.17：JavaWeb開(kāi)發(fā)核心

1.17.1 XML技術(shù)

1.17.2 HTTP協(xié)議

1.17.3 Servlet工作原理解析

1.17.4 深入理解Session與Cookie

1.17.5 Tomcat的系統(tǒng)架構(gòu)與設(shè)計(jì)模式

1.17.6 JSP語(yǔ)法與內(nèi)置對(duì)象

1.17.7 JDBC技術(shù)

1.17.8 大瀏覽量系統(tǒng)的靜態(tài)化架構(gòu)設(shè)計(jì)

1.18：JavaWeb開(kāi)發(fā)內(nèi)幕

1.18.1 深入理解Web請(qǐng)求過(guò)程

1.18.2 Java I/O的工作機(jī)制

1.18.3 Java Web中文編碼

1.18.4 Javac編譯原理

1.18.5 class文件結(jié)構(gòu)

1.18.6 ClassLoader工作機(jī)制

1.18.7 JVM體系結(jié)構(gòu)與工作方式

1.18.8 JVM內(nèi)存管理

第二階段：Linux系統(tǒng)Hadoop生態(tài)體系

2.1：Linux體系(1)

2.1.1 VMware Workstation虛擬軟件安裝過(guò)程、CentOS虛擬機(jī)安裝過(guò)程

2.1.2 了解機(jī)架服務(wù)器，采用真實(shí)機(jī)架服務(wù)器部署linux

2.1.3 Linux的常用命令：常用命令的介紹、常用命令的使用和練習(xí)

2.1.4 Linux系統(tǒng)進(jìn)程管理基本原理及相關(guān)管理工具如ps、pkill、top、htop等的使用

2.1：Linux體系(2)

2.1.5 Linux啟動(dòng)流程，運(yùn)行級(jí)別詳解，chkconfig詳解

2.1.6 VI、VIM編輯器：VI、VIM編輯器的介紹、VI、VIM扥使用和常用快捷鍵

2.1.7 Linux用戶和組賬戶管理：用戶的管理、組管理

2.1.8 Linux磁盤(pán)管理，lvm邏輯卷，nfs詳解

2.1：Linux體系(3)

2.1.9 Linux系統(tǒng)文件權(quán)限管理：文件權(quán)限介紹、文件權(quán)限的操作

2.1.10 Linux的RPM軟件包管理：RPM包的介紹、RPM安裝、卸載等操作

2.1.11 yum命令，yum源搭建

2.1.12 Linux網(wǎng)絡(luò)：Linux網(wǎng)絡(luò)的介紹、Linux網(wǎng)絡(luò)的配置和維護(hù)

2.1：Linux體系(4)

2.1.13 Shell編程：Shell的介紹、Shell腳本的編寫(xiě)

2.1.14 Linux上常見(jiàn)軟件的安裝：安裝JDK、安裝Tomcat、安裝mysql,web項(xiàng)目部署

2.2：Hadoop離線計(jì)算大綱(1)

2.2.1 Hadoop生態(tài)環(huán)境介紹

2.2.2 Hadoop云計(jì)算中的位置和關(guān)系

2.2.3 國(guó)內(nèi)外Hadoop應(yīng)用案例介紹

2.2.4 Hadoop 概念、版本、歷史

2.2.5 Hadoop 核心組成介紹及hdfs、mapreduce 體系結(jié)構(gòu)

2.2.6 Hadoop 的集群結(jié)構(gòu)

2.2.7 Hadoop 偽分布的詳細(xì)安裝步驟

2.2：Hadoop離線計(jì)算大綱(2)

2.2.8 通過(guò)命令行和瀏覽器觀察hadoop

2.2.9 HDFS底層&& datanode,namenode詳解&&shell&&Hdfs java api

2.2.10 Mapreduce四個(gè)階段介紹

2.2.11 Writable

2.2.12 InputSplit和OutputSplit

2.2.13 Maptask

2.2.14 Shuffle：Sort，Partitioner，Group,Combiner

2.2：Hadoop離線計(jì)算大綱(3)

2.2.15 Reducer

2.2.16 Mapreducer案例：1) 二次排序

2.2.17 倒排序索引

2.2.18 最優(yōu)路徑

2.2.19 電信數(shù)據(jù)挖掘之-----移動(dòng)軌跡預(yù)測(cè)分析（中國(guó)棱鏡計(jì)劃）

2.2.20 社交好友推薦算法

2.2.21 互聯(lián)網(wǎng)精準(zhǔn)廣告推送 算法

2.2：Hadoop離線計(jì)算大綱(4)

2.2.22 阿里巴巴天池大數(shù)據(jù)競(jìng)賽 《天貓推薦算法》

2.2.23 Mapreduce實(shí)戰(zhàn)pagerank算法

2.2.24 Hadoop2.x集群結(jié)構(gòu)體系介紹

2.2.25 Hadoop2.x集群搭建

2.2.26 NameNode的高可用性（HA）

2.2.27 HDFS Federation

2.2：Hadoop離線計(jì)算大綱(5)

2.2.28 ResourceManager 的高可用性（HA）

2.2.29 Hadoop集群常見(jiàn)問(wèn)題和解決方法

2.2.30 Hadoop集群管理

2.3：分布式數(shù)據(jù)庫(kù)Hbase(1)

2.3.1 Hbase簡(jiǎn)介

2.3.2 HBase與RDBMS的對(duì)比

2.3.3 數(shù)據(jù)模型

2.3.4 系統(tǒng)架構(gòu)

2.3.5 HBase上的MapReduce

2.3.6 表的設(shè)計(jì)

2.3.7 集群的搭建過(guò)程講解

2.3.8 集群的監(jiān)控

2.3：分布式數(shù)據(jù)庫(kù)Hbase(2)

2.3.9 集群的管理

2.3.10 HBase Shell以及演示

2.3.11 Hbase 樹(shù)形表設(shè)計(jì)

2.3.12 Hbase 一對(duì)多 和 多對(duì)多 表設(shè)計(jì)

2.3.13 Hbase 微博 案例

2.3.14 Hbase 訂單案例

2.3.15 Hbase表級(jí)優(yōu)化

2.3：分布式數(shù)據(jù)庫(kù)Hbase(3)

2.3.16 Hbase 寫(xiě)數(shù)據(jù)優(yōu)化

2.3.17 Hbase 讀數(shù)據(jù)優(yōu)化

2.3.18 Hbase API操作

2.3.19 hbase mapdreduce 和hive 整合

2.4：數(shù)據(jù)倉(cāng)庫(kù)Hive(1)

2.4.1 數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)知識(shí)

2.4.2 Hive定義

2.4.3Hive體系結(jié)構(gòu)簡(jiǎn)介

2.4.4 Hive集群

2.4.5客戶端簡(jiǎn)介

2.4.6 HiveQL定義

2.4.7 HiveQL與SQL的比較

2.4.8 數(shù)據(jù)類型

2.4：數(shù)據(jù)倉(cāng)庫(kù)Hive(2)

2.4.9 外部表和分區(qū)表

2.4.10 ddl與CLI客戶端演示

2.4.11 dml與CLI客戶端演示

2.4.12 select與CLI客戶端演示

2.4.13 Operators 和 functions與CLI客戶端演示

2.4.14 Hive server2 與jdbc

2.4：數(shù)據(jù)倉(cāng)庫(kù)Hive(3)

2.4.15 用戶自定義函數(shù)（UDF 和 UDAF）的開(kāi)發(fā)與演示

2.4.16 Hive 優(yōu)化

2.4.17 serde

2.5：數(shù)據(jù)遷移工具Sqoop

2.5.1 Sqoop簡(jiǎn)介以及使用

2.5.2 Sqoop shell使用

2.5.3 Sqoop-import

2.5.4 DBMS-hdfs

2.5.5 DBMS-hive

2.5.6 DBMS-hbase

2.5.7 Sqoop-export

2.6：Flume分布式日志框架(1)

2.6.1 flume簡(jiǎn)介-基礎(chǔ)知識(shí) 2.6.2 flume安裝與測(cè)試

2.6.3 flume部署方式

2.6.4 flume source相關(guān)配置及測(cè)試

2.6.5 flume sink相關(guān)配置及測(cè)試

2.6.6 flume selector 相關(guān)配置與案例分析

2.6.7 flume Sink Processors相關(guān)配置和案例分析

2.6：Flume分布式日志框架(2)

2.6.8 flume Interceptors相關(guān)配置和案例分析

2.6.9 flume AVRO Client開(kāi)發(fā)

2.6.10 flume 和kafka 的整合

第三階段：分布式計(jì)算框架：Spark&Storm生態(tài)體系

3.1：Scala編程語(yǔ)言(1)

3.1.1 scala解釋器、變量、常用數(shù)據(jù)類型等

3.1.2 scala的條件表達(dá)式、輸入輸出、循環(huán)等控制結(jié)構(gòu)

3.1.3 scala的函數(shù)、默認(rèn)參數(shù)、變長(zhǎng)參數(shù)等

3.1.4 scala的數(shù)組、變長(zhǎng)數(shù)組、多維數(shù)組等

3.1.5 scala的映射、元組等操作

3.1.6 scala的類，包括bean屬性、輔助構(gòu)造器、主構(gòu)造器等

3.1：Scala編程語(yǔ)言(2)

3.1.7 scala的對(duì)象、單例對(duì)象、伴生對(duì)象、擴(kuò)展類、apply方法等

3.1.8 scala的包、引入、繼承等概念

3.1.9 scala的特質(zhì)

3.1.10 scala的操作符

3.1.11 scala的高階函數(shù)

3.1.12 scala的集合

3.1.13 scala數(shù)據(jù)庫(kù)連接

3.2：Spark大數(shù)據(jù)處理(1)

3.2.1 Spark介紹

3.2.2 Spark應(yīng)用場(chǎng)景

3.2.3 Spark和Hadoop MR、Storm的比較和優(yōu)勢(shì)

3.2.4 RDD

3.2.5 Transformation

3.2.6 Action

3.2.7 Spark計(jì)算PageRank

3.2：Spark大數(shù)據(jù)處理(2)

3.2.8 Lineage

3.2.9 Spark模型簡(jiǎn)介

3.2.10 Spark緩存策略和容錯(cuò)處理

3.2.11 寬依賴與窄依賴

3.2.12 Spark配置講解

3.2.13 Spark集群搭建

3.2.15 集群搭建常見(jiàn)問(wèn)題解決

3.2.16 Spark原理核心組件和常用RDD

3.2：Spark大數(shù)據(jù)處理(3)

3.2.17 數(shù)據(jù)本地性

3.2.18 任務(wù)調(diào)度

3.2.19 DAGScheduler

3.2.20 TaskScheduler

3.2.21 Spark源碼解讀

3.2.22 性能調(diào)優(yōu)

3.2.23 Spark和Hadoop2.x整合：Spark on Yarn原理

3.3：Spark—Streaming大數(shù)據(jù)實(shí)時(shí)處理

3.3.1 Spark Streaming：數(shù)據(jù)源和DStream

3.3.2 無(wú)狀態(tài)transformation與有狀態(tài)transformation

3.3.3 Streaming Window的操作

3.3.4 sparksql 編程實(shí)戰(zhàn)

3.3.5 spark的多語(yǔ)言操作

3.3.6 spark最新版本的新特性

3.4：Spark—Mlib機(jī)器學(xué)習(xí)(1)

3.4.1 Mlib簡(jiǎn)介

3.4.2 Spark MLlib組件介紹

3.4.3 基本數(shù)據(jù)類型

3.4.4 回歸算法

3.4.5 廣義線性模型

3.4.6 邏輯回歸

3.4.7 分類算法

3.4.8 樸素貝葉斯

3.4：Spark—Mlib機(jī)器學(xué)習(xí)(2)

3.4.9 決策樹(shù)

3.4.10 隨機(jī)森林

3.4.11 推薦系統(tǒng)

3.4.12 聚類

a) Kmeans b) Sparse kmeans

c) Kmeans++ d) Kmeans II

e) Streaming kmeans

f) Gaussian Mixture Model

3.5：Spark—GraphX 圖計(jì)算

3.5.1 二分圖

3.5.2 概述

3.5.3 構(gòu)造圖

3.5.4 屬性圖

3.5.5 PageRank

3.6：storm技術(shù)架構(gòu)體系(1)

3.6.1 項(xiàng)目技術(shù)架構(gòu)體系

3.6.2 Storm是什么

3.6.3 Storm架構(gòu)分析

3.6.4 Storm編程模型、Tuple源碼、并發(fā)度分析

3.2.5 Transformation

3.6：storm技術(shù)架構(gòu)體系(2)

3.6.6 Maven環(huán)境快速搭建

3.6.7 Storm WordCount案例及常用Api

3.6.8 Storm+Kafka+Redis業(yè)務(wù)指標(biāo)計(jì)算

3.6.9 Storm集群安裝部署

3.6.10 Storm源碼下載編譯

3.7：Storm原理與基礎(chǔ)(1)

3.7.1 Storm集群?jiǎn)?dòng)及源碼分析

3.7.2 Storm任務(wù)提交及源碼分析

3.7.3 Storm數(shù)據(jù)發(fā)送流程分析

3.7.4 Strom通信機(jī)制分析淺談

3.7.5 Storm消息容錯(cuò)機(jī)制及源碼分析

3.7.6 Storm多stream項(xiàng)目分析

3.7.7 Storm Trident和傳感器數(shù)據(jù)

3.7：Storm原理與基礎(chǔ)(2)

3.7.8 實(shí)時(shí)趨勢(shì)分析

3.8.9 Storm DRPC(分布式遠(yuǎn)程調(diào)用)介紹

3.7.10 Storm DRPC實(shí)戰(zhàn)講解

3.7.11 編寫(xiě)自己的流式任務(wù)執(zhí)行框架

3.8：消息隊(duì)列kafka

3.8.1 消息隊(duì)列是什么

3.8.2 kafka核心組件

3.8.3 kafka集群部署實(shí)戰(zhàn)及常用命令

3.8.4 kafka配置文件梳理

3.8.5 kafka JavaApi學(xué)習(xí)

3.8.6 kafka文件存儲(chǔ)機(jī)制分析

3.8.7 kafka的分布與訂閱

3.8.8 kafka使用zookeeper進(jìn)行協(xié)調(diào)管理

3.9：Redis工具

3.9.1 nosql介紹

3.9.2 redis介紹

3.9.3 redis安裝

3.9.4 客戶端連接

3.9.5 redis的數(shù)據(jù)功能

3.9.6 redis持久化

3.9.7 redis應(yīng)用案例

3.10：zookeeper詳解

3.10.1 zookeeper簡(jiǎn)介

3.10.2 zookeeper的集群部署

3.10.3 zookeeper的核心工作機(jī)制

3.10.4 zookeeper的命令行操作

3.10.5 zookeeper的客戶端API

3.10.6 zookeeper的應(yīng)用案例

3.10.7 zookeeper的原理補(bǔ)充

第四階段：大數(shù)據(jù)項(xiàng)目實(shí)戰(zhàn)

4.1：阿里巴巴的淘寶電商的大數(shù)據(jù)流量分析平臺(tái)(1)

4.1.1項(xiàng)目介紹(1)

淘寶網(wǎng)站的日志分析和訂單管理在實(shí)戰(zhàn) 中學(xué)習(xí)，技術(shù)點(diǎn)非常多，一個(gè)訪客（UV） 點(diǎn)擊進(jìn)入后計(jì)算的一個(gè)流量，同時(shí)也有 瀏覽量（PV）指的是一個(gè)訪客（UV） 在店內(nèi)所瀏覽的次數(shù)。一個(gè)UV最少產(chǎn) 生一個(gè)PV，PV/UV就是俗稱的訪問(wèn) 深度，一個(gè)訪客

4.1：阿里巴巴的淘寶電商的大數(shù)據(jù)流量分析平臺(tái)(2)

4.1.1項(xiàng)目介紹(2)

（UV）在店內(nèi)所瀏覽的次數(shù)。一個(gè)UV最少產(chǎn) 生一個(gè)PV，PV/UV就是俗稱的訪問(wèn) 深度，一個(gè)訪客（UV）點(diǎn)擊進(jìn)入 后計(jì)算的一個(gè)流量，同時(shí)也有瀏覽 量（PV）指的是一個(gè)訪客（UV） 在店內(nèi)所瀏覽的次數(shù)。一個(gè)UV最少產(chǎn)生 一個(gè)PV，PV/UV就是俗稱的訪問(wèn)深度

4.1：阿里巴巴的淘寶電商的大數(shù)據(jù)流量分析平臺(tái)(3)

4.1.1項(xiàng)目介紹(3)

影響自然排名自然搜索的叫權(quán)重， 權(quán)重是決定一個(gè)產(chǎn)品是否排在前面 獲得更多流量的決定性因素，權(quán)重的 構(gòu)成多達(dá)幾十種，通常影響權(quán)重的有 銷(xiāo)量，好評(píng)，收藏，DSR，維護(hù)時(shí)間， 下架時(shí)間這類。

4.1：阿里巴巴的淘寶電商的大數(shù)據(jù)流量分析平臺(tái)(4)

4.1.2項(xiàng)目特色

怎樣實(shí)際運(yùn)用這些點(diǎn)是我們?cè)谧詫W(xué) 過(guò)程中體驗(yàn)不到的。Cookie日志 分析包括：pv、uv，跳出率，二跳 率、廣告轉(zhuǎn)化率、搜索引擎優(yōu)化等， 訂單模塊有：產(chǎn)品推薦，商家排名， 歷史訂單查詢，訂單報(bào)表統(tǒng)計(jì)等。

4.1：阿里巴巴的淘寶電商的大數(shù)據(jù)流量分析平臺(tái)(5)

4.1.3 項(xiàng)目架構(gòu)

SDK（JavaaSDK、JSSDK）+

lvs+nginx集群+flume+

hdfs2.x+hive+hbase+MR+MySQL

4.1：阿里巴巴的淘寶電商的大數(shù)據(jù)流量分析平臺(tái)(6)

4.1.4 項(xiàng)目流程(1)

a) 數(shù)據(jù)獲?。篧eb項(xiàng)目和云計(jì)算項(xiàng) 目的整合

b) 數(shù)據(jù)處理：Flume通過(guò)avro實(shí) 時(shí)收集web項(xiàng)目中的日志

c) 數(shù)據(jù)的ETL

d) 數(shù)據(jù)展存儲(chǔ)：Hive 批量 sql執(zhí)行 e) Hive 自定義函數(shù)

4.1：阿里巴巴的淘寶電商的大數(shù)據(jù)流量分析平臺(tái)(7)

4.1.4 項(xiàng)目流程(2)

f) Hive和hbase整合。

g) Hbase 數(shù)據(jù)支持 sql查詢分析

h) 數(shù)據(jù)分析：數(shù)據(jù)Mapreduce數(shù) 據(jù)挖掘

i) Hbase dao處理

j) Sqoop 在項(xiàng)目中的使用。

k) 數(shù)據(jù)可視化：Mapreduce定時(shí) 調(diào)用和監(jiān)控

4.2：實(shí)戰(zhàn)一：Sina微博基于Spark的推薦系統(tǒng)(1)

4.2.1 項(xiàng)目介紹(1)

個(gè)性化推薦是根據(jù)用戶的興趣特點(diǎn) 和購(gòu)買(mǎi)行為，向用戶推薦用戶感興 趣的信息和商品。隨著電子商務(wù)規(guī) 模的不斷擴(kuò)大，商品個(gè)數(shù)和種類快 速增長(zhǎng)，顧客需要花費(fèi)大量的時(shí)間 才能找到自己想買(mǎi)的商品。這種瀏 覽大量無(wú)關(guān)的信息和產(chǎn)品過(guò)程無(wú)疑 會(huì)使淹沒(méi)在信息過(guò)載

4.2：實(shí)戰(zhàn)一：Sina微博基于Spark的推薦系統(tǒng)(2)

4.2.1 項(xiàng)目介紹(2)

問(wèn)題中的消費(fèi)者不斷流失。為了解決這些問(wèn)題， 個(gè)性化推薦系統(tǒng)應(yīng)運(yùn)而生。個(gè)性化 推薦系統(tǒng)是建立在海量數(shù)據(jù)挖掘基 礎(chǔ)上的一種高級(jí)商務(wù)智能平臺(tái)，以 幫助電子商務(wù)網(wǎng)站為其顧客購(gòu)物提 供完全個(gè)性化的決策支持和信息服務(wù)

4.2：實(shí)戰(zhàn)一：Sina微博基于Spark的推薦系統(tǒng)(3)

4.2.2 項(xiàng)目特色(1)

推薦系統(tǒng)是個(gè)復(fù)雜的系統(tǒng)工程， 依賴工程、架構(gòu)、算法的有機(jī)結(jié) 合，是數(shù)據(jù)挖掘技術(shù)、信息檢索 技術(shù)、計(jì)算統(tǒng)計(jì)學(xué)的智慧結(jié)晶， 學(xué)員只有親手動(dòng)手才能體會(huì)推薦 系統(tǒng)的各個(gè)環(huán)節(jié)，才能對(duì)各種推 薦算法的優(yōu)缺點(diǎn)有真實(shí)的感受。 一方面可以很熟練的完成簡(jiǎn)單的

4.2：實(shí)戰(zhàn)一：Sina微博基于Spark的推薦系統(tǒng)(4)

4.2.2 項(xiàng)目特色(2)

推薦算法，如content-based、

item-based CF 等。另一方面

要掌握一些常見(jiàn)的推薦算法庫(kù)，

如：SvdFeature、LibFM、

Mathout、Mlib等。

4.2：實(shí)戰(zhàn)一：Sina微博基于Spark的推薦系統(tǒng)(5)

4.2.3 項(xiàng)目技術(shù)架構(gòu)體系(1)

a) 實(shí)時(shí)流處理 Kafka，Spark Streaming

b) 分布式運(yùn)算 Hadoop，Spark

c) 數(shù)據(jù)庫(kù) Hbase，Redis

d) 機(jī)器學(xué)習(xí) Spark Mllib

e) 前臺(tái)web展示數(shù)據(jù) Struts2， echart

4.2：實(shí)戰(zhàn)一：Sina微博基于Spark的推薦系統(tǒng)(6)

4.2.3 項(xiàng)目技術(shù)架構(gòu)體系(2)

f) 分布式平臺(tái) Hadoop，Spark

g) 數(shù)據(jù)清洗 Hive

h) 數(shù)據(jù)分析 R RStudio

i) 推薦服務(wù) Dubbox

j) 規(guī)則過(guò)濾 Drools

k) 機(jī)器學(xué)習(xí) MLlib

4.3：實(shí)戰(zhàn)二：Sina門(mén)戶的DSP廣告投放系統(tǒng)(1)

4.3.1 項(xiàng)目介紹

新浪網(wǎng)（www.sina.com.cn），

是知名的門(mén)戶網(wǎng)站，該項(xiàng)目主要通

過(guò)收集新浪的Cookie每個(gè)產(chǎn)生的日

志，分析統(tǒng)計(jì)出該網(wǎng)站的流量相關(guān)

信息和競(jìng)價(jià)廣告位

4.3：實(shí)戰(zhàn)二：Sina門(mén)戶的DSP廣告投放系統(tǒng)(2)

4.3.2 項(xiàng)目特色

在互聯(lián)網(wǎng)江湖中，始終流傳著三大 賺錢(qián)法寶：廣告、游戲、電商，在 移動(dòng)互聯(lián)網(wǎng)興起之際，利用其得天 獨(dú)厚的數(shù)據(jù)優(yōu)勢(shì)，終于能夠回答困 擾了廣告主幾百年的問(wèn)題：我的廣 告究竟被誰(shuí)看到了？浪費(fèi)的一半的 錢(qián)到底去了哪里？

4.3：實(shí)戰(zhàn)二：Sina門(mén)戶的DSP廣告投放系統(tǒng)(3)

4.3.3 項(xiàng)目技術(shù)架構(gòu)體系(1)

a)通過(guò)flume把日志數(shù)據(jù)導(dǎo)入到 HDFS中，使用hive進(jìn)行數(shù)據(jù)清洗 b)提供web視圖供用戶使用，輸入 查詢?nèi)蝿?wù)參數(shù)，寫(xiě)入MySQL c)使用spark根據(jù)用戶提交的任 務(wù)參數(shù)，進(jìn)行session分析，進(jìn) 行單挑率分析

4.3：實(shí)戰(zhàn)二：Sina門(mén)戶的DSP廣告投放系統(tǒng)(4)

4.3.3 項(xiàng)目技術(shù)架構(gòu)體系(2)

d)使用spark sql進(jìn)行各類型熱 門(mén)廣告統(tǒng)計(jì) e)使用 flume將廣告點(diǎn)擊日志傳 入kafka，使用spark streaming 進(jìn)行廣告點(diǎn)擊率的統(tǒng)計(jì) f)web頁(yè)面顯示MySQL中存儲(chǔ)的任務(wù) 執(zhí)行結(jié)果

4.4：實(shí)戰(zhàn)三：商務(wù)日志告警系統(tǒng)項(xiàng)目(1)

4.4.1 項(xiàng)目介紹(1)

基于的日志進(jìn)行監(jiān)控，監(jiān)控需要一定規(guī) 則，對(duì)觸發(fā)監(jiān)控規(guī)則的日志信息進(jìn)行告 警，告警的方式，是短信和郵件，隨著 公司業(yè)務(wù)發(fā)展，支撐公司業(yè)務(wù)的各種系 統(tǒng)越來(lái)越多，為了保證公司的業(yè)務(wù)正常 發(fā)展，急需要對(duì)這些線上系統(tǒng)的運(yùn)行進(jìn)

4.4：實(shí)戰(zhàn)三：商務(wù)日志告警系統(tǒng)項(xiàng)目(2)

4.4.1 項(xiàng)目介紹(2)

行監(jiān)控，做到問(wèn)題的及時(shí)發(fā)現(xiàn)和處理， 最大程度減少對(duì)業(yè)務(wù)的影響。

4.4.2 項(xiàng)目特色(1)

整體架構(gòu)設(shè)計(jì)很完善, 主要架構(gòu)為應(yīng) 用 a)應(yīng)用程序使用log4j產(chǎn)生日志

b)部署flume客戶

4.4：實(shí)戰(zhàn)三：商務(wù)日志告警系統(tǒng)項(xiàng)目(3)

4.4.2 項(xiàng)目特色(2)

端監(jiān)控應(yīng)用程序產(chǎn)生的日志信息，并發(fā)送到kafka集群中

c)storm spout拉去kafka的數(shù)據(jù)進(jìn) 行消費(fèi)，逐條過(guò)濾每條日志的進(jìn)行規(guī) 則判斷，對(duì)符合規(guī)則的日志進(jìn)行郵件 告警。

4.4：實(shí)戰(zhàn)三：商務(wù)日志告警系統(tǒng)項(xiàng)目(4)

4.4.2 項(xiàng)目特色(3)

d)最后將告警的信息保存到mysql數(shù) 據(jù)庫(kù)中，用來(lái)進(jìn)行管理。

4.4.3 項(xiàng)目技術(shù)架構(gòu)體系

a）推薦系統(tǒng)基礎(chǔ)知識(shí) b）推薦系統(tǒng)開(kāi)發(fā)流程分析 c）mahout協(xié)同過(guò)濾Api使用 d）Java推薦引擎開(kāi)發(fā)實(shí)戰(zhàn) e）推薦系統(tǒng)集成運(yùn)行

4.5：實(shí)戰(zhàn)四：互聯(lián)網(wǎng)猜你喜歡推薦系統(tǒng)實(shí)戰(zhàn)(1)

4.5.1 項(xiàng)目介紹(1)

到網(wǎng)上購(gòu)物的人已經(jīng)習(xí)慣了收到系統(tǒng)為 他們做出的個(gè)性化推薦。Netflix 會(huì)推 薦你可能會(huì)喜歡看的視頻。TiVo會(huì)自動(dòng) 把節(jié)目錄下來(lái)，如果你感興趣就可以看。 Pandora會(huì)通過(guò)預(yù)測(cè)我們想要聽(tīng)什么歌 曲從而生成個(gè)性化的音樂(lè)流。所有這些

4.5：實(shí)戰(zhàn)四：互聯(lián)網(wǎng)猜你喜歡推薦系統(tǒng)實(shí)戰(zhàn)(2)

4.5.1 項(xiàng)目介紹(2)

推薦結(jié)果都來(lái)自于各式各樣的推薦系統(tǒng)。 它們依靠計(jì)算機(jī)算法運(yùn)行，根據(jù)顧客的 瀏覽、搜索、下單和喜好，為顧客選擇 他們可能會(huì)喜歡、有可能會(huì)購(gòu)買(mǎi)的商品， 從而為消費(fèi)者服務(wù)。推薦系統(tǒng)的設(shè)計(jì)初 衷是幫助在線零售商提高銷(xiāo)售額，現(xiàn)在 這是一塊兒規(guī)模巨大且

4.5：實(shí)戰(zhàn)四：互聯(lián)網(wǎng)猜你喜歡推薦系統(tǒng)實(shí)戰(zhàn)(3)

4.5.1 項(xiàng)目介紹(3)

不斷增長(zhǎng)的業(yè)務(wù)。與此同時(shí)，推薦系統(tǒng)的開(kāi)發(fā)也已經(jīng) 從上世紀(jì) 90 年代中期只有幾十個(gè)人研 究，發(fā)展到了今天擁有數(shù)百名研究人員， 分別供職于各高校、大型在線零售商和 數(shù)十家專注于這類系統(tǒng)的其他企業(yè)。

4.5：實(shí)戰(zhàn)四：互聯(lián)網(wǎng)猜你喜歡推薦系統(tǒng)實(shí)戰(zhàn)(4)

4.5.2 項(xiàng)目特色(1)

有沒(méi)有想過(guò)自己在亞馬遜眼中是什么 樣子?答案是：你是一個(gè)很大、很大 的表格里一串很長(zhǎng)的數(shù)字。這串?dāng)?shù)字 描述了你所看過(guò)的每一樣?xùn)|西，你點(diǎn) 擊的每一個(gè)鏈接以及你在亞馬遜網(wǎng)站 上買(mǎi)的每一件商品;表格里的其余部

4.5：實(shí)戰(zhàn)四：互聯(lián)網(wǎng)猜你喜歡推薦系統(tǒng)實(shí)戰(zhàn)(5)

4.5.2 項(xiàng)目特色(2)

分則代表了其他數(shù)百萬(wàn)到亞馬遜購(gòu) 物的人。你每次登陸網(wǎng)站，你的數(shù)字 就會(huì)發(fā)生改變;在此期間，你在網(wǎng)站 上每動(dòng)一下，這個(gè)數(shù)字就會(huì)跟著改變。 這個(gè)信息又會(huì)反過(guò)來(lái)影響你在訪問(wèn)的 每個(gè)頁(yè)面上會(huì)看到什么，還有你會(huì)從 亞馬遜公司收到什么郵件和優(yōu)惠信息。

4.5：實(shí)戰(zhàn)四：互聯(lián)網(wǎng)猜你喜歡推薦系統(tǒng)實(shí)戰(zhàn)(6)

4.5.3 項(xiàng)目技術(shù)架構(gòu)體系

a）推薦系統(tǒng)基礎(chǔ)知識(shí)

b）推薦系統(tǒng)開(kāi)發(fā)流程分析

c）mahout協(xié)同過(guò)濾Api使用

d）Java推薦引擎開(kāi)發(fā)實(shí)戰(zhàn)

e）推薦系統(tǒng)集成運(yùn)行

第五階段：大數(shù)據(jù)分析方向AI(人工智能)

5.1 Python編程&&Data Analyze工作環(huán)境準(zhǔn)備&數(shù)據(jù)分析基礎(chǔ)(1)

5.1.1介紹Python以及特點(diǎn)

5.1.2 Python的安裝

5.1.3 Python基本操作（注釋、邏輯、 字符串使用等）

5.1.4 Python數(shù)據(jù)結(jié)構(gòu)（元組、列表、字典）

5.1 Python編程&&Data Analyze工作環(huán)境準(zhǔn)備&數(shù)據(jù)分析基礎(chǔ)(2)

5.1.5 使用Python進(jìn)行批量重命名小例子

5.1.6 Python常見(jiàn)內(nèi)建函數(shù)

5.1.7 更多Python函數(shù)及使用常見(jiàn)技巧

5.1.8 異常

5.1.9 Python函數(shù)的參數(shù)講解

5.1.10 Python模塊的導(dǎo)入

5.1 Python編程&&Data Analyze工作環(huán)境準(zhǔn)備&數(shù)據(jù)分析基礎(chǔ)(3)

5.1.11 Python中的類與繼承

5.1.12 網(wǎng)絡(luò)爬蟲(chóng)案例

5.1.13 數(shù)據(jù)庫(kù)連接，以及pip安裝模塊

5.1.14 Mongodb基礎(chǔ)入門(mén)

5.1.15 講解如何連接mongodb

5.1.16 Python的機(jī)器學(xué)習(xí)案例

5.1 Python編程&&Data Analyze工作環(huán)境準(zhǔn)備&數(shù)據(jù)分析基礎(chǔ)(4)

5.1.17 AI&&機(jī)器學(xué)習(xí)&&深度學(xué)習(xí)概論

5.1.18 工作環(huán)境準(zhǔn)備

5.1.19 數(shù)據(jù)分析中常用的Python技巧

5.1.20 Pandas進(jìn)階及技巧

5.1.21 數(shù)據(jù)的統(tǒng)計(jì)分析

5.2：數(shù)據(jù)可視化

5.2.1 數(shù)據(jù)可視化的概念

5.2.2 圖表的繪制及可視化

5.2.3 動(dòng)畫(huà)及交互渲染

5.2.4 數(shù)據(jù)合并、分組

5.3：Python機(jī)器學(xué)習(xí)-1(1)

5.3.1 機(jī)器學(xué)習(xí)的基本概念

5.3.2 ML工作流程

5.3.3 Python機(jī)器學(xué)習(xí)庫(kù)scikit-learn

5.3.4 KNN模型

5.3.5 線性回歸模型

5.3.6 邏輯回歸模型

5.3.7 支持向量機(jī)模型

5.3：Python機(jī)器學(xué)習(xí)-1(2)

5.3.8 決策樹(shù)模型

5.3.9 超參數(shù)&&學(xué)習(xí)參數(shù)

5.4：Python機(jī)器學(xué)習(xí)-2

5.4.1 模型評(píng)價(jià)指標(biāo)

5.4.2 交叉驗(yàn)證

5.4.3 機(jī)器學(xué)習(xí)經(jīng)典算法

5.4.4 樸素貝葉斯

5.4.5 隨機(jī)森林

5.4.6 GBDT

5.5：圖像識(shí)別&&神經(jīng)網(wǎng)絡(luò)

5.5.1 圖像操作的工作流程

5.5.2 特征工程

5.5.3 圖像特征描述

5.5.4 AI網(wǎng)絡(luò)的描述

5.5.5 深度學(xué)習(xí)

5.5.6 TensorFlow框架學(xué)習(xí)

5.5.7 TensorFlow框架卷積神經(jīng)網(wǎng)絡(luò)（CNN）

5.6：自然語(yǔ)言處理&&社交網(wǎng)絡(luò)處理

5.6.1 Python文本數(shù)據(jù)處理

5.6.2 自然語(yǔ)言處理及NLTK

5.6.3 主題模型

5.6.4 LDA

5.6.5 圖論簡(jiǎn)介

5.6.6 網(wǎng)絡(luò)的操作及數(shù)據(jù)可視化

5.7：實(shí)戰(zhàn)項(xiàng)目：《戶外設(shè)備識(shí)別分析》(1)

5.7.1 項(xiàng)目介紹：

用戶行為識(shí)別數(shù)據(jù)是由用戶 腰間的智能手機(jī)記錄的， 常 建改數(shù)據(jù)集的目的是用于識(shí) 別分類6組不同的用戶行為， 通過(guò)智能手機(jī)的加速計(jì)和螺旋 儀能夠以50HZ的頻率采集3個(gè) 方向的加速度和3個(gè)方向的角 速度，采集后的數(shù)據(jù)分成， 70%訓(xùn)練集，30%測(cè)試集。

5.7：實(shí)戰(zhàn)項(xiàng)目：《戶外設(shè)備識(shí)別分析》(2)

5.7.2項(xiàng)目特色(1)

為了保證線路和設(shè)備巡檢的順利進(jìn) 行，減少不必要的經(jīng)濟(jì)損失，改革 傳統(tǒng)落后巡檢方式的呼聲越來(lái)越 高。如何監(jiān)督巡檢人員巡檢路線的 到位情況和工作狀態(tài)以及巡檢工作 的規(guī)范化管理已經(jīng)成為電網(wǎng)管理者 普遍關(guān)注和亟待解決的問(wèn)題。 系統(tǒng)架構(gòu)

5.7：實(shí)戰(zhàn)項(xiàng)目：《戶外設(shè)備識(shí)別分析》(3)

5.7.2項(xiàng)目特色(2)

系統(tǒng)硬件構(gòu)架包括：固定式讀寫(xiě)器、 天線、RFID手持設(shè)備、標(biāo)簽及服務(wù)器。 數(shù)據(jù)交換方式，可以采用兩種方式 進(jìn)行實(shí)施： 1）在線數(shù)據(jù)交換，通過(guò)固定式讀寫(xiě) 器將現(xiàn)場(chǎng)數(shù)據(jù)實(shí)時(shí)傳回后臺(tái)信息系 統(tǒng)進(jìn)行處理分析。

5.7：實(shí)戰(zhàn)項(xiàng)目：《戶外設(shè)備識(shí)別分析》(4)

5.7.2項(xiàng)目特色(3)

2）離線數(shù)據(jù)交換，通過(guò)手持設(shè)備 在現(xiàn)場(chǎng)數(shù)據(jù)采集完數(shù)據(jù)后，導(dǎo)入至 后臺(tái)信息系統(tǒng)進(jìn)行處理分析。