課程大綱：

Spark 大數據培訓

1 Spark 的安裝與配置

2 Spark SQL 基礎知識及使用案例

3 Spark 機器學習基礎知識及使用案例

4 Spark Streaming 基礎知識及使用案例

5 Spark GraphX 基礎知識及使用案例

1
Spark 簡介與安裝部署

1.Spark核心概念

2.Spark生態系統BDAS

3.Spark單機模式部署

4.Spark集群模式部署

5.SparkShell的基本使用

6.啟動Spark服務

2
Scala 編程快速教程

1.Scala基礎概念

2.Scala交互式命令行

3.Scala基礎語法：值、標識符、運算符、注釋等

4.Scala數據類型，變量

5.Scala函數與類

6.Scala的集合

3
Spark RDD 簡介與操作

1.RDD簡介

2.連接并初始化Spark

3.SparkRDD數據源

4.RDD的轉化操作

5.RDD的行動操作

4
Spark RDD 高級應用與持久化

1.向Spark傳遞函數

2.理解閉包

3.共享變量

4.鍵值對RDD

5.不同類型RDD之間的轉換

6.RDD緩存、持久化

5
Spark 應用開發入門

1.Spark編程模型

2.詞頻統計算法

3.Scala語言開發Spark應用

4.編譯打包提交到集群執行

6
Spark 分析 Apache 日志

1.Apache日志文件格式

2.Scala語言開發Spark應用

3.Spark日志分析的基本方法

7
Spark Streaming 入門實戰

1.SparkStreaming簡介

2.StreamingContext的初始化

3.輸入源

4.轉化操作

5.輸出操作

6.項目實例

8
Spark SQL 入門實戰

1.SparkSQL簡介

2.SparkSQL編程實例

3.支持多種數據源

4.將RDDs轉化為DataFrame

9
Spark GraphX 入門實戰

1.GraphX簡介

2.屬性圖

3.一個屬性圖的例子

4.項目實例

5.其它擴展

10
Spark 機器學習入門實戰

1.MLlib簡介

2.使用sparkmllib的項目實例

3.使用sparkml的項目實例