課程大綱：

Spark 實(shí)時(shí)電商數(shù)據(jù)分析及可視化培訓(xùn)

Spark 實(shí)時(shí)電商數(shù)據(jù)分析可視化系統(tǒng)是一個(gè)經(jīng)典的大數(shù)據(jù)應(yīng)用項(xiàng)目，

技術(shù)棧主要有 Flume、Kafka、Spark Streaming、Flask 等，

幫助大家了解和運(yùn)用一些當(dāng)前熱門的大數(shù)據(jù)處理組件來親自動(dòng)手搭建一套大數(shù)據(jù)處理平臺(tái)框架和熟悉大數(shù)據(jù)項(xiàng)目的基礎(chǔ)開發(fā)流程。

1 Spark Streaming 與 Kafka 的對(duì)接

2 Kafka 消費(fèi)者和生產(chǎn)者的應(yīng)用

3 Echarts 數(shù)據(jù)展示

4 SocketIO 的使用

5 Dstream 中使用 Redis

6 Kafka 主題創(chuàng)建及數(shù)據(jù)存儲(chǔ)

7 Kafka 整合 Flume

8 Flask 與 Kafka 對(duì)接

9 Flask 整合 SocketIO

10 Spark Streaming 高級(jí)函數(shù)應(yīng)用

1
數(shù)據(jù)采集與傳輸

1.Flume和Kafka基本操作命令

2.Kafka中Topic的創(chuàng)建

3.Flume作為Kafka數(shù)據(jù)源的配置

4.Zookeeper、Kafka、Flume整合使用

5.Flume與Kafka整合的優(yōu)點(diǎn)

6.數(shù)據(jù)消費(fèi)

2
數(shù)據(jù)處理之 Spark 對(duì)接 Kafka

1.Sparkshell應(yīng)用

2.Scala在項(xiàng)目中的使用

3.SparkStreaming對(duì)接Kafka

4.SparkDstream的創(chuàng)建

5.消費(fèi)Kafka中Topic的數(shù)據(jù)

6.樣例類的創(chuàng)建

7.數(shù)據(jù)預(yù)處理

3
數(shù)據(jù)處理之 Spark 函數(shù)應(yīng)用

1.Sparkstreaming中map、updateStateBy等函數(shù)的應(yīng)用

2.KafkaSink工具類創(chuàng)建

3.KafkaProducer的創(chuàng)建及使用

4.累加函數(shù)的編寫

5.Sparkstreaming中的全局狀態(tài)

4
數(shù)據(jù)可視化之 Flask 對(duì)接 Kafka

1.Flask簡(jiǎn)單應(yīng)用

2.項(xiàng)目框架配置

3.kafkaConsumer的創(chuàng)建

4.Flask與Kafka對(duì)接

5.消費(fèi)Kafka中Topic的數(shù)據(jù)

5
數(shù)據(jù)可視化之 SocketIO 數(shù)據(jù)推送

1.SocketIO應(yīng)用

2.Flask視圖函數(shù)

3.Socket對(duì)象創(chuàng)建

4.線程回調(diào)函數(shù)編寫 5.JavaScript應(yīng)用

6
Echarts 應(yīng)用
1.Echarts引入及應(yīng)用

2.Echarts常用屬性

3.Echarts加載SocketIO數(shù)據(jù)

4.Echarts圖表對(duì)象創(chuàng)建

7
項(xiàng)目拓展

1.Redis簡(jiǎn)介及應(yīng)用

2.滑動(dòng)窗口的應(yīng)用

3.Redis數(shù)據(jù)存儲(chǔ)

4.Redis工具類創(chuàng)建

8
項(xiàng)目總結(jié)

1.Flink簡(jiǎn)介及應(yīng)用

2.項(xiàng)目中使用Flink替代Spark

3.Canal簡(jiǎn)介及應(yīng)用

4.HBase簡(jiǎn)介及應(yīng)用

5.基于Flink的實(shí)時(shí)數(shù)倉(cāng)