基于Flink搭建流計(jì)算平臺(tái)培訓(xùn)課程班

一、流式處理架構(gòu)

1.1 流式處理背景及架構(gòu)介紹
1.2 流式處理行業(yè)案例以及Flink的適用場(chǎng)景及應(yīng)用概述

二、Flink概述

2.1 什么是Flink
2.2 Flink架構(gòu)
2.3 Flink 與 Spark的比較以及為什么選擇Flink
2.4 Flink開發(fā)環(huán)境配置和搭建

三、Flink編程模型

3.1 數(shù)據(jù)集類型
3.2 Flink編程接口
3.3 Flink程序結(jié)構(gòu)
3.4 Flink數(shù)據(jù)類型

四、DataStream API介紹與使用

4.1 DataStream編程模型
4.2 Flink Execution 參數(shù)
4.3 Transformation
4.4 時(shí)間概念與Watermark
4.5 Windows窗口計(jì)算
4.6 作業(yè)鏈和資源組
4.7 Asynchronous I/O異步API
4.8 Asynchronous I/O異步原理

五、Flink流式計(jì)算基本概念介紹

5.1 時(shí)間特性：Event Time / Processing Time / Ingestion Time
5.2 WaterMark
5.3 Source/Sink/Operator
5.4 數(shù)據(jù)完整性語(yǔ)義
5.5 State/Checkpoint/Savepoint
5.6 Time window

六、Flink Connector數(shù)據(jù)源

6.1 FlinkKafkaSource序列化、消費(fèi)模式
6.2 FlinkKafkaSource容錯(cuò)、動(dòng)態(tài)分區(qū)及topic
6.3 FlinkKafkaSink序列化、配置、分區(qū)與容錯(cuò)
6.4自定義Source和Sink

七、DataSet API介紹與使用

7.1 DataSet API，Transformation
7.2 迭代計(jì)算
7.3 廣播變量與分布式緩存
7.4 語(yǔ)義注解
7.5 DataSetUtils工具類

八、Table API & SQL介紹與使用

8.1 基本概念

流/表對(duì)偶性
Source/Sink Table
數(shù)據(jù)回撤

8.2 Flink Table API
8.3 Flink SQL使用

Flink SQL client
Flink SQL 已支持特性

8.4 自定義函數(shù) UDF/UDTF/UDAF

九、兩個(gè)完整的Flink實(shí)現(xiàn)案例

9.1 Kafka 數(shù)據(jù)流處理，寫入HDFS
9.2多源數(shù)據(jù)關(guān)聯(lián)與聚合分析

十、Flink有狀態(tài)的計(jì)算、狀態(tài)管理和容錯(cuò)

10.1 什么是有狀態(tài)計(jì)算
10.2 有狀態(tài)計(jì)算中的數(shù)據(jù)一致性挑戰(zhàn)
10.3 理解state狀態(tài)
10.4 Operator State 的使用及Redistribute
10.5 Keyed State的使用與Redistribute
10.6 Broadcast State的妙用
10.7 Checkpoint核心原理剖析
10.8 Checkpoint使用條件及使用步驟
10.9 Checkpoint相關(guān)配置及重啟策略
10.10 Savepoint的觸發(fā)、Job恢復(fù)及刪除

十一、實(shí)戰(zhàn)項(xiàng)目1：用Flink實(shí)現(xiàn)一個(gè)通用、配置化的海量數(shù)據(jù)流、批處理產(chǎn)品

11.1實(shí)現(xiàn)配置管理
11.2實(shí)現(xiàn)數(shù)據(jù)源加載
11.3實(shí)現(xiàn)主流程控制
11.4實(shí)現(xiàn)任務(wù)管理

十二、Flink部署與應(yīng)用

12.1 Flink集群部署
12.2 Flink高可用配置
12.3 Flink安全管理
12.4 Flink集群升級(jí)
12.5 Flink on Yarn的原理和運(yùn)行方式
12.6 Flink on Yarn 提交任務(wù)與停止任務(wù)

十三、Flink監(jiān)控與性能優(yōu)化

13.1 監(jiān)控指標(biāo)
13.2 Backpressure監(jiān)控與優(yōu)化
13.3 Checkpointing監(jiān)控與優(yōu)化
13.4 Flink內(nèi)存優(yōu)化

十四、Flink組件棧介紹與使用

14.1 Flink復(fù)雜事件處理
14.2 Flink Gelly圖計(jì)算應(yīng)用
14.3 FlinkML機(jī)器學(xué)習(xí)應(yīng)用
14.4 Flink Metrics 與監(jiān)控

十五、Flink源碼學(xué)習(xí)

15.1 Flink源碼編譯
15.2 如何閱讀和學(xué)習(xí)Flink源碼
15.3 Flink源碼實(shí)現(xiàn)思路以及依賴管理
15.4 Flink核心模塊源碼帶讀與分析

十六、Flink在各大互聯(lián)網(wǎng)公司的典型應(yīng)用剖析

16.1Flink在阿里的應(yīng)用
16.2Flink在字節(jié)跳動(dòng)的應(yīng)用
16.3Flink在騰訊的應(yīng)用
16.4Flink在微博的應(yīng)用
16.5Flink在其他互聯(lián)網(wǎng)公司的應(yīng)用
16.6Flink 最佳實(shí)踐

十七、實(shí)戰(zhàn)項(xiàng)目2：使用Flink實(shí)現(xiàn)電商用戶支付行為分析和審計(jì)風(fēng)控

17.1電商支付數(shù)據(jù)模型（訂單，流水，賬戶余額，發(fā)現(xiàn)表）
17.2用戶行為分析需求與維度指標(biāo)設(shè)計(jì)
17.3審計(jì)風(fēng)控的需求與實(shí)現(xiàn)思路
17.4Flink代碼實(shí)現(xiàn)結(jié)構(gòu)與業(yè)務(wù)邏輯細(xì)節(jié)拆解