課程目標：本套教程為真實的大數(shù)據(jù)實戰(zhàn)案例，適合有大數(shù)據(jù)基礎(chǔ)的學(xué)員學(xué)習(xí)，熟練掌握本套大數(shù)據(jù)案例，完全可以勝任企業(yè)級的大數(shù)據(jù)開發(fā)。祝愿各位轉(zhuǎn)型的大數(shù)據(jù)學(xué)子拿到自己理想的收入。

適合人群：適合有經(jīng)驗的大數(shù)據(jù)開發(fā)人員，學(xué)習(xí)完大數(shù)據(jù)的基礎(chǔ)課程，想整合實戰(zhàn)案例的學(xué)員。

課程說明

本課程將通過一個真實的企業(yè)級云產(chǎn)品項目進行講解，該項目是國內(nèi)專業(yè)的移動應(yīng)用統(tǒng)計分析平臺，每天觸達14億活躍設(shè)備，每月覆蓋80%以上新增手機消費者，幾乎覆蓋全部iOS消費者，通過該項目系統(tǒng)幫助移動應(yīng)用開發(fā)商統(tǒng)計和分析流量來源、內(nèi)容使用、用戶屬性和行為數(shù)據(jù)，以便開發(fā)商利用數(shù)據(jù)進行產(chǎn)品、運營、推廣策略的決策。提供基本統(tǒng)計、活躍用戶、使用頻率、使用時長、頁面訪問、地域分析、版本分析、渠道分析、設(shè)備分析、操作系統(tǒng)、分辨率、運營商、聯(lián)網(wǎng)方式、自定義事件分析、終端異常分析,流失用戶分析等多種統(tǒng)計分析手段。

?

數(shù)據(jù)統(tǒng)計分析系統(tǒng)架構(gòu)圖

?

課程所用到的開發(fā)環(huán)境和用到的技術(shù)：

系統(tǒng)：window7，

開發(fā)工具是:eclipse，IDEA，

本課程項目是一個綜合項目，技術(shù)涵蓋java web，大數(shù)據(jù)，虛擬化，linux服務(wù)器等

具體包含： spring，spark，spark streaming，spark mlib，hive，flume,kafka,hadoop，hbase，mongodb，dubbo,分布式緩存，redis，docker，nginx,easyui，highcharts等等。

此課程是按照真實企業(yè)級開發(fā)項目流程進行講解，通過學(xué)習(xí)此課程可以體會到真實的大型大數(shù)據(jù)項目開發(fā)流程，學(xué)完此課程可以熟練掌握大數(shù)據(jù)技術(shù)，java web技術(shù)，docker虛擬化技術(shù)，分布式技術(shù)，緩存技術(shù)，linux等。

?

（一）項目總體需求分析
1.項目背景

在這個互聯(lián)網(wǎng)爆發(fā)的時代，移動網(wǎng)絡(luò)，移動設(shè)備逐漸成為人們的必備品，移動設(shè)備的用戶已經(jīng)達到幾億，可想而知，app必將流行起來，但是每一款app都要運營，達到盈利的目的，那么這個運營怎么做呢？要借助大數(shù)據(jù)的技術(shù)，準確分析用戶的行為，這必將會有很大的需求。

2.項目需求

在這個互聯(lián)網(wǎng)爆發(fā)的時代，移動網(wǎng)絡(luò)，移動設(shè)備逐漸成為人們的必備品，移動設(shè)備的用戶已經(jīng)達到幾億，可想而知，app必將流行起來，但是每一款app都要運營，達到盈利的目的，那么這個運營怎么做呢，要借助大數(shù)據(jù)的技術(shù)，準確分析用戶的行為，這必將會有很大的需求。急需一個系統(tǒng)幫助各大中小企業(yè)快速的分析app用戶的行為，只需要接入提供的sdk，就可以輕松的了解用戶的行為，享受大數(shù)據(jù)技術(shù)帶來的時代變革。通過該產(chǎn)品可以了解到：app的應(yīng)用趨勢，app的渠道推廣情況，用戶留存情況，用戶的行為分析，用戶屬性分析，應(yīng)用錯誤分析，用戶數(shù)據(jù)挖掘，并且需要實時去展示這些分析結(jié)果。

3.系統(tǒng)功能

可以查看該app的用戶活躍度，每個時段的新增用戶，app的終端使用分類情況，沉默用戶，和忠誠用戶的統(tǒng)計和查看等。

（二）項目架構(gòu)設(shè)計及技術(shù)選型

1.項目整體架構(gòu)設(shè)計

2.軟件選型

（三）項目整體環(huán)境搭建

1.機器選型、節(jié)點規(guī)劃等。

2.集群環(huán)境搭建

（四）相關(guān)項目內(nèi)容

1.物理架構(gòu)，邏輯架構(gòu)

2.上報數(shù)據(jù)服務(wù)的設(shè)計與開發(fā)

3.實時處理數(shù)據(jù)的環(huán)境搭建和程序開發(fā)

4.日志收集系統(tǒng)設(shè)計

5.離線任務(wù)的設(shè)計和開發(fā)

6.高并發(fā)，緩存，虛擬化等

?

課程大綱

第1節(jié)0、大數(shù)據(jù)項目說明

第2節(jié)1、大數(shù)據(jù)案例業(yè)務(wù)術(shù)語和使用

第3節(jié)2、大數(shù)據(jù)案例andriod的sdk使用和項目邏輯架構(gòu)講解

第4節(jié)3、大數(shù)據(jù)案例項目管理工具maven講解

第5節(jié)4、大數(shù)據(jù)案例上報服務(wù)代碼編寫1

第6節(jié)5、大數(shù)據(jù)案例上報服務(wù)代碼編寫2

第7節(jié)6、大數(shù)據(jù)案例上報服務(wù)代碼編寫3

第8節(jié)7、大數(shù)據(jù)案例消息傳輸講解

第9節(jié)8、大數(shù)據(jù)案例消息傳輸講解以及整合代碼編寫

第10節(jié)9、大數(shù)據(jù)案例消息整合上報服務(wù)代碼編寫

第11節(jié)10、大數(shù)據(jù)案例流式計算框架選型之storm講解

第12節(jié)11、大數(shù)據(jù)案例流式計算框架選型之storm基礎(chǔ)環(huán)境搭建

第13節(jié)12、大數(shù)據(jù)案例流式計算框架選型之storm集群環(huán)境搭建

第14節(jié)13、大數(shù)據(jù)案例流式計算框架選型之storm開發(fā)講解1

第15節(jié)14、大數(shù)據(jù)案例流式計算框架選型之storm開發(fā)講解2

第16節(jié)15、大數(shù)據(jù)案例流式計算框架之spark講解

第17節(jié)16、大數(shù)據(jù)案例流式計算框架之spark代碼講解1

第18節(jié)17、大數(shù)據(jù)案例流式計算框架之spark代碼講解2

第19節(jié)18、大數(shù)據(jù)案例流式計算框架選型說明以及友盟spark代碼整合講解

第20節(jié)19、大數(shù)據(jù)案例spark業(yè)務(wù)代碼講解

第21節(jié)20、大數(shù)據(jù)案例之kafka集群搭建

第22節(jié)21、大數(shù)據(jù)案例之上報服務(wù)和spark streming實時計算服務(wù)聯(lián)調(diào)測試

第23節(jié)22、大數(shù)據(jù)案例存儲引擎之Mongo環(huán)境搭建以及增刪改查講解

第24節(jié)23、大數(shù)據(jù)案例存儲引擎之mongo復(fù)雜的增刪改查講解

第25節(jié)24、大數(shù)據(jù)案例存儲引擎之mongo聚合以及索引和查詢計劃講解

第26節(jié)25、大數(shù)據(jù)案例存儲引擎之mongo主從復(fù)制講解

第27節(jié)26、大數(shù)據(jù)案例存儲引擎之mongo副本集和分片講解

第28節(jié)27、大數(shù)據(jù)案例存儲引擎之mongo代碼講解1

第29節(jié)28、大數(shù)據(jù)案例存儲引擎之mongo代碼講解2

第30節(jié)29、大數(shù)據(jù)案例sparkstreaming整合mongo代碼編寫講解1

第31節(jié)30、大數(shù)據(jù)案例sparkstreaming整合mongo代碼編寫講解2

第32節(jié)31、大數(shù)據(jù)案例sparkstreaming整合mongo代碼編寫講解3

第33節(jié)32、大數(shù)據(jù)案例sparkstreaming整合mongo代碼編寫講解4

第34節(jié)33、大數(shù)據(jù)案例sparkingstreaming整合mongo之mongo的linux集群搭建

第35節(jié)34、大數(shù)據(jù)案例sparkingstreaming整合mongo之代碼優(yōu)化

第36節(jié)35、大數(shù)據(jù)案例sparkingstreaming和mongo聯(lián)調(diào)測試

第37節(jié)36、大數(shù)據(jù)案例之flume講解

第38節(jié)37、大數(shù)據(jù)案例之flume補充講解

第39節(jié)38、大數(shù)據(jù)案例之hadoop ha集群搭建

第40節(jié)39、大數(shù)據(jù)案例之flume以及hdfs進行業(yè)務(wù)整合

第41節(jié)40、大數(shù)據(jù)案例之crontab定時任務(wù)講解

第42節(jié)41、大數(shù)據(jù)案例之hive環(huán)境搭建

第43節(jié)42、大數(shù)據(jù)案例之hive進行業(yè)務(wù)整合

第44節(jié)43、大數(shù)據(jù)案例之hive，crontab業(yè)務(wù)整合

第45節(jié)44、大數(shù)據(jù)案例之hive，crontab業(yè)務(wù)整合補充

第46節(jié)45、大數(shù)據(jù)案例之hive自定義函數(shù)解決復(fù)雜業(yè)務(wù)

第47節(jié)46、大數(shù)據(jù)案例之hive自定義函數(shù)解決復(fù)雜業(yè)務(wù)補充

第48節(jié)47、大數(shù)據(jù)案例之hbase集群環(huán)境搭建

第49節(jié)48、大數(shù)據(jù)案例之a(chǎn)pp錯誤分析

第50節(jié)49、大數(shù)據(jù)案例錯誤熱點詞定制分析

第51節(jié)50、大數(shù)據(jù)案例hbase選型講解以及hbase使用講解

第52節(jié)51、大數(shù)據(jù)案例之hbase、hive業(yè)務(wù)整合?

第53節(jié)52、大數(shù)據(jù)案例之hbase、hive業(yè)務(wù)整合補充

第54節(jié)53、大數(shù)據(jù)案例之hbase、hive定時任務(wù)講解

第55節(jié)54、大數(shù)據(jù)案例hbase，hive動態(tài)參數(shù)實現(xiàn)自動分析當天的數(shù)據(jù)1

第56節(jié)55、大數(shù)據(jù)案例hbase，hive動態(tài)參數(shù)實現(xiàn)自動分析當天的數(shù)據(jù)2

?

未經(jīng)作者允許進行翻錄和倒賣的，將進行相關(guān)的法律維權(quán)。