課程大綱： 大數據企業項目類友盟案例培訓
章節1
大數據企業項目第1章
第1節
01.業務模型說明
第2節
02.架構描述
第3節
03.術語解釋-新增-活躍-用戶等等
第4節
04.初始化weblog收集模塊-公共模塊-配置模塊
第5節
05.初始化收集端模塊-編程模擬上傳json數據
第6節
06.通過firefox的poster插件測試web程序
第7節
07.創建client數據生成程序 不斷發送數據給server
第8節
08.client上傳log時，將client系統時間寫入request的header中
第9節
09.編寫工具類，使用內省實現屬性復制
第10節
10.處理server收到的日志
章節2
大數據企業項目第2章
第1節
01.時間修正
第2節
02.屬性復制
第3節
03.通過GeoLite提取ip地址的真實區域
第4節
04.工具類封裝地理信息獲取
第5節
05.startuplog對象的地址設置
第6節
06.地理信息進行緩存處理
第7節
07.將日志信息轉換成json格式發送給kafka主題
第8節
08.準備kafka集群和zk集群并創建主題
第9節
09.啟動kakfa集群-web程序-phone程序測試數據收集
第10節
10.分析flume收集kafka消息-分區手段
第11節
11.自定義攔截器-添加logType和log創建時間的頭信息
第12節
12.導出flumejar文件部署到flume lib下
第13節
13.配置flume
第14節
14.添加自定義攔截器給配置文件
第15節
15.使用maven命令導出工件需要的所有第三方類庫
第16節
16.聯動測試-收集數據到hdfs
第17節
17.使用json serse作為hive表的串行化處理工具
章節3
大數據企業項目第3章
第1節
01.使用當前線程類加載解決公共模塊的加載問題
第2節
02.修改flume配置文件原生類型-避免大量小文件
第3節
03.使用腳本創建倉庫表
第4節
04.調度導入分區表數據分析
第5節
05.時間導入數據分析
第6節
06.使用sed編輯器處理時間問題
第7節
07.編寫exec.sh文件和exportData.sql文件
第8節
08.使用hive命令測試導入hdfs數據到hive分區表
第9節
09.修改手機端數據生成時間戳
第10節
10.實現調度周期導入hdfs數據到hive分區表
第11節
11.centos安裝tomcat
第12節
12.部署web程序到centos的tomcat下
第13節
13.分析統計用戶和新增用戶數
第14節
14.計算一天的起始和結束時間片
第15節
15.計算指定天所在的周和月的時間線
第16節
16.自定義UDF實現天起始和天結束時間提取
第17節
17.注冊UDF函數-測試
章節4
大數據企業項目第4章
第1節
01.DateUtil通過偏移量定位時間-統一時間訪問
第2節
02.注冊函數-測試函數-選定庫
第3節
03.查詢日新增-周新增-月新增-用戶總數
第4節
04.一次性統計一周內每天的新增用戶
第5節
05.通過分區查詢日活-月活-周活數
第6節
06.可視化web模塊初始化
第7節
07.添加hive-jdbcclient驅動到可視化模塊-測試
第8節
08.測試jdbc查詢hive的自定義函數
第9節
09.測試SSM連接查詢hive數據庫
第10節
10.關閉spring管理的事務-修改mybatis映射文件中大于小于比較符轉義處理
第11節
11.查詢指定的app今天新增用戶數
第12節
12.嵌套子查詢-查詢一周內每天新增用戶
第13節
13.連接web的ui程序-測試
第14節
14.通過鏈接訪問新增用戶-提交job給hive-執行查詢
第15節
15.dubbo概述
第16節
16.可視化web項目拆分-統計服務提供者模塊初始化
第17節
17.配置dubbo服務提供方-檢查zk
第18節
18.配置dubbo消費者方集成-1
章節5
大數據企業項目第5章
第1節
01.在hive使用using jar方式注冊hdfs上的庫函數
第2節
02.dubbo連接超時修改-消費者可視化程序測試
第3節
03.dubbo實現當前周內每天新增用戶數
第4節
04.dubbo測試通過web可視化-provider-Hiveserver實現周內用戶新增統計
第5節
05.改造dubbo模塊公共資源抽取
第6節
06.echart集成基礎
第7節
07.echart使用ajax訪問服務端數據-回傳回調-刷新echart圖表
第8節
08.echart集成json回傳數據-配置web程序
第9節
09.echart集成json-pom中json配置調整
第10節
10.echart動態刷新圖表-ajax訪問controller方法
第11節
11.過去五周周活躍用戶數-過去六月活躍用戶數
第12節
12.沉默用戶數
第13節
13.啟動次數
第14節
14.版本分布
第15節
15.本周回流用戶-1.版本分布
第16節
16.本周回流用戶-2sql實現
第17節
17.連續n周活躍-忠誠用戶-連續活躍用戶
第18節
18.近期流失用戶
第19節
19.留存用戶
第20節
20.新鮮度分析
章節6
大數據企業項目第6章
第1節
01.python-包-import-fromimport
第2節
02.python-爬蟲
第3節
03.python-爬蟲2
第4節
04.python-爬蟲3
第5節
05.python-集成hbase
第6節
06.spark使用python實現wordcount-lambda表達式
章節7
大數據企業項目第7章
第1節
01.分析spark streaming實現用戶行為的實時更新
第2節
02.編程實現DStream聚合-firstTime-lastTime
第3節
03.編程測試數據生成-聚合結果
第4節
04.聚合結果再分組-插入phoenix表中
第5節
05.聚合結果再分組-插入phoenix表中2
第6節
06.使用phoenix-core maven依賴
第7節
07.定義phoenix-udf函數
第8節
08.stat服務provider和phoenix交互查詢統計結果
第9節
09.自定義phoenix函數
章節8
大數據企業項目第8章
第1節
01.phoenix UDF定義
第2節
02.定義to_int函數將bigint轉換成integer(針對-1)
第3節
03.客戶單代碼測試udf函數
第4節
04.phoenix UDF投影列表達式處理
第5節
05.phoenix處理Day-week-month
第6節
06.phoenix處理Day-week-month2
第7節
07.phoenix查詢周新增用戶統計
第8節
08.phoenix查詢周活躍用戶
第9節
09.使用MR實現用戶畫像
第10節
10.知識點總結
第11節
11.簡歷指導
加入高級會員獲得助教答疑
