| |
Hadoop大型應用開發實戰培訓課程
|
| |
 班級規模及環境--熱線:4008699035 手機:15921673576( 微信同號) |
|
每期人數限3到5人。 |
| 上課時間和地點 |
上課地點：【上海】：同濟大學(滬西)/新城金郡商務樓(11號線白銀路站) 【深圳分部】：電影大廈(地鐵一號線大劇院站)/深圳大學成教院 【北京分部】：北京中山學院/福鑫大樓 【南京分部】：金港大廈(和燕路) 【武漢分部】：佳源大廈（高新二路） 【成都分部】：領館區1號（中和大道） 【沈陽分部】：沈陽理工大學/六宅臻品 【鄭州分部】：鄭州大學/錦華大廈 【石家莊分部】：河北科技大學/瑞景大廈 【廣州分部】：廣糧大廈 【西安分部】：協同大廈
最近開課時間(周末班/連續班/晚班）：2020年3月16日 |
| 實驗設備 |
☆資深工程師授課
☆注重質量
☆邊講邊練
☆合格學員免費推薦工作
★實驗設備請點擊這兒查看★ |
| 質量保障 |
1、培訓過程中，如有部分內容理解不透或消化不好，可免費在以后培訓班中重聽；
2、培訓結束后,授課老師留給學員聯系方式,保障培訓效果,免費提供課后技術支持。
3、培訓合格學員可享受免費推薦就業機會。 |
課程大綱 |
一、課程目標
1. 全面掌握Hadoop的架構原理和使用場景；
2. 全程項目實戰訓練；
3. 徹底掌握使用Hadoop進行MapReduce程序開發；
4. 熟悉分布式計算領域的常用算法；
二、學習對象
軟件工程師、數據庫開發人員、網絡后臺開發人員、運維人員等。學員要求有一定的Java編程基礎。
三、授課師資
王老師 國內最早從事于Hadoop框架應用程序軟件開發以及Hadoop解決方案專家。業界知名資深IT技術培訓講師、多家著名公司的技術顧問。
四、具體課程安排
模塊單元 模塊單元
第1個主題：Hadoop MapReduce
1. Hadoop JobTracker 剖析
2.Hadoop TaskTracker 剖析
3.Hadoop 任務提交流程剖析
第2個主題： Hadoop MapReduce Streaming編程
1. Hadoop Streaming 和 Java MapReduce Api 差異
2. 使用 MapReduce 實現數據庫功能
第3個主題：MapReduce分布式程序
1. MapReduce流程
2.剖析一個MapReduce程序
3.基本MapReduceAPI 概念
4.驅動代碼 5.Mapper
6.Reducer
7.API 使用Eclipse進行快速開發
8.新MapReduce API
第4個主題：Hadoop 核心代碼剖析
1. Hadoop Mapper 類核心代碼剖析
2. Hadoop Reducer 類核心代碼剖析
第5個主題：HDFS分布式文件系統編程
1. Hadoop HDFS 剖析
2. Hadoop NameNode 剖析
3. Hadoop DataNode 剖析
4. hadoop I/O 操作
5. 使用Hadoop HDFS API對HDFS編程
第1個主題：Hadoop Mapreduce高級編程
1.ToolRunner介紹
2.使用MRUnit進行測試
3.利用Combiners來減少中間數據
4.使用Configure和Close方法來進行Map/Reduce設置和關閉
5.編寫Partitioner來優化負載平衡
6.直接訪問Hadoop分布式文件系統（HDFS）
7.使用分布式緩存（Distributed Cache）
第2個主題：MapReduce的優化
1. map優化
2. reduce優化
3. 小文件優化 第3個主題：MapReduce的任務調度
1. Queue調度的使用
2. 公平調度的使用
3. 能力調度的使用
第4個主題：MapReduce編程實戰
1. Hadoop的join操作
2. Hadoop的二次排序
3. Hadoop的海量日志分析
第5個主題：flume+hadoop日志收集實戰
1. flume介紹
2. flume核心組件講解
3. flume自帶的組件分析
4. flume二次開發實戰
第1個主題：Hadoop的來源和動機
1.傳統大規模系統存在的問題
2.對一種新的解決方案的需求
第2個主題：Hadoop安裝和部署準備
1. Hadoop系統模塊組件概述
2. Hadoop試驗集群的部署結構
3. Hadoop 安裝依賴關系
4. Hadoop 生產環境的部署結構
第3個主題：Hadoop集群安裝和部署
1. Red hat Linux基礎環境搭建 上機實驗
2. Hadoop 單機系統版本 安裝配置 上機實驗
3. Hadoop 集群系統版本 安裝和啟動配置 上機實驗
4. Hadoop 集群異常Debug 方法
5. Hadoop 集群簡單測試方法
6. 使用 Hadoop MapReduce Streaming 快速測試系統
第4個主題：Hadoop組件詳解
1. Hadoop HDFS 基本結構
2. Hadoop HDFS 副本存放策略
3. Hadoop NameNode 詳解
4. Hadoop SecondaryNameNode 詳解
5. Hadoop DataNode 詳解
6. Hadoop JobTracker 詳解
7. Hadoop TaskTracker 詳解
第5個主題：Hadoop集群配置詳解
1. Hadoop core-site,hdfs-site,mapred-site 配置詳解
2. Hadoop 高可用配置方法 第1個主題：Hadoop集群配置:機架感知,開啟壓縮和任務均衡
Hadoop 集群安裝和開啟LZO壓縮
Hadoop 配置集群具備機架感知
Hadoop 集群開啟公平任務調度器
Hadoop 集群開啟能力任務調度器
第2個主題：Hadoop 集群維護與管理
查看集群狀態
HDFS數據管理
Mapreduce 任務管理
HDFS安全模式
模擬集群Namenode,jobtrack失效
添加刪除節點
數據平衡
文件數據跨集群拷貝
集群升級
第3個主題：Hadoop 集群規劃和測試
集群規劃(硬件,系統,網絡)
集群性能測試
第4個主題：Hadoop 集群監控和運維
1. 使用Ganglia 監控Hadoop集群
2. 使用Cacti 監控操作系統
第5個主題：Hadoop HDFS高可用
Hadoop 元數據NFS備份方案
Hadoop SecondaryNameNode備份方案
Hadoop CheckpointNode備份方案
Hadoop BackupNode備份方案
Hadoop Cloudera HA Namenode 方案 |
|
|
|
|
|
|
|
|
|
首頁 課程表 在線聊 報名 講師 品牌 QQ聊 活動 就業
