 班級規模及環境--熱線:4008699035 手機:15921673576( 微信同號) |
| 每個班級的人數限3到5人，互動授課， 保障效果，小班授課。 |
| 上間和地點 |
上部份地點：【上海】同濟大學(滬西)/新城金郡商務樓(11號線白銀路站)【深圳分部】：電影大廈(地鐵一號線大劇院站)/深圳大學成教院【北京分部】：北京中山學院/福鑫大樓【南京分部】：金港大廈(和燕路)【武漢分部】：佳源大廈（高新二路）【成都分部】：領館區1號（中和大道）【沈陽分部】：沈陽理工大學/六宅臻品【鄭州分部】：鄭州大學/錦華大廈【石家莊分部】：河北科技大學/瑞景大廈
最近開間(周末班/連續班/晚班）：2019年1月26日 |
| 實驗設備 |
◆小班教學，教學效果好
☆注重質量☆邊講邊練
☆合格學員免費推薦工作
★實驗設備請點擊這兒查看★ |
| 質量保障 |
1、培訓過程中，如有部分內容理解不透或消化不好，可免費在以后培訓班中重聽；
2、培訓結束后,授課老師留給學員聯系方式,保障培訓效果,免費提供課后技術支持。
3、培訓合格學員可享受免費推薦就業機會。☆合格學員免費頒發相關工程師等資格證書，提升職業資質。專注高端技術培訓15年，端海學員的能力得到大家的認同，受到用人單位的廣泛贊譽，端海的證書受到廣泛認可。 |
部份程大綱 |
| |
- 目標收益
本課程將為大家全面而又深入的介紹Spark、Hadoop平臺的構建流程，涉及Spark、Hadoo系統基礎知識，概念及架構， Spark、Hadoo實戰技巧，Spark、Hadoo經典案例等。
通過本課程實踐，幫助學員對Spark、Hadoo生態系統有一個清晰明了的認識；理解Spark、Hadoo系統適用的場景；掌握Spark、Hadoo等初中級應用開發技能；搭建穩定可靠的Spar、Hadoo k集群，滿足生產環境的標準；了解和清楚大數據應用的幾個行業中的經典案例，包括阿里巴巴，華為等。
- 培訓對象
- 各類 IT/軟件企業和研發機構的軟件架構師、軟件設計師、程序員。對于懷有設計疑問和問題，需要梳理解答的團隊和個人，效果最佳。
- 學員基礎
- 了解Linux系統及相關語言環境
- 課程大綱
- 主題 內容
Hadoop簡介和生態系統介紹
- 傳統大規模數據分析存在的問題
Hadoop概述
Hadoop與分布式文件系統
Hadoop生態系統
Hadoop的行業應用案例分析
Hadoop在云計算和大數據的位置和關系
Hadoop版本介紹
Hadoop與Google FS的關系
Hadoop在國內的使用情況和未來
- Hadoop安裝和主要配置文件介紹
- Hadoop安裝所需軟件介紹
Hadoop單機安裝
Hadoop偽分布式安裝
Hadoop完全分布式安裝
Hadoop三個節點安裝的配置介紹
Hahoop多節點ssh配置
Hadoop格式化詳解
Hadoop核心配置文件介紹
核心配置文件core-site.xml
HDFS配置文件hdfs-site.xml
Mapreduce配置文件mapred-site.xml
master文件配置詳解
slave文件配置詳解
Hadoop啟動和停止方法一
—start-all.sh詳解
—stop-all.sh詳解
Hadoop的啟動和停止方法二
—hadoop-deamon.sh詳解
Hadoop安裝的常見錯誤介紹和解決方案
使用自帶的wordcount和pi測試集群安裝是否成功
使用Streaming來測試集群安裝是否成功
- Hadoop組件介紹
- Hadoop NameNode 介紹
Hadoop SecondaryNameNode 介紹
Hadoop DataNode 介紹
Hadoop JobTracker 介紹
Hadoop TaskTracker 介紹
- Hadoop的HDFS模塊
- HDFS架構介紹
HDFS原理介紹
NameNode功能詳解
DataNode功能詳解
SecondaryNameNode功能詳解
HSFD的fsimage和editslog詳解
HDFS的block詳解
HDFS的block的備份策略
Hadoop的機架感知配置
HDFS的shell命令介紹
HDFS的thrift server服務介紹
HDFS的API接口介紹
HDFS的權限詳解
Hadoop的客服端接入案例
- MapReducer入門
- Mapreduce原理
MapReduce流程
剖析一個MapReduce程序
Mapper和Reducer抽象類詳解
Mapreduce的最小驅動類
MapReduce自帶的類型
自定義Writables和WritableComparables
Mapreduce的輸入InputFormats
MapReduce的輸出OutputFormats
Combiner詳解
Partitioner詳解
DistributeFileSystem詳解
Hadoop Tools工具介紹
Counter計數器詳解
自定義Counter計數器
基于Hadoop二次開發實戰
MapReduce的優化
Map和Reduce的個數設置
Hadoop小文件優化
任務調度
默認的任務調度
公平任務調度
能力任務調度
使用 Hadoop MapReduce Streaming 編程
MapReduce的單元測試
- Hive
- Hive和Pig基礎
Hive、Impala和presto的比較
Hive的作用和原理說明
Hadoop倉庫和傳統數據倉庫的協作關系
Hadoop/Hive倉庫數據數據流
Hive部署和安裝
HiveCli的基本用法
Hive的server啟動
HQL基本語法
Hive的加載數據本地加載和HDFS加載
Hive的partition詳解
Hive的存儲方式詳解
RCFILE、TEXTFILE和SEQUEUEFILE
Hive的UDF和UDAF
Hive的transform詳解
Hive的JDBC連接
- Sqoop介紹
- Sqoop是什么
Sqoop安裝
Sqoop把mysql數據導入HDFS
Sqoop把HDFS數據導入Mysql
Sqoop吧Mysql數據導入Hive
Sqoop吧Mysql數據導入Hive分區
- Hadoop集群配置和維護
- Hadoop集群的部署要點
NameNode和SecondaryNameNode和JobTracker機器的配置要求
dataNode與tasktracker機器的配置要求
Hadoop集群管理的工具介紹
Ganglia和nigos監控Hadoop集群介紹
Ambri介紹
添加和刪除節點演示
Namenode的單點解決方案
NameNode的NFS備份介紹
集群所有dataNode掛掉的故障介紹
集群NameNode的fsimage丟掉恢復方法
Hadoop集群維護的注意點
- Hbase使用
- Hbase原理
Hmaster詳解
RegionServer詳解
Zookeeper介紹
Hbase安裝
Hbase邏輯視圖介紹
Hbase物理視圖介紹
Hbase的二級索引介紹
Hbase的DDL和DML
Hbase表的設計案例
Hbase的import功能介紹
MapReduce操作Hbase
Hbase的thriftServer介紹
Hbase的API介紹
Hbase使用場景介紹
Hbase案例分析
- 大數據在國內的運用
- 大數據在國內的使用介紹
離線計算框架介紹
流式計算框架介紹
內存計算框架介紹
內存流式計算介紹
大數據實時請求框架介紹
大數據在移動的案例介紹
大數據在銀行的案例介紹
大數據在阿里的案例介紹
- Spark生態介紹
- Spark產生背景
Spark（內存計算框架）
SparkSteaming（流式計算框架）
SparkSQL（ad-hoc）
Mllib（MachineLearning）
GraphX（bagel將被代）
- spark安裝部署
- Spark安裝簡介
Spark的源碼編譯
SparkStandalone安裝
SparkStandaloneHA安裝
Spark應用程序部署工具spark-submit
- Spark運行架構和解析
- Spark的運行架構
基本術語
運行架構
SparkonStandalone運行過程
SparkonYARN運行過程
Spark運行實例解析
SparkonStandalone實例解析
SparkonYARN實例解析
- SparkSQL原理和實踐
- SparkSQL原理
SparkSQL的Catalyst優化器
SparkSQL內核
SparkSQL和Hive
SparkSQL的實例和編程
SparkSQL的實例操作demo
SparkSQL的編程
|
首頁 課程表 在線聊 報名 講師 品牌 QQ聊 活動 就業