 班級規模及環境--熱線:4008699035 手機:15921673576( 微信同號) |
|
每期人數限3到5人。 |
| 上課時間和地點 |
上課地點：【上海】：同濟大學(滬西)/新城金郡商務樓(11號線白銀路站) 【深圳分部】：電影大廈(地鐵一號線大劇院站)/深圳大學成教院 【北京分部】：北京中山學院/福鑫大樓 【南京分部】：金港大廈(和燕路) 【武漢分部】：佳源大廈（高新二路） 【成都分部】：領館區1號（中和大道） 【沈陽分部】：沈陽理工大學/六宅臻品 【鄭州分部】：鄭州大學/錦華大廈 【石家莊分部】：河北科技大學/瑞景大廈 【廣州分部】：廣糧大廈 【西安分部】：協同大廈
最近開課時間(周末班/連續班/晚班）：2020年3月16日 |
| 實驗設備 |
☆資深工程師授課
☆注重質量
☆邊講邊練
☆合格學員免費推薦工作
★實驗設備請點擊這兒查看★ |
| 質量保障 |
1、培訓過程中，如有部分內容理解不透或消化不好，可免費在以后培訓班中重聽；
2、培訓結束后,授課老師留給學員聯系方式,保障培訓效果,免費提供課后技術支持。
3、培訓合格學員可享受免費推薦就業機會。 |
課程大綱 |
一、 應答簡介
針對貴方培訓需求之《Hadoop大數據技術與應用實戰》課程，特編制此課程方案。課程要點應答說明表：
表1.《Hadoop大數據技術與應用實戰》課程應答說明
課程要求與指標 是否滿足與能夠實質響應
應適用課程目標人群包括大數據開發人員、運維人員、項目管理人員 滿足、能夠
應滿足指定課程目標 滿足、能夠
應覆蓋指定課程內容 滿足、能夠
應在指定課時內完成授課內容 滿足、能夠
方案包括課程目標設計、課程實施大綱與框架、師資隊伍配備內容。
二、 培訓收益與課程目標設計
本課程通過培訓使學習者達到如下目標:
1. 本課程讓學員充分掌握大數據處理平臺（Hadoop和內存型實時計算Spark）技術架構、以及平臺的安裝部署、運維配置、應用開發實戰技能，熟悉國內外主流的大數據處理解決方案、以及大數據應用案例
2. 本課程強調主流的大數據關鍵技術及其在不同行業中企業的實際應用，立足于實際的行業應用需求，旨在讓企業學員能夠掌握大數據平臺技術及應用如何落地，以及基于大數據平臺的應用程序開發，以及大數據集群的運維技術，讓學員掌握業界主流的大數據平臺的應用和部署，并且結合當前（移動）互聯網環境下產生的大規模結構化與非結構化數據管理以及分析處理需求，詳細講解有機地集成大數據平臺各個功能組件（大數據收集、大數據存儲、大數據管理、大數據挖掘、大數據分析和大數據可視化組件）設計大數據項目，并分享大數據項目應用實施案例。
3. 讓學員掌握主流大數據Hadoop平臺和Spark實時處理平臺的技術架構和實際應用，并用結合實際的生產系統案例進行教學，講解利用Hadoop+Spark對行業大數據進行存儲管理和分析挖掘的技術應用，掌握基于Hadoop大數據平臺的數據挖掘和數據倉庫分布式系統平臺應用，以及主流的大數據平臺產品剖析。
4. 讓學員掌握業界最流行Hadoop與Spark大數據平臺，深入講解Hadoop生態系統組件，包括HDFS，MapReduce，HIVE，HBase，Mahout，Spark，GraphX，MLib，Shark， ElasticSearch等大數據存儲管理、分布式數據庫、大型數據倉庫、大數據查詢與搜索、大數據分析挖掘與分布式處理技術的實踐應用。
5. 引導學員利用Hadoop大數據技術解決企業中存在的問題，掌握運用Hadoop開展大數據項目解決方案思路。
6. 本課程采用技術原理與項目實戰相結合的方式進行教學，在講授原理的過程中，穿插實際的系統操作，本課程講師也精心準備的實際的應用案例供學員動手訓練。
三、 課程實施大綱與內容框架
日程 培訓模塊 內容
1. Hadoop大數據應用背景、技術構成、以及行業案例 1) 大數據技術的發展歷程和應用背景、大數據產業鏈概況，以及大數據技術在通信運營商、互聯網金融業、網上銀行、電子商務、零售業、制造業、電子政務、移動互聯網、教育信息化等行業中的應用實踐；
2) 解析業界主流的標準化大數據平臺Hadoop+ Spark平臺架構，重點講解它們在大數據存儲、管理、分析處理方面的應用方案，以及在大數據離線分析、近線分析、實時在線分析處理方面的優化組合方案及優勢；
2. 業界主流的Hadoop大數據分析平臺的生態系統剖析 1) 分類介紹常見的傳統數據分析平臺和新興的大數據分析處理平臺，它們各自的技術特色以及平臺的生態系統組件
2) Hadoop大數據平臺的體系結構、生態系統組件、平臺架構以及工作原理
3. HDFS分布式文件系統技術及其應用 1) HDFS分布式文件系統HDFS概述、功能、作用、優勢、應用范疇、應用現狀和發展趨勢
2) HDFS分布式文件系統核心關鍵技術、設計精髓、基本工作原理、系統架構、文件存儲模式、工作機制、存儲擴容與吞吐性能擴展
3) HDFS系統SHELL命令操作、文件數據讀取、寫入、追加、刪除、文件狀態查詢
4) HDFS的Client API應用程序開發實戰
5) HDFS集群的部署配置和性能調優，以及常見故障的解決之道。
4. MapReduce并行處理平臺架構和關鍵技術剖析 1) 大數據平臺中的并行計算處理與函數式編程技術原理，以及數據并行技術—MapReduce技術的工作原理
2) Hadoop MapReduce并行處理平臺的系統架構、JobTracker和TaskTracker等核心功能模塊剖析
5. MapReduce大數據處理應用程序開發實踐 1) MapReduce應用開發環境的配置
2) MapReduce大數據處理應用程序的編程開發實踐技巧
3) MapReduce程序Debug調試、作業執行和任務調度技術
6. Yarn并行處理框架應用實踐以及MapReduce高級編程開發 1) 第二代大數據計算框架Yarn的工作原理以及DAG并行執行機制，Yarn框架的配置部署，以及基于Yarn的大數據處理應用程序開發
2) MapReduce高級編程技巧與性能優化實踐、MapReduce與Yarn項目案例實踐
7. Hadoop生態系統中的NoSQL與NewSQL數據庫剖析 1) 目前業界主流的大規模非結構化數據管理技術實現與平臺應用，以及SQL、NoSQL和NewSQL分布式數據庫平臺技術及應用
2) Hadoop半結構化與非結構化大數據管理系統HBase集群的應用及其發展趨勢?
8. HBase半結構化大數據管理系統的平臺架構、關鍵技術及應用程序開發實踐 1) HBase大數據管理系統的平臺架構，HMaster和HRegionServer的工作原理，以及DDL，DML和DCL的實踐操作
2) HBase大數據管理集群的配置部署、管理、運維監控、性能優化、負載均衡，以及HBase與HDFS、MapReduce和ZooKeeper分布式集群之間的數據交互和協同工作機制
3) HBase Client包的API調用，以及大數據管理應用程序的開發實戰
9. HBase大數據管理集群的安裝部署和配置 1) Hadoop集群的安裝部署，分別配置HDFS和MapReduce分布式集群（3節點以上）
2) ZooKeeper分布式協調服務集群的部署與配置（3個節點）
3) HBase分布式集群的部署與配置（3個節點以上）
4) 將500萬條數據集導入到HBase，并且基于類SQL語句實現十個查詢類型
5) 配置HBase開發環境，使用Java Client API實現大數據管理應用程序
10. Hive大數據倉庫的平臺架構、關鍵技術及應用實踐 1) HIVE大型數據倉庫集群的平臺架構、工作原理及其在國內BAT與國外GAF等互聯網公司中的應用案例
2) Hive大數據倉庫集群的部署配置，類SQL的操作，HIVE SQL到MapReduce的解析技術剖析
3) HIVE文件與記錄存儲格式、Hive與HBase數據庫整合、Hive大數據統計分析報表技術、Hive功能操作實踐
11. Hive數據倉庫集群的安裝部署、參數配置和性能優化 1) 部署HIVE元數據管理服務器
2) 部署 HIVEServer，允許Client訪問、HWI訪問
3) 將HDFS中的4000萬條數據集導入到HIVE數據倉庫中，并創建數據倉庫表
4) 基于HIVE數據倉庫提供的HQL語句完成十個統計指標
5) 配置HIVE開發環境，并實現大數據倉庫的統計分析應用程序
12. Mahout大數據分布式并行挖掘平臺技術及應用程序開發實踐 6) 基于Hadoop的Mahout大數據挖掘平臺的技術架構、關鍵技術剖析
7) Mahout與HBase、HDFS和MapReduce的對接和接口調用實現
8) Mahout大數據協同過濾分析技術原理及應用
9) Mahout頻繁模式挖掘分析技術原理及應用
10) Mahout聚類分析技術原理及應用
11) Mahout分類分析技術原理及應用
12) Mahout推薦分析技術原理及應用
13) Mahout大數據挖掘平臺的應用程序開發實現
13. Mahout大數據分析挖掘平臺的集群安裝部署、參數配置和性能優化 14) 根據搜索引擎日志數據集利用Mahout實現用戶行為分析程序
15) 根據電商數據集利用Mahout實現協同過濾程序設計
16) 根據電商平臺的日志數據利用Mahout實現推薦過濾應用程序
14. Hadoop生態系統中的Spark大數據實時處理技術及應用實踐 1) Spark大數據實時處理平臺的技術原理、集群架構及其在大型互聯網公司和運營商企業中的應用實踐案例
2) Spark內存實時處理平臺架構，Spark分布式實時處理框架及工作原理
3) Spark集群的平臺架構及其生態系統組件剖析，SparkSQL和Spark Streaming應用技巧
4) 基于Spark的MLib實時數據挖掘應用實踐
5) 基于Spark的GraphX圖數據分析應用實踐
15. Hadoop生態系統中數據交互與應用對接實戰 1) 利用Sqoop實現關系數據庫（MySQL、Oracle）和HDFS、HBase之間的數據導入與導出應用實踐
2) 實現HIVE與HBase之間的數據對接，實現OLAP與OLTP一體化數據處理平臺
3) 基于Hadoop與Spark實現內外存數據交互，實現批處理與實時處理平臺
16. Hadoop大數據技術及應用實踐的課程總結 1) 授課內容回顧
2) 授課知識點答疑
3) 大數據解決方案咨詢 |
|
|
|
首頁 課程表 在線聊 報名 講師 品牌 QQ聊 活動 就業
