您現(xiàn)在的位置：首頁 > 企業(yè)內(nèi)訓 > 大數(shù)據(jù) > 大數(shù)據(jù)平臺技術(shù)架構(gòu)與應(yīng)用培訓

大數(shù)據(jù)平臺技術(shù)架構(gòu)與應(yīng)用培訓

2022-04-27 09:48:29　|　來源：中培企業(yè)IT培訓網(wǎng)

一、培訓簡述

全面掌握大數(shù)據(jù)的理論基礎(chǔ)和實現(xiàn)原理，通過具體的實操和練習讓學員全面實戰(zhàn)大數(shù)據(jù)。通過此次課程培訓，可使學習者獲得如下收益：

徹底理解Hadoop、Spark和Flink為代表的大數(shù)據(jù)處理引擎的運行機制和原理，包括：

MapReduce

Spark Core

Flink Runtime

掌握Hadoop生態(tài)體系的海量數(shù)據(jù)存儲架構(gòu)（原理、安裝、使用），包括：

分布式文件系統(tǒng)HDFS

NoSQL數(shù)據(jù)庫HBase

數(shù)據(jù)分析引擎：Hive

掌握Spark生態(tài)體系架構(gòu)（原理、安裝、使用），包括：

Spark Core、Spark SQL、Spark Streaming

Spark Shell、Spark集群、RDD

掌握Spark、Hadoop、Flink協(xié)同工作，能夠通過Spark、Hadoop和Flink輕松應(yīng)對大數(shù)據(jù)的業(yè)務(wù)需求；

掌握Flink生態(tài)體系架構(gòu)（原理、安裝、使用），包括：

Flink Standalone與Flink on Yarn

Flink DataSet與Flink DataStream

Flink Table & SQL。

二、培訓特色
PPT+教材+參考資料
提供配套的實驗環(huán)境
場景+案例+模擬環(huán)境，動手實踐
手把手解決問題+解決問題經(jīng)驗分享。

三、培訓收益
掌握基于大數(shù)據(jù)的體系架構(gòu)、管理、部署，以及相應(yīng)組件的原理和應(yīng)用場景。
讓學員具備部署基于企業(yè)大數(shù)據(jù)平臺環(huán)境的能力。

四、培訓時長
共計3天，每天6課時

五、培訓大綱

第一天（Hadoop核心原理）
章	節(jié)	學習目標	應(yīng)用案例
第一章：實驗環(huán)境的準備	實驗環(huán)境簡介 Linux的準備 JDK的安裝	準備實驗環(huán)境
第二章：大數(shù)據(jù)背景知識與起源	Hadoop部分各章概述實驗環(huán)境簡介與準備幾個基本概念 Google的低成本思想 Google的思想論文之一：GFS Google的思想論文之二：MapReduce Google的思想論文之三：BigTable	理解并掌握大數(shù)據(jù)的底層原理	基于Hadoop的大數(shù)據(jù)離線計算平臺整體架構(gòu)
第三章：搭建Hadoop環(huán)境	Hadoop的目錄結(jié)構(gòu) 搭建Hadoop的本地模式搭建Hadoop的偽分布模式免密碼登錄的原理和配置搭建Hadoop的全分布環(huán)境	安裝和配置Hadoop環(huán)境	基于Hadoop的大數(shù)據(jù)離線計算平臺整體架構(gòu)
第四章：Hadoop的體系架構(gòu)	Hadoop體系結(jié)構(gòu)概述 HDFS的體系結(jié)構(gòu) 名稱節(jié)點數(shù)據(jù)節(jié)點第二名稱節(jié)點 Yarn的體系結(jié)構(gòu) Yarn的體系結(jié)構(gòu)和任務(wù)的調(diào)度 Yarn的資源分配方式 HBase的體系結(jié)構(gòu)簡介主從結(jié)構(gòu)的單點故障問題及解決方案	理解并掌握Hadoop的體系架構(gòu)	基于HDFS搭建電商大數(shù)據(jù)平臺的數(shù)據(jù)倉庫
第五章：HDFS	HDFS概述操作HDFS 通過Web Console操作HDFS 通過命令行操作HDFS 使用Java API創(chuàng)建目錄和權(quán)限問題使用Java API上傳和下載數(shù)據(jù) 使用Java API獲取文件信息 HDFS的原理剖析 HDFS上傳數(shù)據(jù)的過程和原理 HDFS下載數(shù)據(jù)的過程和原理 HDFS的高級功能 HDFS的回收站 HDFS的快照 HDFS的安全模式和權(quán)限 HDFS的配額 HDFS的集群簡介 HDFS的底層原理 HDFS底層原理之一：代理對象 HDFS底層原理之二：什么是RPC？	掌握HDFS	基于HDFS搭建電商大數(shù)據(jù)平臺的數(shù)據(jù)倉庫