一．Hadoop
1.Hadoop的源起——Lucene,從lucene到nutch,從nutch到hadoop
· 2003-2004年，Google公開了部分GFS和Mapreduce思想的細(xì)節(jié)，以此為基礎(chǔ)Doug Cutting等人用了2年業(yè)余時間實現(xiàn)了DFS和Mapreduce機(jī)制，使Nutch性能飆升
· Yahoo招安Doug Cutting及其項目
· Hadoop于2005年秋天作為Lucene的子項目Nutch的一部分正式引入Apache基金會。2006年3月份，Map-Reduce和Nutch Distributed File System（NDFS）分別被納入稱為Hadoop的項目中
· 名字來源于Doug Cutting兒子的玩具大象

2.Hadoop能解決的問題
hadoop作為大數(shù)據(jù)系統(tǒng)可以做的事情有很多的，最為常見的像日志分析，搜索，圖片分析，物聯(lián)網(wǎng)傳感數(shù)據(jù)分析，數(shù)據(jù)的長期存儲。我們選擇hadoop是因為hadoop具有這些優(yōu)點(diǎn)。可以存儲結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)　　
性價比高　　
容錯率高，當(dāng)服務(wù)當(dāng)中的一臺服務(wù)的軟硬件出錯后系統(tǒng)都能繼續(xù)運(yùn)行　　
能夠?qū)Ａ繑?shù)據(jù)快速存儲　　
對海量數(shù)據(jù)做快速計算　　
能夠通過添加節(jié)點(diǎn)的方式快速擴(kuò)展系統(tǒng)　　
hadoop對系統(tǒng)數(shù)據(jù)安全性是有保障的　　
看多hadoop的朋友都知道，存儲在hadoop平臺中的數(shù)據(jù)，通過統(tǒng)一的分布式存儲HDFS，可以將數(shù)據(jù)的訪問和存儲分布在大量服務(wù)器之中，在可靠的多備份存儲的同時，還能將訪問分布到集群的各個服務(wù)器之上。　　
hadoop架構(gòu)可以很好的解決數(shù)據(jù)庫擴(kuò)展的瓶頸，它把數(shù)據(jù)庫的設(shè)計部署在經(jīng)濟(jì)實惠的硬件上，通過橫向擴(kuò)展，便可無限的提升數(shù)據(jù)庫的數(shù)據(jù)處理能力。

二．Spark
1.Spark的定義
Spark是UC Berkeley AMP lab所開源的類Hadoop MapReduce的通用的并行計算框架，Spark基于map reduce算法實現(xiàn)的分布式計算，擁有Hadoop MapReduce所具有的優(yōu)點(diǎn)；但不同于MapReduce的是Job中間輸出和結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等需要迭代的map reduce的算法。其架構(gòu)如下圖所示：

2.如何使用Spark
Spark可以直接對HDFS進(jìn)行數(shù)據(jù)的讀寫，同樣支持Spark on YARN。Spark可以與MapReduce運(yùn)行于同集群中，共享存儲資源與計算，數(shù)據(jù)倉庫Shark實現(xiàn)上借用Hive，幾乎與Hive完全兼容。
由于RDD的特性，Spark不適用那種異步細(xì)粒度更新狀態(tài)的應(yīng)用，例如web服務(wù)的存儲或者是增量的web爬蟲和索引。就是對于那種增量修改的應(yīng)用模型不適合。
總的來說Spark的適用面比較廣泛且比較通用。

有人說：“Spark就像一個高性能引擎; 它支持您想要對數(shù)據(jù)執(zhí)行的工作。Hadoop可以提供一個可能的存儲層，為Spark引擎提供數(shù)據(jù)”。
在大數(shù)據(jù)技術(shù)領(lǐng)域當(dāng)中，應(yīng)用Hadoop和Spark技術(shù)體系，能強(qiáng)化大數(shù)據(jù)平臺的分布式集群架構(gòu)和核心關(guān)鍵技術(shù)實現(xiàn)、大數(shù)據(jù)應(yīng)用項目開發(fā)和大數(shù)據(jù)集群運(yùn)維實踐、以及Hadoop與Spark大數(shù)據(jù)項目應(yīng)用開發(fā)與調(diào)優(yōu)的全過程沙盤模擬實戰(zhàn)。而這些在培訓(xùn)中就能就能全盤掌握。另外，通過一個完整的大數(shù)據(jù)開發(fā)項目及一組實際項目訓(xùn)練案例，完全覆蓋Hadoop與Spark生態(tài)系統(tǒng)平臺的應(yīng)用開發(fā)與運(yùn)維實踐。課堂實踐項目以項目小組的形式進(jìn)行沙盤實操練習(xí)，重點(diǎn)強(qiáng)化理解Hadoop與Spark大數(shù)據(jù)項目各個階段的工作重點(diǎn)，同時掌握作為大數(shù)據(jù)項目管理者的基本技術(shù)與業(yè)務(wù)素養(yǎng)。

據(jù)了解，中培偉業(yè)（http://m.huzbo.cn/）成立十年來，一直致力于我國范圍內(nèi)高端IT咨詢與培訓(xùn)服務(wù)。始終秉持“顧客滿意度第一、利潤第二”的理念。為了切實貫徹顧客滿意度第一的原則，中培邀請了一批國內(nèi)外知名企業(yè)的高層經(jīng)理和資深專家指導(dǎo)加盟。
其大數(shù)據(jù)授課師資都是有著多年在一線從事Hadoop與Spark大數(shù)據(jù)項目的資深講師，采用原理技術(shù)剖析和實戰(zhàn)案例相結(jié)合的方式開展互動教學(xué)、強(qiáng)化以建立大數(shù)據(jù)項目解決方案為主體的應(yīng)用開發(fā)、技術(shù)討論與交流咨詢，在學(xué)習(xí)的同時促進(jìn)講師學(xué)員之間的交流，讓每個學(xué)員都能在課程培訓(xùn)過程中學(xué)到實實在在的大數(shù)據(jù)技術(shù)知識體系，以及大數(shù)據(jù)技術(shù)應(yīng)用實戰(zhàn)技能，具備實際大數(shù)據(jù)應(yīng)用項目的動手開發(fā)實踐與運(yùn)維管理部署能力。

想了解更多IT資訊，請訪問中培偉業(yè)官網(wǎng)：中培偉業(yè)