Hadoop作為當前主流的大數(shù)據(jù)架構(gòu)，雖然其可以運行在廉價的商品計算機硬件，且用戶很容易添加節(jié)點，但是它有一些細節(jié)是很昂貴的，尤其是在生產(chǎn)環(huán)境中運行Hadoop。

中培偉業(yè)《大數(shù)據(jù)平臺搭建與高性能計算最佳實踐》培訓專家鐘老師指出：“IT部門認為‘我已經(jīng)有服務(wù)器，我還可以買到便宜的服務(wù)器，我也有人員，所以我們不用花多少錢就可以構(gòu)建自己的Hadoop集群’，這當然是一件好事，但是IT部門在部署時會發(fā)現(xiàn)這里會有很多他們沒有預(yù)料到的額外開銷。”

鐘老師列舉了IT領(lǐng)導(dǎo)在DIY Hadoop集群時的5個常見問題：

1.試圖以廉價的方式構(gòu)建Hadoop

很多IT部門不清楚Hadoop集群應(yīng)該完成什么使命(除了分析某些類型的數(shù)據(jù))，所以他們會購買盡可能便宜的服務(wù)器。

“Hadoop被認為是可自愈的，所以當服務(wù)器的一個節(jié)點出現(xiàn)故障，構(gòu)不成大問題，”鐘老師稱，“但如果你購買廉價的服務(wù)器，很多節(jié)點出現(xiàn)故障那么你就要花更多時間來修復(fù)硬件，如果一大堆節(jié)點都不運行了，這就會造成大問題。”

如果你的Hadoop集群只是實驗，那么以上這些可能不是問題。然而，很多實驗性項目通常最后都會進入生產(chǎn)環(huán)境。IT部門認為，“我們已經(jīng)投入了大量的時間，我們已經(jīng)做了很多工作，現(xiàn)在我們需要將其投入生產(chǎn)，”鐘老師說道，“在實驗期間，如果環(huán)境出現(xiàn)問題，只要重新啟動即可，但在生產(chǎn)環(huán)境，集群需要能夠抵御硬件故障、人為交互故障以及任何可能發(fā)生的事情。”

2.太多“廚師”

大多數(shù)IT部門將自己分為軟件、硬件和網(wǎng)絡(luò)組，而Hadoop集群跨越了這些分組，所以DIY Hadoop集群最終會成為很多有說服力的“廚師”的產(chǎn)物。所以最終，Hadoop集群不會按照預(yù)期那樣運行。

在進行故障排除后，系統(tǒng)應(yīng)該能夠啟動以及讓IT運營人員在生產(chǎn)環(huán)境中運行，但鐘老師稱：“這是另一個學習曲線開始的地方，他們可能不熟悉Hadoop集群，你會看到很多人為錯誤、停機時間等一系列問題。”

3.沒有意識到Hadoop DIY項目的潛在風險

在Hadoop集群轉(zhuǎn)移到生產(chǎn)環(huán)境后，企業(yè)通常會發(fā)現(xiàn)他們需要安排專門的工作人員來保持其運行。鐘老師稱：“當然，工作人員的大部分時間花費在維護上，而不是創(chuàng)新。”

他警告：“不能期望人們在很短時間內(nèi)變成Hadoop專家。”即使你雇傭經(jīng)驗豐富的工作人員，但IT環(huán)境差異性很大--DIY Hadoop集群組件也是如此。因此，在你特定環(huán)境中的所有配置、連接和相互關(guān)系都需要花時間來了解。

4. 他們低估了更新的復(fù)雜性和頻率

新版Hadoop每三個月發(fā)布一次，這些通常包含新特性、新功能、更新、漏洞修復(fù)等。

5. 他們沒有準備好應(yīng)對安全挑戰(zhàn)

在Hadoop早期，安全沒有被視為一個大問題，因為集群仍位于防火墻后面。而現(xiàn)在，安全已經(jīng)成為最大的問題。

目前Kerberos身份驗證已經(jīng)內(nèi)置到Hadoop來解決這些問題，但有些IT企業(yè)不知道如何處理此協(xié)議。且這方面的文檔非常少，最要命的是這涉及到安全管理員和IT其他團隊，這些人員幾乎是使用完全不同的語言。”

有些IT部門最終會與Cloudera、Hortonworks或其他第三方簽署合同以保護他們的DIY Hadoop集群。“這需要一些時間才能完成設(shè)置、測試等工作，”鐘老師稱，“然后每過三個月，你都需要重新做一次，以確保應(yīng)用和配置等一切的正常運行。”