Hadoop作為一種用于存儲(chǔ)和分析大型數(shù)據(jù)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，能夠?qū)Ψ植荚诙鄠€(gè)現(xiàn)有服務(wù)器中的數(shù)據(jù)進(jìn)行處理。Hadoop適合處理來(lái)自手機(jī)、電子郵件、社交媒體、傳感器網(wǎng)絡(luò)和其它不同渠道的多樣化、大負(fù)荷的數(shù)據(jù)，因此通常被認(rèn)為是一種大數(shù)據(jù)操作系統(tǒng)。

Hadoop的這種特性，讓其在很多人眼中成為大數(shù)據(jù)的同義詞，而這正是對(duì)Hadoop產(chǎn)生誤解的來(lái)源。隨著大數(shù)據(jù)的炒作不斷升溫，實(shí)際上也出現(xiàn)了很多對(duì)Hadoop如何應(yīng)用于大數(shù)據(jù)的誤解。中培偉業(yè)負(fù)責(zé)《大數(shù)據(jù)平臺(tái)搭建與高性能計(jì)算最佳實(shí)戰(zhàn)》培訓(xùn)的專(zhuān)家鐘老師認(rèn)為，Hadoop與大數(shù)據(jù)存在一定區(qū)別，因此并不能與大數(shù)據(jù)畫(huà)上等號(hào)。鐘老師進(jìn)一步指出，目前在互聯(lián)網(wǎng)行業(yè)，很多人對(duì)Hadoop存在6大誤解：

誤解一：Hadoop是一個(gè)完整的解決方案。

鐘老師認(rèn)為事實(shí)并非如此。無(wú)論你把它稱(chēng)為“框架”或“平臺(tái)”都可以，只是不能認(rèn)為Hadoop可以解決大數(shù)據(jù)方面的所有問(wèn)題。

首先，由于Hadoop是開(kāi)源項(xiàng)目，許多其他Hadoop相關(guān)的項(xiàng)目，如CassandraHBase，都可以滿(mǎn)足特定的需求。HBase提供的分布式數(shù)據(jù)庫(kù)，支持大數(shù)據(jù)表的結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)。

此外，正像紅帽、IBM和其他廠(chǎng)商將Linux打包成各種用戶(hù)友好的產(chǎn)品一樣，有很多大數(shù)據(jù)方面的創(chuàng)業(yè)公司，正在對(duì)Hadoop做同樣的事情。所以，雖然Hadoop本身不是一個(gè)完整的解決方案，大多數(shù)企業(yè)實(shí)際上還是會(huì)在比較完整的大數(shù)據(jù)解決方案中遇到它。

誤解二：Hadoop是數(shù)據(jù)庫(kù)當(dāng)中一種類(lèi)型。

實(shí)際上很多人都將Hadoop當(dāng)成數(shù)據(jù)庫(kù)當(dāng)中的一種，但事實(shí)并非如此。Damballa安保公司的一名軟件工程師，Marshall Bockrath-Vandegrift說(shuō)：“Hadoop核心中沒(méi)有任何類(lèi)似于查詢(xún)或索引的核心平臺(tái)。”Damballa公司利用Hadoop來(lái)分析實(shí)時(shí)的安全風(fēng)險(xiǎn)。

“我們使用HBase來(lái)幫助我們的風(fēng)險(xiǎn)分析師針對(duì)被動(dòng)DNS數(shù)據(jù)運(yùn)行實(shí)時(shí)查詢(xún)。HBase和其他實(shí)時(shí)技術(shù)不僅與Hadoop是互補(bǔ)的，而且多數(shù)依賴(lài)Hadoop核心的分布式存儲(chǔ)技術(shù)(HDFS)來(lái)實(shí)現(xiàn)高性能的分布式數(shù)據(jù)集的訪(fǎng)問(wèn)。”他補(bǔ)充說(shuō)。

Bloom Reach數(shù)據(jù)營(yíng)銷(xiāo)分析公司的科學(xué)家Prateek Gupta也表示：“Hadoop不是為替代數(shù)據(jù)庫(kù)系統(tǒng)而生的，但卻可以用來(lái)建立數(shù)據(jù)庫(kù)系統(tǒng)。”

誤解三：對(duì)企業(yè)級(jí)Hadoop應(yīng)用是一種冒險(xiǎn)。

許多企業(yè)擔(dān)心Hadoop太新，未經(jīng)考驗(yàn)，不適合企業(yè)級(jí)應(yīng)用。沒(méi)有什么想法比這更錯(cuò)誤的了。別忘了，Hadoop是基于谷歌文件系統(tǒng)的分布式存儲(chǔ)平臺(tái)和運(yùn)行于該文件系統(tǒng)上的GoogleMapReduce數(shù)據(jù)分析工具建立的。雅虎在Hadoop上投入了資金和精力，并于2008年推出其第一個(gè)大型Hadoop應(yīng)用，一種搜索“站點(diǎn)地圖”，可對(duì)所有已知的網(wǎng)頁(yè)和相應(yīng)的元數(shù)據(jù)進(jìn)行索引，從而完成對(duì)這些頁(yè)面的搜索。

現(xiàn)在，Hadoop被包括Netflix、Twitter和eBay等公司所采用，包括微軟、IBM和甲骨文這樣的公司都有Hadoop工具出售。目前，將Hadoop稱(chēng)為“成熟”的技術(shù)還為時(shí)尚早，這一點(diǎn)與任何大數(shù)據(jù)平臺(tái)的情況類(lèi)似，然而它確實(shí)已經(jīng)得到了大型企業(yè)的采納和驗(yàn)證。

這不意味著它是一種沒(méi)有風(fēng)險(xiǎn)的平臺(tái)，安全問(wèn)題本身就是一個(gè)比較棘手的問(wèn)題。但企業(yè)遠(yuǎn)不該就因此被Hadoop平臺(tái)的年輕而嚇跑。

誤解四： Hadoop的使用需要大量程序員進(jìn)行維護(hù)。

取決于你要做的事情，這個(gè)說(shuō)法或許是對(duì)的。如果你計(jì)劃開(kāi)發(fā)優(yōu)秀的下一代Hadoop大數(shù)據(jù)套件，可能需要專(zhuān)業(yè)的Java和MapReduce編程人員。反過(guò)來(lái)，如果你愿意利用他人的成就，編程就不是一個(gè)問(wèn)題。數(shù)據(jù)集成供應(yīng)商Syncsort的建議分析師們利用Hadoop兼容的數(shù)據(jù)集成工具來(lái)運(yùn)行高級(jí)查詢(xún)，這樣做無(wú)需任何編碼工作。

大多數(shù)數(shù)據(jù)集成工具都有圖形化界面，可以屏蔽MapReduce編程的復(fù)雜性，很多還帶有預(yù)置的模板。此外，包括Alpine Data Labs、Continuuity和Hortonworks在內(nèi)的創(chuàng)業(yè)型公司，還提供可以簡(jiǎn)化大數(shù)據(jù)和Hadoop應(yīng)用的工具。

誤解五：中小企業(yè)不適合用Hadoop。

許多中小企業(yè)擔(dān)心會(huì)被“大數(shù)據(jù)”的趨勢(shì)拒之門(mén)外。IBM、甲骨文等大型廠(chǎng)商自然傾向于兜售大而昂貴的解決方案。這并不意味著市場(chǎng)上沒(méi)有適合中小企業(yè)的相關(guān)工具。

云計(jì)算正在迅速推動(dòng)一些尖端技術(shù)的大眾化應(yīng)用。“云計(jì)算正將資本支出轉(zhuǎn)化為運(yùn)營(yíng)成本，”《大數(shù)據(jù)》的作者菲爾·西蒙指出。“你可以和Netflix利用相同的云服務(wù)。同樣的事情也開(kāi)始發(fā)生在大數(shù)據(jù)領(lǐng)域，一個(gè)只有五個(gè)員工的企業(yè)，照樣可以使用Kaggle。”

Kaggle稱(chēng)自己為“在數(shù)據(jù)問(wèn)題和數(shù)據(jù)方案間搭建橋梁的市場(chǎng)。”例如，創(chuàng)業(yè)公司Jetpac以5000美元懸賞一種算法，以找出最有吸引力的度假照片。多數(shù)度假照并不好，而從中篩選是一個(gè)繁瑣，耗時(shí)的過(guò)程。

Jetpac讓人手工評(píng)選出了30000張照片，并且尋求一種能夠與人工方式類(lèi)似，只是通過(guò)分析元數(shù)據(jù)照片大小、標(biāo)題，描述信息來(lái)進(jìn)行排序的算法。如果該公司自行開(kāi)發(fā)這一算法，花的錢(qián)絕對(duì)不止5000美元。而且他們只能得到一種方案，而不是從各種方案中優(yōu)選。Jetpac的圖像處理工具，最終幫助其獲得了240萬(wàn)美元的風(fēng)投資金。

誤解六：Hadoop比較便宜。

這個(gè)誤解對(duì)任何開(kāi)放源代碼的軟件都適用。省下最初的采購(gòu)成本，并不意味著你一定會(huì)省錢(qián)。例如，云計(jì)算的問(wèn)題之一就是，要在亞馬遜平臺(tái)上建立一個(gè)科研項(xiàng)目非常容易，以致于很多人都在AWS建立了自己的項(xiàng)目，在持續(xù)付費(fèi)的同時(shí)，卻忘了這些項(xiàng)目本身。

虛擬服務(wù)器的盲目擴(kuò)張，已經(jīng)使物理服務(wù)器的增加相形見(jiàn)絀。雖然Hadoop可以幫助你存儲(chǔ)和分析數(shù)據(jù)，但你又如何將老的數(shù)據(jù)導(dǎo)入到新的系統(tǒng)中如何實(shí)現(xiàn)數(shù)據(jù)的可視化如何分享數(shù)據(jù)對(duì)于這些會(huì)更多被大家分享的數(shù)據(jù)，你又如何去保護(hù)它

Hadoop實(shí)際上一種東拼西湊的解決方案。你可以從Cloudera這樣的公司獲得完整的企業(yè)級(jí)解決方案，也可以著手建立自己高度定制化的解決方案。無(wú)論你選擇的路線(xiàn)如何，都要認(rèn)真做好預(yù)算，因?yàn)槊赓M(fèi)軟件從來(lái)都不是真正免費(fèi)的。

最后，鐘老師總結(jié)道，Hadoop作為一種分布式系統(tǒng)基礎(chǔ)架構(gòu)，其強(qiáng)大的功能和廣泛的應(yīng)用價(jià)值，讓其具有廣闊的發(fā)展空間，尤其是大數(shù)據(jù)的飛速發(fā)展，也為Hadoop的發(fā)展提供了強(qiáng)勁的動(dòng)力。但是在這個(gè)過(guò)程中，我們首先要做到的就是正確的認(rèn)識(shí)它，以上的六大誤解無(wú)疑為正確認(rèn)識(shí)和廣泛應(yīng)用Hadoop帶來(lái)了阻礙。