大數(shù)據(jù)時代，伴隨而來的是基礎(chǔ)設(shè)施的巨大飛躍，數(shù)據(jù)儲存技術(shù)、網(wǎng)絡(luò)技術(shù)的迅猛發(fā)展。越來越多的人開始成為大數(shù)據(jù)玩家，工欲善其事必先利其器。中培偉業(yè)《大數(shù)據(jù)分析及可視化技術(shù)應(yīng)用實戰(zhàn)》培訓(xùn)專家謝老師表示，大數(shù)據(jù)的應(yīng)用離開不10種開發(fā)語言

語言

若要列出所有程序語言，你能忘記其他的沒關(guān)系，但最不能忘的就是R。從1997年悄悄地出現(xiàn)，最大的優(yōu)勢就是它免費，為昂貴的統(tǒng)計軟件像是MatlabSAS的另一種選擇。

但是在過去幾年來，它的身價大翻轉(zhuǎn)，變成了資料科學(xué)界眼中的寶。不只是木訥的統(tǒng)計學(xué)家熟知它，包括WallStreet交易員、生物學(xué)家，以及硅谷開發(fā)者，他們都相當(dāng)熟悉。多元化的公司像是GoogleFacebook、美國銀行以及NewYorkTimes通通都使用，它的商業(yè)效用持續(xù)提高。

R的好處在于它簡單易上手，透過，你可以從復(fù)雜的數(shù)據(jù)集中篩選你要的數(shù)據(jù)，從復(fù)雜的模型函數(shù)中操作數(shù)據(jù)，建立井然有序的圖表來呈現(xiàn)數(shù)字，這些都只需要幾行程序代碼就可以了，打個比方，它就像是好動版本的Excel

R最棒的資產(chǎn)就是活躍的動態(tài)系統(tǒng)，社群持續(xù)地增加新的軟件包，還有以內(nèi)建豐富的功能集為特點。目前估計已有超過200萬人使用，最近的調(diào)查顯示，在數(shù)據(jù)科學(xué)界里，到目前為止最受歡迎的語言，占了回復(fù)者的61%（緊追在后的是39%Python）。

它也吸引了WallStreet的注目。傳統(tǒng)而言，證券分析師在Excel檔從白天看到晚上，但現(xiàn)在在財務(wù)建模的使用率逐漸增加，特別是可視化工具

在數(shù)據(jù)建模上，它正在往逐漸成熟的專業(yè)語言邁進(jìn)，雖然R仍受限于當(dāng)公司需要制造大規(guī)模的產(chǎn)品時，而有的人說他被其他語言篡奪地位了。

Python

如果說R是神經(jīng)質(zhì)又令人喜愛的Geek，那Python就是隨和又好相處的女生。

Python結(jié)合了的快速、處理復(fù)雜數(shù)據(jù)采礦的能力以及更務(wù)實的語言等各個特質(zhì)，迅速地成為主流，Python比起，學(xué)起來更加簡單也更直觀，而且它的生態(tài)系統(tǒng)近幾年來不可思議地快速成長，在統(tǒng)計分析上比起功能更強(qiáng)。

在數(shù)據(jù)處理范疇內(nèi)，通常在規(guī)模與復(fù)雜之間要有個取舍，而Python以折衷的姿態(tài)出現(xiàn)。IPythonNotebook（記事本軟件）和NumPy被用來暫時存取較低負(fù)擔(dān)的工作量，然而Python對于中等規(guī)模的數(shù)據(jù)處理是相當(dāng)好的工具；Python擁有豐富的資料族，提供大量的工具包和統(tǒng)計特征。

然而，雖然它的優(yōu)點能夠彌補(bǔ)R的缺點，它仍然不是最高效能的語言，偶爾才能處理龐大規(guī)模、核心的基礎(chǔ)建設(shè)。

Julia

今日大多數(shù)的數(shù)據(jù)科學(xué)都是透過RPythonJavaMatlabSAS為主，但仍然存在著鴻溝要去彌補(bǔ)，而這個時候，新進(jìn)者Julia看到了這個痛點。

Julia仍太過于神秘而尚未被業(yè)界廣泛的采用，但是當(dāng)談到它的潛力足以搶奪Python的寶座時，數(shù)據(jù)黑客也難以解釋。原因在于Julia是個高階、不可思議的快速和善于表達(dá)的語言，比起要快的許多，比起Python又有潛力處理更具規(guī)模的數(shù)據(jù)，也很容易上手。

就現(xiàn)在而言，若要說Julia發(fā)展會倒退的原因，大概就是它太年輕了。Julia的數(shù)據(jù)小區(qū)還在初始階段，在它要能夠和Python競爭前，它還需要更多的工具包和軟件包。

Driscoll說，它就是因為它年輕，才會有可能變成主流又有前景。

Java

Driscoll說，Java和以Java為基礎(chǔ)的架構(gòu)，是由硅谷里最大的幾家科技公司的核心所建立的，如果你從TwitterLinkedin或是Facebook里觀察，你會發(fā)現(xiàn)Java對于所有數(shù)據(jù)工程基礎(chǔ)架構(gòu)而言，是非常基礎(chǔ)的語言。

Java沒有和Python一樣好的可視化功能，它也不是統(tǒng)計建模的最佳工具，但是如果你需要建立一個龐大的系統(tǒng)、使用過去的原型，那Java通常會是你最基的選擇。

hadoop and Hive

為了迎合大量數(shù)據(jù)處理的需求，以Java為基礎(chǔ)的工具群興起。Hadoop為處理一批批數(shù)據(jù)處理，發(fā)展以Java為基礎(chǔ)的架構(gòu)關(guān)鍵；相較于其他處理工具，Hadoop慢許多，但是無比的準(zhǔn)確和可被后端數(shù)據(jù)庫分析廣泛使用。和Hive搭配的很好，Hive是基于查詢的架構(gòu)下，運作的相當(dāng)好。

Scala

又是另一個以Java為基礎(chǔ)的語言，和Java很像，對任何想要進(jìn)行大規(guī)模的機(jī)械學(xué)習(xí)或是建立高階的算法，Scala會是逐漸興起的工具。它是善于呈現(xiàn)且擁有建立可靠系統(tǒng)的能力。

Kafka andStorm

說到當(dāng)你需要快速的、實時的分析時，你會想到什么?Kafka將會是你的最佳伙伴。其實它已經(jīng)出現(xiàn)五年有了，只是因為最近串流處理興起才變的越來越流行。

Kafka是從Linkedin內(nèi)誕生的，是一個特別快速的查詢訊息系統(tǒng)。Kafka的缺點呢就是它太快了，因此在實時操作時它會犯錯，有時候會漏掉東西。

魚與熊掌不可兼得，「必須要在準(zhǔn)確度跟速度之間做一個選擇」，Driscoll說。所以全部在硅谷的科技大公司都利用兩個管道：用KafkaStorm處理實時數(shù)據(jù)，接下來打開Hadoop處理一批批處理數(shù)據(jù)系統(tǒng)，這樣聽起來有點麻煩又會有些慢，但好處是，它非常非常精準(zhǔn)。

Storm是另一個從Scala寫出來的架構(gòu)，在硅谷逐漸大幅增加它在串流處理的受歡迎程度，被Twitter并購，這并不意外，因為Twitter對快速事件處理有極大的興趣。

Matlab

Matlab可以說是歷久不衰，即使它標(biāo)價很高；在非常特定的利基市場它使用的相當(dāng)廣泛，包括密集的研究機(jī)器學(xué)習(xí)、信號處理、圖像辨識等等。

Octave

OctaveMatlab很像，除了它是免費的之外。然而，在學(xué)術(shù)信號處理的圈子，幾乎都會提到它。

GO

GO是另一個逐漸興起的新進(jìn)者，從Google開發(fā)出來的，放寬點說，它是從語言來的，并且在建立強(qiáng)大的基礎(chǔ)架構(gòu)上，漸漸地成為JavaPython的競爭者。