隨著互聯(lián)網(wǎng)大數(shù)據(jù)的時(shí)代的到來，越來越多的人看到大數(shù)據(jù)工程師的好處。所以很多人都紛紛轉(zhuǎn)行做大數(shù)據(jù)開發(fā)工程師。但是對于一些新手小白來說，在初次接觸大數(shù)據(jù)開發(fā)時(shí)，他們有太多的問題需要了解了。就好比，初級大數(shù)據(jù)開發(fā)工程師需要學(xué)什么？初級大數(shù)據(jù)開發(fā)工程師需要具備哪些技能？如果了解下文這些知識，將成為專業(yè)的大數(shù)據(jù)開發(fā)工程師。2W的月薪就是小毛毛雨。

　　初級大數(shù)據(jù)開發(fā)工程師需要學(xué)什么？

學(xué)習(xí)大數(shù)據(jù)的兩大基礎(chǔ)就是JAVA和Linux，學(xué)習(xí)順序不分前后。需要同時(shí)掌握，才可以繼續(xù)大數(shù)據(jù)課程的學(xué)習(xí)。

· Java：大家都知道Java的方向有JavaSE、JavaEE、JavaME，學(xué)習(xí)大數(shù)據(jù)要學(xué)習(xí)那個(gè)方向呢？

只需要學(xué)習(xí)Java的標(biāo)準(zhǔn)版JavaSE就可以了，像Servlet、JSP、Tomcat、Struts、Spring、Hibernate，Mybatis都是JavaEE方向的技術(shù)在大數(shù)據(jù)技術(shù)里用到的并不多，只需要了解就可以了，當(dāng)然Java怎么連接數(shù)據(jù)庫還是要知道的，像JDBC一定要掌握一下，有同學(xué)說Hibernate或Mybites也能連接數(shù)據(jù)庫啊，為什么不學(xué)習(xí)一下，我這里不是說學(xué)這些不好，而是說學(xué)這些可能會(huì)用你很多時(shí)間，到最后工作中也不常用，我還沒看到誰做大數(shù)據(jù)處理用到這兩個(gè)東西的，當(dāng)然你的精力很充足的話，可以學(xué)學(xué)Hibernate或Mybites的原理，不要只學(xué)API，這樣可以增加你對Java操作數(shù)據(jù)庫的理解，因?yàn)檫@兩個(gè)技術(shù)的核心就是Java的反射加上JDBC的各種使用。

　　· Linux：因?yàn)榇髷?shù)據(jù)相關(guān)軟件都是在Linux上運(yùn)行的，所以Linux要學(xué)習(xí)的扎實(shí)一些，學(xué)好Linux對你快速掌握大數(shù)據(jù)相關(guān)技術(shù)會(huì)有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數(shù)據(jù)軟件的運(yùn)行環(huán)境和網(wǎng)絡(luò)環(huán)境配置，能少踩很多坑，學(xué)會(huì)shell就能看懂腳本這樣能更容易理解和配置大數(shù)據(jù)集群。還能讓你對以后新出的大數(shù)據(jù)技術(shù)學(xué)習(xí)起來更快。

　　大數(shù)據(jù)開發(fā)工程師需具備哪些技能？

　　Java

大家都知道Java的方向有JavaSE、JavaEE、JavaME，學(xué)習(xí)大數(shù)據(jù)要學(xué)習(xí)那個(gè)方向呢?只需要學(xué)習(xí)Java的標(biāo)準(zhǔn)版JavaSE就可以了，像Servlet、JSP、Tomcat、Struts、Spring、Hibernate，Mybatis都是JavaEE方向的技術(shù)在大數(shù)據(jù)技術(shù)里用到的并不多，只需要了解就可以了，當(dāng)然Java怎么連接數(shù)據(jù)庫還是要知道的，像JDBC一定要掌握一下。

　　Linux

因?yàn)榇髷?shù)據(jù)相關(guān)軟件都是在Linux上運(yùn)行的，所以Linux要學(xué)習(xí)的扎實(shí)一些，學(xué)好Linux對你快速掌握大數(shù)據(jù)相關(guān)技術(shù)會(huì)有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數(shù)據(jù)軟件的運(yùn)行環(huán)境和網(wǎng)絡(luò)環(huán)境配置，能少踩很多坑，學(xué)會(huì)shell就能看懂腳本這樣能更容易理解和配置大數(shù)據(jù)集群。

　　Hadoop

這是現(xiàn)在流行的大數(shù)據(jù)處理平臺幾乎已經(jīng)成為大數(shù)據(jù)的代名詞，所以這個(gè)是必學(xué)的。

　　Mysql

我們學(xué)習(xí)完大數(shù)據(jù)的處理了，接下來學(xué)習(xí)學(xué)習(xí)小數(shù)據(jù)的處理工具mysql數(shù)據(jù)庫，因?yàn)橐粫?huì)裝hive的時(shí)候要用到，mysql需要掌握到什么層度那？你能在Linux上把它安裝好，運(yùn)行起來，會(huì)配置簡單的權(quán)限，修改root的密碼，創(chuàng)建數(shù)據(jù)庫。這里主要的是學(xué)習(xí)SQL的語法，因?yàn)閔ive的語法和這個(gè)非常相似。

　　Sqoop

這個(gè)是用于把Mysql里的數(shù)據(jù)導(dǎo)入到Hadoop里的。當(dāng)然你也可以不用這個(gè)，直接把Mysql數(shù)據(jù)表導(dǎo)出成文件再放到HDFS上也是一樣的，當(dāng)然生產(chǎn)環(huán)境中使用要注意Mysql的壓力。

　　Hive

這個(gè)東西對于會(huì)SQL語法的來說就是神器，它能讓你處理大數(shù)據(jù)變的很簡單，不會(huì)再費(fèi)勁的編寫MapReduce程序。有的人說Pig那它和Pig差不多掌握一個(gè)就可以了。

以上就是關(guān)于初級大數(shù)據(jù)開發(fā)工程師需要學(xué)什么，以及初級大數(shù)據(jù)開發(fā)工程師需要具備哪些技能的相關(guān)內(nèi)容介紹。其實(shí)大數(shù)據(jù)開發(fā)工程師還有很多技能需要學(xué)習(xí)，例如Spark、Kafka、Hbase、Oozie、Zookeeper等等，這里就不詳解列舉。想了解更多關(guān)于大數(shù)據(jù)開發(fā)工程師的信息，請繼續(xù)關(guān)注中培偉業(yè)。