近年來,大數據和增長黑客等概念已在Internet行業中廣泛傳播,并且數據分析思想變得越來越流行。作為Internet上最前沿的產品經理,他們已經接觸到許多產品數據和用戶數據。使用它來增強業務能力已經成為人們討論的熱點。那么大數據分析要經歷幾個階段?大數據分析至少存在三個階段:熟悉計算工具階段、提升分析能力階段和形成思維方式階段。
大數據分析要經歷幾個階段?
階段1:熟悉計算工具
第一個階段是熟悉計算工具階段,也就是能從數據中正確計算出結論。這一階段需要的是編程能力和基礎的邏輯分析。在這個階段,需要打好基本的編程和數理基礎,比如如何使用一種編程語言從某個數據源中提取數據,進行必要的轉化,生成一個結果。在這個階段,我經常認為數據分析就是編程。那時也對編程和數據分析產生很大的畏難情緒,覺得自己離學好編程、使用好各類工具的狀態有很大差距。
同時,我也對如何分析數據感到一籌莫展。雖然在學校課堂和各類網絡教程中學過很多編程方面的技術,也能夠看懂一些別人的程序,但是對于一個嶄新的問題,我不知道使用哪種工具,編寫什么樣的程序,進行哪些方面的分析。
處在這個階段,我認為主要因為自己的編程經驗停留在“學”上,還沒有過度到“用”的境界。只能說學會了一些工具(比如編程語言),但是不知道如何應用。另一方面,自己的實戰經驗太少,沒有實戰經驗,只學習一些表面的皮毛,出去忽悠一些非科班的人還像模像樣,但是真正讓我去做一個新案例的數據挖掘和分析,我可能完全不知如何入手。
在這個階段,我們一方面需要打磨自己的編程能力,另外一方面也不斷學習一些數學模型,包括各類機器學習算法、概率論等。
階段2:提升分析能力
隨著對編程工具的熟悉,比如開始熟悉了Shell、SQL、Python、大數據等,我發現使用工具不一定能得出特別好的結論。
經濟學有一個關于啤酒和尿不濕的例子:沃爾瑪一家分店的營銷經理對超市的銷售數量進行設定跟蹤,有一次他發現了一個很奇怪的現象:啤酒與尿不濕的銷量在周末總會出現成比例增長。主要因為爸爸們周末采購時,買完尿不濕想順手捎帶幾瓶啤酒。
其實,獲取到這個數據并不難,但原始數據中絕對沒有這個現成的結論。進行數據分析的第一步是找到一個方向,先看看哪些潛在的假設能夠解釋現象。比如,這個例子中,沃爾瑪對銷售數據做相關性分析。數據是死的,是躺在硬盤中的一堆字符。如果沒有一個基本的假設或者方向,即使有再強大的編程能力,也很難得出一個觀點或結論。
這時候我們能夠看懂很多數據分析的報告,能夠開始建立起數據之間的聯系。如果有一些高人指點,加上實戰練習,在數據分析上可以有茅塞頓開般的提升。
很多入門和初學者基本上都停留在第一階段和第二階段的初級水平。一部分人在這個階段做大量重復性的工作,多年可能沒有任何進步,無法進入到下一階段。
階段3:形成思維方式
說實話,以前我認為現代社會發展變化太快,新事物層出不窮,經驗不值一提。但是接觸了越多的大牛,我開始發現這些人的經驗才是他們安身立命之本。經驗不局限于數據、工具或者技術,經驗是逐漸培養起來的,是分析問題的思維方式。金庸在他的武俠系列中一直強調內功的重要性,經驗就是這樣的內功。
數據分析的最后一個階段,一般是團隊的領導需要達到的水平。由于團隊的領導一般具有多年的實戰經驗,他們可以很快發現問題。當我還是小白的時候,我發現團隊的領導幾乎天天都在看數據,每次開會都在討論數據,從一張數據圖中他們可以很快發現一些問題,面對新問題,他們也有很多解決思路和探索方向。而且,這里的團隊領導不僅限于技術團隊,包括產品或者運營相關團隊的領導也對數據有很強的敏感性。比如,在與產品溝通的通氣會上,產品團隊的領導經常抓住數據可疑點,讓我們技術團隊來解釋背后的原因。我非常震驚,為什么非技術出身的他們,也能找到一些問題的關鍵。再到后來,我發現不僅僅是互聯網行業,各行各業的佼佼者都對數據非常敏感,都有一套問題求解的思路。比如,我之前以疫情分析為例的那篇文章疫情分析是最好的實戰教材中列舉了一些作者,他們分析問題的能力都值得我們學習,實際上他們并不都是100%的技術背景出身。
上述就是關于大數據分析要經歷幾個階段的全部內容介紹,想了解更多關于大數據的信息,請繼續關注中培偉業。