大家都知道當(dāng)今是大數(shù)據(jù)互聯(lián)網(wǎng)時(shí)代,但是對(duì)于大數(shù)據(jù)是如何興起的了解的人卻并不多。今天我們就來介紹一下大數(shù)據(jù)是如何興起的?在2012年,大數(shù)據(jù)突然變得流行起來,但大數(shù)據(jù)的流行并非偶然,而是具備已經(jīng)成熟發(fā)展的條件,才能夠破繭而出,展現(xiàn)在我們面前。大數(shù)據(jù)的出現(xiàn)基于一系列技術(shù)發(fā)展,經(jīng)濟(jì)發(fā)展和文化發(fā)展。尤其是互聯(lián)網(wǎng)的發(fā)展是大數(shù)據(jù)發(fā)展的最大動(dòng)力。
大數(shù)據(jù)需要強(qiáng)大的運(yùn)算能力
計(jì)算機(jī)的大腦CPU自從產(chǎn)生以來,就一直在持續(xù)提高運(yùn)算速度。進(jìn)入新世紀(jì)以來,CPU進(jìn)入了更高速發(fā)展的時(shí)代,以往可望而不可及的1Ghz大關(guān)被輕松突破了。而且單臺(tái)計(jì)算機(jī)上還采用多個(gè)CPU,每個(gè)CPU又是多核,運(yùn)算能力更強(qiáng)大了,足以及時(shí)快速處理大數(shù)據(jù)。而且CPU的制造成本和售價(jià)也在不斷下降。
大數(shù)據(jù)需要快速的運(yùn)輸能力
數(shù)據(jù)的移動(dòng)離不得網(wǎng)絡(luò)。在第二平臺(tái)期間,網(wǎng)絡(luò)的速度雖然一直在提高,但遠(yuǎn)遠(yuǎn)不能滿足海量數(shù)據(jù)的快速輸送。進(jìn)入新世界以來,萬兆網(wǎng)絡(luò)出現(xiàn)了,大量光纖的投入使用,讓整個(gè)互聯(lián)網(wǎng)的傳輸速度有了質(zhì)的飛越,讓海量數(shù)據(jù)在網(wǎng)絡(luò)上傳輸已經(jīng)不是什么難題。互聯(lián)網(wǎng)進(jìn)入世界各個(gè)角落,進(jìn)入千家萬戶,還有無線網(wǎng)絡(luò)等,這些都為數(shù)據(jù)的方便、快速傳輸提供了必要條件。而且網(wǎng)絡(luò)設(shè)備的制造成本和售價(jià)也在不斷下降。
大數(shù)據(jù)需要大容量的存儲(chǔ)能力
大數(shù)據(jù)是海量數(shù)據(jù),需要能容納海量數(shù)據(jù)的存儲(chǔ)設(shè)備存放。磁盤的容量幾十年以來也是不斷提高,訪問速度也是越來越快。目前單個(gè)磁盤每秒讀寫幾百M(fèi)B不成問題,如果采用RAID磁盤組的方式,可以成倍提高讀寫速度,可以達(dá)到每秒讀寫兩個(gè)GB,而且還提高了數(shù)據(jù)的安全性,且能成倍提高存儲(chǔ)的數(shù)據(jù)量。如果再采用幾個(gè)RAID組,那一臺(tái)機(jī)器每秒能夠讀寫幾個(gè)GB。SAN、NAS的出現(xiàn),給大型企業(yè)的網(wǎng)絡(luò)部署解決了很多難題。而很多高端存儲(chǔ)設(shè)備更是能夠安全智能地存儲(chǔ)海量數(shù)據(jù)和快速讀寫,并能夠做到高可用,也就是即使有磁盤壞掉也不要緊,數(shù)據(jù)依然存在,讀寫也無需中斷。而且存儲(chǔ)設(shè)備的制造成本和售價(jià)也在不斷下降。
以上幾個(gè)方面為大數(shù)據(jù)的存儲(chǔ)、傳輸、分析計(jì)算創(chuàng)造了條件。鍋碗瓢盆都有了,柴火油鹽也齊了,就差一把米下鍋了。沒有米,還是什么飯也做不成。沒有數(shù)據(jù),大數(shù)據(jù)就是空。
但大數(shù)據(jù)怎么才能產(chǎn)生出來呢?要知道這是海量數(shù)據(jù),不是幾個(gè)企業(yè),幾個(gè)人就能夠造出來了,它需要所有企業(yè),所有人一起參與制造。要想讓這么多企業(yè)和這么多人一起參與,就要有條件有動(dòng)力才行。
企業(yè)在激烈的競(jìng)爭(zhēng)中早已認(rèn)識(shí)到數(shù)據(jù)信息的重要性,但苦于不知道怎么才能更安全、可靠、低成本地來產(chǎn)生數(shù)據(jù)、管理數(shù)據(jù)和利用數(shù)據(jù)。隨著硬件設(shè)備(CPU、網(wǎng)絡(luò)設(shè)備、存儲(chǔ)設(shè)備)能力越來越強(qiáng)、價(jià)格越來越低,企業(yè)已經(jīng)能夠大量采購(gòu)使用了。但隨著設(shè)備的越來越多,投入也是越來越大,管理維護(hù)成本也是不斷攀升。如何解決這個(gè)問題呢?那就是云計(jì)算。云計(jì)算技術(shù)到2010年已經(jīng)完全成熟,并廣泛使用。
云計(jì)算就類似于電力的使用。現(xiàn)在是電力公司在建造發(fā)電廠,用戶只要拉上電線,按照電表每月交電費(fèi)就可以了,用不著人人都建發(fā)電廠。這種按需使用大大降低了成本。云計(jì)算也是這個(gè)思路,專門的企業(yè)來建立云數(shù)據(jù)中心,里面容納著巨量的數(shù)據(jù)計(jì)算能力、數(shù)據(jù)存儲(chǔ)能力和數(shù)據(jù)傳輸能力。企業(yè)和個(gè)人用戶只要按需租用即可,大大節(jié)省了個(gè)體成本。現(xiàn)在有公有云,如亞馬遜AWS,微軟Azure,阿里云。很多大企業(yè)還建立了專屬于自己的私有云,類似自己建造發(fā)電廠,自己使用。還有些大企業(yè)既建立自己的私有云王國(guó),又想利用公有云的便利和低成本,于是就有限打通自己的私有云和公有云之間的壁壘,形成了混合云(在這里只是簡(jiǎn)單地介紹下云計(jì)算,以后再專門出貼進(jìn)行詳細(xì)介紹)。
硬件成本的快速降低和云計(jì)算大大增強(qiáng)了企業(yè)的業(yè)務(wù)能力,也大大催生了企業(yè)各類應(yīng)用系統(tǒng)的使用,這就導(dǎo)致了企業(yè)產(chǎn)生了海量數(shù)據(jù)。
大數(shù)據(jù)的產(chǎn)生還離不開所有人的參與,否則就形成不了大數(shù)據(jù)。這個(gè)問題隨著技術(shù)的發(fā)展,到2010年前后,這個(gè)問題也解決了,那就是移動(dòng)計(jì)算。
什么是移動(dòng)計(jì)算?所謂移動(dòng)計(jì)算實(shí)際上就是如何向分布在不同位置的移動(dòng)用戶(包括手提電腦、掌上電腦、移動(dòng)電話、傳呼機(jī)等)提供優(yōu)質(zhì)的信息服務(wù)(信息的存儲(chǔ)、查詢、計(jì)算等)。尤其是智能手機(jī)、Pad等的普及,可以說人人都能聯(lián)網(wǎng),人人都能參與了。
可這還缺少最后一個(gè)條件,如果人們都很保守,不愿意公開自己的想法,不愿意參與社交,那數(shù)據(jù)量還是不夠。
但這已經(jīng)不是問題了,當(dāng)歷史進(jìn)入二十一世紀(jì)的時(shí)候,隨著科技和經(jīng)濟(jì)的發(fā)展,世界經(jīng)濟(jì)一體化,人們對(duì)外交流也越來越多,跨地區(qū)跨國(guó)的商務(wù)活動(dòng)、旅游觀光、社交活動(dòng)、網(wǎng)上交流等使人們的眼界越來越開闊,思想也越來越開放,個(gè)體意識(shí)、自我意識(shí)越來越強(qiáng),參與社交活動(dòng)的熱情十分高漲。我的生活我做主,我是憤青我怕誰。因此數(shù)以幾十億計(jì)的人們?cè)诟鞣N場(chǎng)所、網(wǎng)上網(wǎng)下,暢所欲言,發(fā)表看法,留影拍照,導(dǎo)致文字、圖片、聲音、視頻井噴。
這個(gè)時(shí)候,我們的時(shí)代就進(jìn)入了第三平臺(tái)時(shí)期,它以移動(dòng)計(jì)算、云服務(wù)、大數(shù)據(jù)、社交為主要特征,有數(shù)十億用戶參與,有數(shù)百萬應(yīng)用程序在運(yùn)行,產(chǎn)生了無窮無盡的海量數(shù)據(jù)。
以上就是關(guān)于大數(shù)據(jù)是如何興起的全部?jī)?nèi)容,想了解更多關(guān)于大數(shù)據(jù)的信息,請(qǐng)繼續(xù)關(guān)注中培偉業(yè)。