眾所周知，如今是大數(shù)據(jù)時(shí)代。但是對(duì)于大數(shù)據(jù)何時(shí)進(jìn)入我們的生活，更重要的是，什么原因?qū)е麓髷?shù)據(jù)如此普及？大數(shù)據(jù)流行背后的原因是什么？在本文中，我們將重點(diǎn)介紹大數(shù)據(jù)對(duì)現(xiàn)在，過去和未來的影響，以更好地評(píng)估對(duì)大數(shù)據(jù)的需求增長，并因此嘗試說明大數(shù)據(jù)是流行語還是實(shí)際的機(jī)會(huì)媒介。實(shí)際上，我們從大數(shù)據(jù)歷史中看到的是，在“大數(shù)據(jù)”一詞獲得顯著發(fā)展之前，就已經(jīng)存在一些大數(shù)據(jù)功能。但是直到某個(gè)時(shí)間點(diǎn)才對(duì)它有足夠的需求。

本文的其余部分將重點(diǎn)放在時(shí)間上的某些點(diǎn)上，以了解那里具有哪些大數(shù)據(jù)能力，但很少使用。然后我們將重點(diǎn)關(guān)注顯示大數(shù)據(jù)需求實(shí)際上已經(jīng)并且可能會(huì)快速增長的重要因素。

　　大數(shù)據(jù)的過去時(shí)光

大多數(shù)時(shí)候，您會(huì)看到大數(shù)據(jù)空間的歷史始于Google于2003年左右撰寫的GFS論文。在2006年左右，我們第一次看到Hadoop。但是，盡管大數(shù)據(jù)的歷史可能是最重要的里程碑之一，但事實(shí)并非完全如此，盡管這可能是GFS論文的起點(diǎn)。至少到現(xiàn)在為止!

CAP定理是一個(gè)已經(jīng)存在了一段時(shí)間的例子，并且也存在于GFS論文之前。CAP定理在大數(shù)據(jù)領(lǐng)域仍然很重要，而且非常重要。

　　CAP定理

CAP定理實(shí)際上非常簡單：

在一致性，網(wǎng)絡(luò)分區(qū)和可用性這三個(gè)支柱中; 您只能同時(shí)選擇兩個(gè)。（見上圖）

您不能一次擁有所有三個(gè)。

不要失去圍繞本文的重點(diǎn);我們將不會(huì)詳細(xì)解釋CAP定理的工作原理，因?yàn)檫@需要進(jìn)一步的詳細(xì)技術(shù)說明。我們寧愿關(guān)注CAP定理的影響。

大數(shù)據(jù)平臺(tái)顯然是分布式的。假設(shè)在大數(shù)據(jù)環(huán)境中必須進(jìn)行網(wǎng)絡(luò)分區(qū)，那么選擇就變得很明確： 在一致性和可用性之間進(jìn)行權(quán)衡。

讓我們先來看兩個(gè)基本示例，以便在專注于有關(guān)CAP定理的思想首次出現(xiàn)時(shí)更好地理解“權(quán)衡”：

范例1：

讓我們考慮一個(gè)金融大數(shù)據(jù)系統(tǒng)，該系統(tǒng)為客戶提供一定的信息環(huán)境。提供給客戶的信息很可能需要財(cái)務(wù)系統(tǒng)非常精確。因此，這類系統(tǒng)很可能會(huì)希望內(nèi)容一致而不是始終可用。考慮一個(gè)場景，一個(gè)客戶一個(gè)接一個(gè)地登錄兩個(gè)不同的渠道來檢查他/她的帳戶。毫無疑問，與始終具有高可用性并且同時(shí)極有可能顯示不一致的帳戶詳細(xì)信息相比，最好始終顯示相同且正確的帳戶詳細(xì)信息，并且始終不具有高可用性。

范例2：

與上述相反，讓我們考慮一個(gè)娛樂系統(tǒng)。娛樂系統(tǒng)可能希望始終可用，而不是確保內(nèi)容在所有分區(qū)上都是一致的。因此，這次與始終保持一致相比，偏好可能是可用的。

　　CAP定理是什么時(shí)候首次引入的？

在1998年左右提出了CAP定理的想法，例如在GFS文件之前5年，MapReduce文件之前6年，第一個(gè)Hadoop版本之前8年，第一個(gè)HBase版本之前9年。但是，直到2002年才被接受為有效定理。每當(dāng)我們決定要使用哪種存儲(chǔ)選項(xiàng)時(shí)，都應(yīng)再次訪問該定理。因此，至少部分人已經(jīng)知道分區(qū)容忍之類的大數(shù)據(jù)概念有多重要以及可用性和一致性。

僅在2006年之后，大數(shù)據(jù)域的普及才開始飆升，這明確表明，早在1998年，只有一小部分觀眾對(duì)大數(shù)據(jù)感興趣。像CAP這樣的重要定理在發(fā)布四年后才引起關(guān)注，并成為一個(gè)實(shí)際定理。CAP定理已受到關(guān)注，其重要性是毋庸置疑的。甚至想干認(rèn)識(shí)也在其博客中也發(fā)表了有關(guān)CAP定理的文章。有關(guān)大數(shù)據(jù)的重要定理開始受到廣泛關(guān)注的事實(shí)表明了大數(shù)據(jù)的重要性。

　　大數(shù)據(jù)需求持續(xù)急劇增長

數(shù)據(jù)是數(shù)據(jù)管理系統(tǒng)的重要組成部分。換句話說，對(duì)大數(shù)據(jù)的需求肯定已經(jīng)增加，有關(guān)大數(shù)據(jù)的定理，白皮書也符合這一基本原理。

讓我們從另一個(gè)角度看待需求的增長。一個(gè)簡單的大數(shù)據(jù)定義是3分比（盡管有額外Vs的比其他三個(gè)，讓我們把重點(diǎn)放在三種為簡單起見）： 數(shù)量，速度和品種。該卷的數(shù)據(jù)僅僅指的是一個(gè)事實(shí)，即量能的大數(shù)據(jù)平臺(tái)內(nèi)大于將是傳統(tǒng)的數(shù)據(jù)管理系統(tǒng)的情況。 數(shù)據(jù)的 速度是指大數(shù)據(jù)平臺(tái)既可以處理移動(dòng)數(shù)據(jù)（流數(shù)據(jù)，例如紐約的實(shí)時(shí)交通數(shù)據(jù)）又可以處理靜態(tài)數(shù)據(jù)。例如報(bào)告層事實(shí)維度的事實(shí)，涉及各種數(shù)據(jù)。例如，結(jié)構(gòu)化數(shù)據(jù)，Web日志，傳感器數(shù)據(jù)，視頻等。

大數(shù)據(jù)又是另一個(gè)關(guān)鍵詞，答案很簡單： Data可以肯定的是，數(shù)據(jù)量/種類/速度將在不久的將來增長。

　　現(xiàn)在，讓我們選擇以下三種數(shù)據(jù)之一：

IDC發(fā)表的一篇文章預(yù)測，到2020年，以電子方式存儲(chǔ)的數(shù)據(jù)總量約為44ZB，2013年則為4.4 ZB。考慮 到7年內(nèi)的十倍增長， 并且知道該增長呈指數(shù)級(jí)增長，可能很難預(yù)測 從現(xiàn)在起15年后電子化存儲(chǔ)的數(shù)據(jù)量。在花點(diǎn)時(shí)間進(jìn)行短暫震驚之前，我們還必須記住另一項(xiàng)尚未充分發(fā)揮作用的巨大影響-到目前為止只是短暫的-物聯(lián)網(wǎng)。生成的大多數(shù)企業(yè)數(shù)據(jù)都集中在人身上，換句話說，就是從個(gè)人之間的互動(dòng)中生成的數(shù)據(jù)。隨著物聯(lián)網(wǎng)的廣泛使用在未來幾年變得越來越普遍，我們將能夠從物聯(lián)網(wǎng)中捕獲更多的細(xì)粒度和豐富的數(shù)據(jù)，因?yàn)槭挛锛瓤梢耘c人互動(dòng)，也可以與其他事物互動(dòng)。在智能家居，智能制造，智能交通，醫(yī)療保健等許多領(lǐng)域，我們對(duì)物聯(lián)網(wǎng)的未來有著漫長而令人興奮的道路。

總結(jié)一下; 我們可以清楚地看到大數(shù)據(jù)需求增加與CAP定理，大數(shù)據(jù)白皮書，數(shù)據(jù)量/種類/速度增加之間的因果關(guān)系。這些關(guān)鍵主題表明，大數(shù)據(jù)已經(jīng)并將繼續(xù)成為破壞性技術(shù)之一。

　　破壞性技術(shù)–奇異性

CAP定理，白皮書和3V的另一個(gè)觀點(diǎn)是，它們都鏈接到嚴(yán)重依賴數(shù)據(jù)的破壞性技術(shù)。

聽說過術(shù)語“奇異性”嗎？簡單的說；奇異性是技術(shù)進(jìn)步給我們帶來的根本變化。隨著數(shù)據(jù)的增長和AI技術(shù)的進(jìn)步，我們可能已經(jīng)開始在較短的生命周期中經(jīng)歷奇異時(shí)刻。技術(shù)進(jìn)步加速比以往任何時(shí)候都高。未來看到了更多的破壞性技術(shù)，而且它正在迅速關(guān)閉！

您的組織是否準(zhǔn)備好應(yīng)對(duì)從未經(jīng)歷過的，比以往更大的變革？

如果正確使用，大數(shù)據(jù)將帶來許多機(jī)會(huì)。大數(shù)據(jù)不僅是這種低成本（每字節(jié)成本最低）的數(shù)據(jù)存儲(chǔ)平臺(tái)，而且還帶來了新的用例可能性。 使用傳統(tǒng)技術(shù)實(shí)施的案例非常復(fù)雜或成本很高，現(xiàn)在可以在大數(shù)據(jù)領(lǐng)域輕松實(shí)現(xiàn)。大數(shù)據(jù)涵蓋了廣泛的用例，這些用例主要集中在高級(jí)分析，人工智能，機(jī)器/深度學(xué)習(xí)以及具有高計(jì)算能力和廉價(jià)存儲(chǔ)能力以及能夠獲取/處理/存儲(chǔ)結(jié)構(gòu)化/非結(jié)構(gòu)化，批處理/流數(shù)據(jù)。

另外，可以清楚地看到，大數(shù)據(jù)用例的主要優(yōu)點(diǎn)之一是它們通常是新的業(yè)務(wù)用例。以前從未實(shí)現(xiàn)過的用例。甚至想到與傳統(tǒng)的用例相比，大數(shù)據(jù)用例可以帶來更多的價(jià)值，這是令人興奮的。

　　未來愿景

未來肯定會(huì)受到我們目前正在經(jīng)歷的數(shù)據(jù)增長期的影響。此外，數(shù)據(jù)增長仍將繼續(xù)加速，并且開始趨于平穩(wěn)的時(shí)間只是目前的預(yù)測。隨著競爭力的提高和對(duì)組織更快達(dá)到業(yè)務(wù)成果的更高期望，數(shù)據(jù)將發(fā)揮至關(guān)重要的作用。能夠?qū)⑵滢D(zhuǎn)化為收益的組織將通過基于新大數(shù)據(jù)的用例中涌現(xiàn)的新業(yè)務(wù)模型獲得競爭優(yōu)勢。無法跟上大數(shù)據(jù)并且遲到的組織很有可能最終也會(huì)走向大數(shù)據(jù)。但是這一次優(yōu)勢的競爭性質(zhì)將不再有效。

大數(shù)據(jù)對(duì)現(xiàn)在，過去和未來的影響介紹到這里就結(jié)束了，想了解更多關(guān)于大數(shù)據(jù)的信息，請繼續(xù)關(guān)注中培偉業(yè)。