眾所周知,如今是大數據時代,但是要說起大數據是如何產生的卻是很多人不清楚的。要想知道這個問題,首先讓我了解一下數據吧。數據是通過RFID射頻數據,傳感器數據,社交網絡交互數據和移動Internet數據獲得的各種類型的結構化,半結構化和非結構化海量數據,數據是大數據知識服務模型的基礎。重點是突破大數據收集技術,例如分布式高速和高可靠性數據的爬網或收集以及高速數據全成像;突破性的大數據集成技術,例如高速數據分析,轉換和加載;設計質量評估模型并開發數據質量技術。
大數據是如何產生的?
大數據是信息通信技術發展積累至今,按照自身技術發展邏輯,從提高生產效率向更高級智能階段的自然生長。無處不在的信息感知和采集終端為我們采集了海量的數據,而以云計算為代表的計算技術的不斷進步,為我們提供了強大的計算能力。
從采用數據庫作為數據管理的主要方式開始,人類社會的數據產生方式大致經歷了 3 個階段,而正是數據產生方式的巨大變化才最終導致大數據的產生。
1.運營式系統階段。
數據庫的出現使得數據管理的復雜度大大降低,在實際使用中,數據庫大多為運營系統所采用,作為運營系統的數據管理子系統,如超市的銷售記錄系統、銀行的交易記錄系統、醫院病人的醫療記錄等。
人類社會數據量的第一次大的飛躍正是在運營式系統開始廣泛使用數據庫時開始的。這個階段的最主要特點是,數據的產生往往伴隨著一定的運營活動;而且數據是記錄在數據庫中的,例如,商店每售出一件產品就會在數據庫中產生一條相應的銷售記錄。這種數據的產生方式是被動的。
2.用戶原創內容階段。
互聯網的誕生促使人類社會數據量出現第二次大的飛躍,但是真正的數據爆發產生于 Web 2.0 時代,而 Web 2.0 的最重要標志就是用戶原創內容。這類數據近幾年一直呈現爆炸性的增長。
主要有以下兩個方面的原因。
· 是以博客、微博和微信為代表的新型社交網絡的岀現和快速發展,使得用戶產生數據的意愿更加強烈。
· 是以智能手機、平板電腦為代表的新型移動設備的出現,這些易攜帶、全天候接入網絡的移動設備使得人們在網上發表自己意見的途徑更為便捷。這個階段的數據產生方式是主動的。
3.感知式系統階段。
人類社會數據量第三次大的飛躍最終導致了大數據的產生,今天我們正處于這個階段。這次飛躍的根本原因在于感知式系統的廣泛使用。
隨著技術的發展,人們已經有能力制造極其微小的帶有處理功能的傳感器,并開始將這些設備廣泛地布置于社會的各個角落,通過這些設備來對整個社會的運轉進行監控。這些設備會源源不斷地產生新數據,這種數據的產生方式是自動的。
簡單來說,數據產生經歷了被動、主動和自動三個階段。這些被動、主動和自動的數據共同構成了大數據的數據來源,但其中自動式的數據才是大數據產生的最根本原因。
上述三個階段就是大數據的產生過程,通過上述閱讀,相信大家已經知道大數據是如何產生的了吧,想了解更多關于大數據的信息,請就繼續關注中培偉業。