企業(yè)大數(shù)據(jù)平臺的建設和運營無疑是實現(xiàn)上述目標的關鍵舉措，也正成為是企業(yè)信息化建設的核心任務和目標，通過構建企業(yè)大數(shù)據(jù)平臺，實現(xiàn)資源整合優(yōu)化、統(tǒng)一數(shù)據(jù)采集及數(shù)據(jù)加工、統(tǒng)一數(shù)據(jù)共享及服務、提高企業(yè)運營效率、最大化釋放數(shù)據(jù)價值，最終實現(xiàn)“一點存儲、統(tǒng)一管控、多點應用、體現(xiàn)價值”的目標。

▌企業(yè)大數(shù)據(jù)平臺的建設目標

企業(yè)大數(shù)據(jù)平臺是企業(yè)信息支撐系統(tǒng)的重要組成部分，具備對企業(yè)各系統(tǒng)和其它域外部系統(tǒng)的數(shù)據(jù)聚合與數(shù)據(jù)處理能力，同時，通過對數(shù)據(jù)加工形成的數(shù)據(jù)資產(chǎn)進行統(tǒng)一管理與數(shù)據(jù)封裝，實現(xiàn)對企業(yè)數(shù)據(jù)管理與數(shù)據(jù)服務能力、應用體系管理能力的系統(tǒng)支撐。

企業(yè)大數(shù)據(jù)中心應具備如下三方面特征：

1. “企業(yè)級”數(shù)據(jù)中心：企業(yè)大數(shù)據(jù)中心全面獲取企業(yè)內外部各系統(tǒng)源數(shù)據(jù)，并進行整合、處理，生成企業(yè)級統(tǒng)一數(shù)據(jù)視圖，數(shù)據(jù)服務范圍面向企業(yè)各系統(tǒng)及應用領域，實現(xiàn)跨業(yè)務線、跨部門、跨系統(tǒng)的數(shù)據(jù)支撐。

2. “智慧型”數(shù)據(jù)中心：數(shù)據(jù)完備且標準規(guī)范；平臺功能完善；數(shù)據(jù)共享充分；應用的智能化和多樣化；系統(tǒng)資源可彈性擴展；系統(tǒng)架構可動態(tài)適配。

3. “管理運營”數(shù)據(jù)中心：企業(yè)大數(shù)據(jù)平臺需肩負起企業(yè)數(shù)據(jù)管理和運營的樞紐作用，對企業(yè)數(shù)據(jù)的獲取、傳輸、加工、應用、管控、運維等實行一體化支撐，實現(xiàn)數(shù)據(jù)管理流程與各方面工作的無縫銜接和高度協(xié)同，構建數(shù)據(jù)價值運營生態(tài)體系。

▌建設原則

1   ▏一體化原則

系統(tǒng)技術架構方面，應將地市系統(tǒng)數(shù)據(jù)納入數(shù)據(jù)采集范圍，并在數(shù)據(jù)存儲方面實現(xiàn)統(tǒng)一數(shù)據(jù)存儲和全省數(shù)據(jù)共享。

系統(tǒng)功能架構方面，應從數(shù)據(jù)的使用和數(shù)據(jù)應用的開發(fā)層面，實現(xiàn)數(shù)據(jù)的共享訪問和數(shù)據(jù)應用的個性化開發(fā)支撐。

2   ▏先進性原則

企業(yè)大數(shù)據(jù)平臺在系統(tǒng)架構方面，應確保先進性和可擴展性，確保企業(yè)大數(shù)據(jù)平臺架構合理部署、適度超前，能夠適應公司未來較長周期內發(fā)展需求，為源數(shù)據(jù)引入、應用建設提供一個穩(wěn)定、可平滑演進的系統(tǒng)框架。

在系統(tǒng)技術方面，應采用先進的產(chǎn)品和技術，搭建一個架構可伸縮、可平滑擴展、資源可彈性調配的數(shù)據(jù)中心平臺；

在體系架構方面，應實現(xiàn)數(shù)據(jù)中心大數(shù)據(jù)處理分析平臺與應用平臺的分離，采用組件化、模塊化技術，確保平臺在內核穩(wěn)定的同時具有高度開放性、可靈活擴展。

在數(shù)據(jù)服務交付方面，應借鑒先進的SOA理念，實現(xiàn)數(shù)據(jù)與應用分離，提供快速便捷的應用交付能力，支持各類用戶通過數(shù)據(jù)服務支撐平臺按需定購，快速獲得相關數(shù)據(jù)服務。

3   ▏智慧型原則

全新的企業(yè)大數(shù)據(jù)平臺應逐步轉變傳統(tǒng)BI以報表提供為主的數(shù)據(jù)應用和服務方式，以洞察力為導向，提高數(shù)據(jù)分析處理和應用的實效性、關聯(lián)性，充分發(fā)揮數(shù)據(jù)使能的驅動作用，改善數(shù)據(jù)應用和數(shù)據(jù)服務水平，充分體現(xiàn)系統(tǒng)在感知、調度、觸發(fā)等方面的智慧性原則。

系統(tǒng)應從架構設計上，借助分布式計算與分布式存儲技術，形成海量數(shù)據(jù)的快速處理與深加工能力，滿足智慧性系統(tǒng)對數(shù)據(jù)的各種靈活加工與數(shù)據(jù)存儲及智能調度的要求。

在數(shù)據(jù)管理方面，需在多形態(tài)、海量數(shù)據(jù)聚合處理形成的數(shù)據(jù)資產(chǎn)基礎上，通過全面、靈活、可靠的數(shù)據(jù)資產(chǎn)模型與管理體系的支撐，實現(xiàn)對數(shù)據(jù)資產(chǎn)擴充智能化存儲與管理、數(shù)據(jù)使用過程的智能引導與觸發(fā)。

數(shù)據(jù)應用方面，通過場景化、標準化、流程化的應用體系和靈活、易用的應用開發(fā)工具的支撐，應具備對數(shù)據(jù)應用的開發(fā)與使用行為的感知能力，并通過系統(tǒng)的自學習能力與自助式數(shù)據(jù)封裝能力，實現(xiàn)對數(shù)據(jù)應用使用的智能引導。

在系統(tǒng)管理層面，需實現(xiàn)對數(shù)據(jù)加工、數(shù)據(jù)封裝、數(shù)據(jù)應用開發(fā)與數(shù)據(jù)應用使用行為的可視化管理、統(tǒng)一調度與流程監(jiān)控，形成企業(yè)大數(shù)據(jù)平臺的智能神經(jīng)中樞。

4   ▏開放性原則

企業(yè)大數(shù)據(jù)平臺服務對象：數(shù)據(jù)中心的服務對象覆蓋面更廣，不僅包括公司內部的管理人員、一線人員和運營人員，公司外部的合作伙伴、集團客戶、大眾客戶，還包括公司內外的各域、各行業(yè)信息系統(tǒng)和IT平臺。中心可依據(jù)數(shù)據(jù)安全標準、服務內容和SLA水平設定不同的數(shù)據(jù)開放級別。

企業(yè)大數(shù)據(jù)平臺服務領域：隨著源數(shù)據(jù)覆蓋不斷擴展數(shù)據(jù)服務領域橫向不斷延伸、縱向不斷深化，可面向管理運營、面向市場擴展、面向外部客戶提供多領域的數(shù)據(jù)應用。

企業(yè)大數(shù)據(jù)平臺所使用的各種網(wǎng)絡協(xié)議、硬件接口和數(shù)據(jù)接口等應符合業(yè)界開放式標準。應通過數(shù)據(jù)封裝等標準化數(shù)據(jù)服務形式，面向公司各業(yè)務系統(tǒng)對外提供數(shù)據(jù)服務，支撐開放式數(shù)據(jù)應用構建。

5   ▏安全性原則

企業(yè)大數(shù)據(jù)平臺應具備統(tǒng)一且完善的安全機制以確保數(shù)據(jù)的安全性和系統(tǒng)的安全性。

數(shù)據(jù)安全：企業(yè)大數(shù)據(jù)平臺保存的數(shù)據(jù)是經(jīng)過匯聚、提煉的各業(yè)務線、管理線的內外部數(shù)據(jù)，對管理決策、生產(chǎn)運營和業(yè)務擴展意義重大，數(shù)據(jù)訪問和開放應進行嚴格的安全控制，需要針對不同的服務對象和數(shù)據(jù)內容構建差異化的安全訪問策略和分級管理機制，確保資產(chǎn)信息保存、訪問和傳輸?shù)陌踩浴?/p>

系統(tǒng)安全：系統(tǒng)設計不能影響數(shù)據(jù)中心系統(tǒng)的可靠運行，需構建系統(tǒng)層面的安全控制機制，確保大數(shù)據(jù)采集、處理分析以及應用能夠可靠準確運行，同時，數(shù)據(jù)中心應與其它系統(tǒng)之間采取嚴格的權限控制或防火墻等措施，保證其安全性。

6   ▏原則易用性

數(shù)據(jù)應用易用性：實現(xiàn)數(shù)據(jù)資產(chǎn)可視化呈現(xiàn)，構建的統(tǒng)一數(shù)據(jù)資產(chǎn)易于理解與應用，同時，提供友好的UI確保用戶在應用數(shù)據(jù)服務時的良好客戶體驗，要求系統(tǒng)具備良好易用的人機交互界面與靈活多樣的展現(xiàn)方式。

運營管理易用性：運營管理功能深入且直觀。易理解、易學習，功能描述準確細致、邏輯清晰，用戶進入操作界面后一目了然，能夠很直觀、很容易找到自己要使用的功能菜單，方便的完成運維操作。

7   ▏總體規(guī)劃、分步實施、迭代式演進原則

企業(yè)大數(shù)據(jù)平臺的規(guī)劃實施，應結合企業(yè)的的轉型戰(zhàn)略實現(xiàn)突破創(chuàng)新，兼?zhèn)湎冗M性、智慧性和前瞻性；

具體的演進過程，應結合不同階段的業(yè)務訴求、IT環(huán)境、數(shù)據(jù)中心成熟度等因素，制定數(shù)據(jù)中心服務能力體系建設、大數(shù)據(jù)企業(yè)大數(shù)據(jù)平臺服務能力體系建設、企業(yè)大數(shù)據(jù)平臺運營服務能力體系三個階段。

▌系統(tǒng)規(guī)劃

1   ▏系統(tǒng)能力體系

企業(yè)大數(shù)據(jù)平臺建設是一個復雜的系統(tǒng)性工程，其能力體系包括：

構建大數(shù)據(jù)管理平臺，支撐大數(shù)據(jù)的獲取、加工、存儲及服務能力

采用基于分布式處理的功能架構與技術架構，建設分層處理、功能解耦的企業(yè)大數(shù)據(jù)平臺；應用Hadoop、實時流處理、分布式數(shù)據(jù)庫、NoSQL數(shù)據(jù)庫等大數(shù)據(jù)處理技術，構建公司內外部結構化、非結構化、流數(shù)據(jù)等不同形態(tài)海量數(shù)據(jù)的處理能力；合理部署存儲資源，針對企業(yè)大數(shù)據(jù)平臺海量數(shù)據(jù)實施分級存儲管理；應用數(shù)據(jù)封裝技術，實現(xiàn)企業(yè)大數(shù)據(jù)平臺對外數(shù)據(jù)服務的系統(tǒng)化支撐；實施數(shù)據(jù)質量管理，保障企業(yè)大數(shù)據(jù)平臺數(shù)據(jù)準確性；實施系統(tǒng)安全與信息安全管理，保障企業(yè)大數(shù)據(jù)平臺運行穩(wěn)定，具備高可用性，保障信息安全。

匯聚公司內外部源數(shù)據(jù)，有效組織多態(tài)大數(shù)據(jù)

采用統(tǒng)一封裝的數(shù)據(jù)采集接口，實現(xiàn)對公司內外部系統(tǒng)數(shù)據(jù)的匯聚，包括公司內部以及各業(yè)務平臺的價值源數(shù)據(jù)，公司外部互聯(lián)網(wǎng)、社會統(tǒng)計、競爭對手數(shù)據(jù)。支持結構化、非結構化和實時數(shù)據(jù)的采集。支持海量數(shù)據(jù)的采集和存儲。

構建企業(yè)級數(shù)據(jù)資產(chǎn)，支撐核心數(shù)據(jù)的共享和復用

采用先進加工技術實施大數(shù)據(jù)分析處理，實現(xiàn)對基礎數(shù)據(jù)資產(chǎn)的統(tǒng)一管理。

通過智慧性，先進性的數(shù)據(jù)模型構建，實現(xiàn)從基礎數(shù)據(jù)資產(chǎn)到應用數(shù)據(jù)資產(chǎn)的持續(xù)的加工處理。建立系統(tǒng)化的數(shù)據(jù)資產(chǎn)長周期存儲、大數(shù)據(jù)量加工與轉換方案，實現(xiàn)從存儲效率、時間要求、訪問要求、應用要求多維度的管控機制與系統(tǒng)管理支撐能力。

構建標準化數(shù)據(jù)服務能力，支撐公司運營數(shù)據(jù)需求

基于統(tǒng)一數(shù)據(jù)資產(chǎn)，建立標準化的數(shù)據(jù)服務流程和服務標準；以標準化數(shù)據(jù)服務方式為公司內外部各系統(tǒng)及使用方提供數(shù)據(jù)支撐。

構建數(shù)據(jù)應用體系，支撐數(shù)據(jù)價值挖掘及應用

建立企業(yè)大數(shù)據(jù)平臺數(shù)據(jù)價值挖掘及應用流程，基于企業(yè)大數(shù)據(jù)平臺數(shù)據(jù)支撐，在公司各業(yè)務運營領域推動數(shù)據(jù)應用，發(fā)揮數(shù)據(jù)價值。

面向內部管理：服務于企業(yè)的精細化管理要求，提升企業(yè)運營管理水平；

面向客戶：為企業(yè)提高精準營銷與個性化客戶服務能力，優(yōu)化客戶感知；

面向合作伙伴：為合作伙伴提供高價值的數(shù)據(jù)服務產(chǎn)品，實現(xiàn)企業(yè)數(shù)據(jù)增值。

2   ▏系統(tǒng)總體框架

基于企業(yè)大數(shù)據(jù)平臺的建設目標與建設原則，企業(yè)大數(shù)據(jù)平臺從總體框架上要支持大數(shù)據(jù)時代的以多態(tài)、海量數(shù)據(jù)為主的數(shù)據(jù)源引入和數(shù)據(jù)聚合，通過大數(shù)據(jù)處理架構的數(shù)據(jù)處理能力形成集中的企業(yè)級數(shù)據(jù)資產(chǎn)，通過數(shù)據(jù)資產(chǎn)的加工與數(shù)據(jù)封裝，以及數(shù)據(jù)管理體系與數(shù)據(jù)應用體系的建設，實現(xiàn)對數(shù)據(jù)應用和數(shù)據(jù)產(chǎn)品的開發(fā)與使用過程的智能化支撐，從而支撐企業(yè)的精細化管理、全業(yè)務運營。

企業(yè)大數(shù)據(jù)平臺的總體框架包括數(shù)據(jù)聚合、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)應用、系統(tǒng)管理、訪問門戶五個方面。通過聚合多態(tài)、海量源數(shù)據(jù)，形成企業(yè)級基礎數(shù)據(jù)資產(chǎn)與應用數(shù)據(jù)資產(chǎn)，通過數(shù)據(jù)分析挖掘與數(shù)據(jù)封裝，提供基于數(shù)據(jù)資產(chǎn)的數(shù)據(jù)服務，支撐數(shù)據(jù)應用與數(shù)據(jù)產(chǎn)品的開發(fā)，并通過系統(tǒng)門戶，面向公司各類人員提供數(shù)據(jù)分析與業(yè)務決策支持，面向公司內業(yè)務支撐系統(tǒng)以及各業(yè)務平臺提供數(shù)據(jù)服務能力，面向合作伙伴、集團客戶等外部用戶提供智慧型數(shù)據(jù)價值產(chǎn)品，助力外部企業(yè)用戶的運營能力提升。

數(shù)據(jù)聚合

數(shù)據(jù)聚合方面，要聚合包含企業(yè)外部系統(tǒng)在內的公司內、外部數(shù)據(jù)，形成常態(tài)化的數(shù)據(jù)聚合機制。

針對源數(shù)據(jù)的數(shù)據(jù)種類、接口種類，建設與其相匹配的接口與處理能力，實現(xiàn)結構化數(shù)據(jù)/非結構化數(shù)據(jù)、實時/非實時數(shù)據(jù)的聚合，為加工形成集中的統(tǒng)一數(shù)據(jù)資產(chǎn)提供基礎數(shù)據(jù)。

數(shù)據(jù)資產(chǎn)

數(shù)據(jù)資產(chǎn)的建設方面，要構建結構化、模型化數(shù)據(jù)資產(chǎn)的組織、管理、存儲架構。根據(jù)業(yè)務使用要求（高熱度數(shù)據(jù)/低熱度數(shù)據(jù)），提供不同的數(shù)據(jù)資產(chǎn)分類管理、存儲環(huán)境。引入NoSQL數(shù)據(jù)庫，與關系型數(shù)據(jù)庫形成高效的融合架構，共同形成數(shù)據(jù)資產(chǎn)的綜合管理支撐能力。

數(shù)據(jù)資產(chǎn)包括基礎數(shù)據(jù)資產(chǎn)和應用數(shù)據(jù)資產(chǎn)兩個層面。

數(shù)據(jù)應用

數(shù)據(jù)應用從形態(tài)上包括數(shù)據(jù)應用、數(shù)據(jù)產(chǎn)品、數(shù)據(jù)服務三種類型。通過構建應用支撐體系，圍繞公司運營的市場活動提供數(shù)據(jù)應用能力支撐。

1. 數(shù)據(jù)服務：是基于數(shù)據(jù)資產(chǎn)的數(shù)據(jù)封裝，面向業(yè)務系統(tǒng)提供標準化數(shù)據(jù)服務接口，將數(shù)據(jù)能力按照服務的方式對外開放，實現(xiàn)系統(tǒng)間的有效互動。

2. 數(shù)據(jù)產(chǎn)品：是面向企業(yè)外部、合作伙伴等客戶提供的基于數(shù)據(jù)資產(chǎn)進行分析挖掘形成的高價值數(shù)據(jù)產(chǎn)品。

3. 數(shù)據(jù)應用：包括基于數(shù)據(jù)集市數(shù)據(jù)加工而成的地市數(shù)據(jù)應用，和基于省級數(shù)據(jù)資產(chǎn)進行數(shù)據(jù)價值持續(xù)挖掘形成的全省數(shù)據(jù)應用,通過省市兩級數(shù)據(jù)應用共享與互動，為省市兩級的一體化運營提供價值應用支撐，面向公司業(yè)務決策與經(jīng)營提供數(shù)據(jù)分析支撐能力。

系統(tǒng)管理

系統(tǒng)管理統(tǒng)一負責對企業(yè)大數(shù)據(jù)平臺數(shù)據(jù)資產(chǎn)、數(shù)據(jù)應用的統(tǒng)一管理與調度，構建數(shù)據(jù)級可視化管理能力，實現(xiàn)全程數(shù)據(jù)溯源、數(shù)據(jù)質量管理和服務流程監(jiān)控管理，為數(shù)據(jù)中心的開放運營提供基礎保障能力。

訪問門戶

訪問門戶包括面向省市業(yè)務人員、公司領導的對內門戶，面向外部人員數(shù)據(jù)產(chǎn)品運營的對外門戶，面向企業(yè)大數(shù)據(jù)平臺管理人員的管理門戶三個組成部分。

1. 對內門戶：是面向省市業(yè)務人員、公司領導提供統(tǒng)一的訪問Portal。實現(xiàn)定制化的個人工作臺。其中，地市數(shù)據(jù)應用通過對內門戶的地市專區(qū)向地市人員開放，提供統(tǒng)一訪問與管理。

2. 對外門戶：是面向外部人員提供獨立的安全的訪問門戶。以貨架形式對外部企業(yè)與個人用戶提供數(shù)據(jù)運營產(chǎn)品，方便外部客戶獲取適合自身的數(shù)據(jù)產(chǎn)品，提升企業(yè)與個人自身的市場運營能力。

3. 管理門戶：是面向企業(yè)大數(shù)據(jù)平臺管理人員和數(shù)據(jù)服務開發(fā)者的訪問門戶。管理人員通過該門戶實現(xiàn)數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)服務管理、數(shù)據(jù)服務自助組裝、系統(tǒng)日常運行維護與數(shù)據(jù)質量管控等功能，數(shù)據(jù)服務開發(fā)者通過該門戶實現(xiàn)數(shù)據(jù)服務的自助開發(fā)與注冊、管理，構建高價值數(shù)據(jù)服務開發(fā)的共享平臺。

3   ▏數(shù)據(jù)平臺功能架構

大數(shù)據(jù)基礎平臺

數(shù)據(jù)采集對業(yè)務數(shù)據(jù)進行統(tǒng)一采集的平臺，獲取層由網(wǎng)頁爬蟲和接口文件采集構成。它通過數(shù)據(jù)采集子層為數(shù)據(jù)層提供規(guī)范、高效的數(shù)據(jù)服務，實現(xiàn)業(yè)務數(shù)據(jù)的充分共享。

數(shù)據(jù)存儲和處理是平臺對業(yè)務數(shù)據(jù)進行統(tǒng)一組織、集中管理的平臺，數(shù)據(jù)層由數(shù)據(jù)存儲和數(shù)據(jù)處理組件構成。組件是實現(xiàn)特定功能的程序模塊，比如：HDFS組件、MapReduce組件、Hive組件、YARN組件、Hbase組件等。

數(shù)據(jù)總線通過數(shù)據(jù)集成平臺或ETL實現(xiàn)內部模塊之間的數(shù)據(jù)交互。

大數(shù)據(jù)能力平臺

基于上層大數(shù)據(jù)基礎數(shù)據(jù)分析能力，針對不同業(yè)務產(chǎn)品，通過Java、Jobs等技術封裝形成數(shù)據(jù)服務能力組件，包括關鍵詞分析組件、客戶識別組件、標簽產(chǎn)品組件、行為分析組件等。從而為平臺提供數(shù)據(jù)服務能力和平臺服務能力。

大數(shù)據(jù)開放平臺

在數(shù)據(jù)服務能力組件基礎上，對外提供服務能力開放，提供各種訪問設備、外部系統(tǒng)接入的接口，由接入適配構成。它進行交互信息的協(xié)議轉換、路由控制、負載均衡和訪問設備的合法性驗證，完成訪問設備、外部系統(tǒng)與平臺系統(tǒng)的接口適配。

大數(shù)據(jù)管理平臺

大數(shù)據(jù)管理平臺是大數(shù)據(jù)能力產(chǎn)品與應用平臺對系統(tǒng)進行統(tǒng)一管理、監(jiān)控的平臺，管理層由系統(tǒng)安全、數(shù)據(jù)質量、作業(yè)調度、運維監(jiān)控等構成，通過建立網(wǎng)絡安全、數(shù)據(jù)隱私保護、調度機制、運維監(jiān)控管理等為平臺提供管理保障措施。

大數(shù)據(jù)應用平臺是大數(shù)據(jù)能力產(chǎn)品與應用平臺實現(xiàn)應用功能的平臺，可通過標準化服務接口訪問，由一個或多個組件按一定的規(guī)則和標準封裝而成，既是展示邏輯調用的對象，也是組成業(yè)務流程的實體，也可調用服務來完成業(yè)務功能。

信息化建設是一個逐步推進和不斷完善的過程，不可能一蹴而就，尤其是作為企業(yè)架構之一的大數(shù)據(jù)支撐平臺建設，即要有高瞻遠矚的戰(zhàn)略眼光，又要有腳踏實地的務實精神，把企業(yè)的當前需求與長遠規(guī)劃發(fā)展結合起來，突出重點、分步實施，實現(xiàn)對精確管理和品牌經(jīng)營的有力支撐。

想了解更多IT資訊，請訪問中培偉業(yè)官網(wǎng)：中培偉業(yè)