談到數(shù)據(jù)倉庫這個詞，專業(yè)人士應(yīng)該了解數(shù)據(jù)倉庫的歷史悠久，現(xiàn)在大多數(shù)企業(yè)建立各種應(yīng)用程序來自動化它的基本業(yè)務(wù)流程，隨著這些業(yè)務(wù)流程各自發(fā)展，也就從中產(chǎn)生多個版本的數(shù)據(jù)。過去的時候，如果我們想了解不同產(chǎn)品線、不同地區(qū)銷售收入和利潤率，如果數(shù)據(jù)不一致的話，是非常讓人頭疼的事情。數(shù)據(jù)倉庫就是從各種復(fù)雜系統(tǒng)中復(fù)制出關(guān)鍵數(shù)據(jù)，解決那些不一致的問題，還能生成易于分析的非常干凈的數(shù)據(jù)集，一般這個過程是定期運用程序來完成的。

為確保數(shù)據(jù)倉庫環(huán)境正常運行，這里需要很多組件。它需要數(shù)據(jù)提取程序，并且數(shù)據(jù)倉庫必須使用其自己的架構(gòu)進行設(shè)計。現(xiàn)代數(shù)據(jù)倉庫還需要其他程序，以通過業(yè)務(wù)規(guī)則解析背景數(shù)據(jù)的競爭版本，從而決定數(shù)據(jù)主版本的層次結(jié)構(gòu)。

這里的歷史性挑戰(zhàn)是，數(shù)據(jù)倉庫類似于在不斷變化的底層操作系統(tǒng)上構(gòu)建的建筑物。當(dāng)這些系統(tǒng)發(fā)生重大變化時(例如重組或業(yè)務(wù)收購)，數(shù)據(jù)倉庫的結(jié)構(gòu)需要更改以反映基礎(chǔ)業(yè)務(wù)變化。如果業(yè)務(wù)變化的步伐過快，則數(shù)據(jù)倉庫可能會在一段時間內(nèi)變得不可靠，從而破壞業(yè)務(wù)人員對它的信心。

為解決這個問題，數(shù)據(jù)集市應(yīng)運而生。但是，除非數(shù)據(jù)集市與數(shù)據(jù)倉庫中的數(shù)據(jù)同步，否則它們可能會與之競爭并產(chǎn)生多種數(shù)據(jù)版本。為了解決這種不穩(wěn)定性，開始出現(xiàn)各種數(shù)據(jù)倉庫設(shè)計，其中包括星形模式、雪花模式，以及技術(shù)專家Bill Inmon和Ralph Kimball提倡的其他模式。

隨后主數(shù)據(jù)管理領(lǐng)域開始出現(xiàn)，企業(yè)希望收集越來越復(fù)雜的業(yè)務(wù)背景數(shù)據(jù)集，這些業(yè)務(wù)背景數(shù)據(jù)通常具有可與數(shù)據(jù)倉庫協(xié)同工作的獨立數(shù)據(jù)庫。爭用不同版本的產(chǎn)品層次結(jié)構(gòu)需要業(yè)務(wù)投入，從而使數(shù)據(jù)倉庫中的數(shù)據(jù)治理提供流程，以對此類主數(shù)據(jù)進行業(yè)務(wù)控制。

除龐大的數(shù)據(jù)量外，增加的復(fù)雜性也是一個問題。最終我們開始看到更加復(fù)雜的查詢和分析工具，它們本身通常需要自己的元數(shù)據(jù)層來表示數(shù)據(jù)倉庫的業(yè)務(wù)視圖。同時，提取、轉(zhuǎn)換和加載(ETL)數(shù)據(jù)催生數(shù)據(jù)集成工具行業(yè)的發(fā)展。這些工具使流程自動化，并擁有自己的專有腳本，從而在數(shù)據(jù)倉庫環(huán)境中添加需要處理的其他組件。

數(shù)據(jù)倉庫現(xiàn)代化，多年以來，人們一直在嘗試整理企業(yè)數(shù)據(jù)倉庫環(huán)境的組件。為了現(xiàn)代化日益復(fù)雜的數(shù)據(jù)倉庫，供應(yīng)商嘗試生產(chǎn)預(yù)構(gòu)建的模板和數(shù)據(jù)倉庫生成器，這些示例包括Idera、Magnitude和Attunity。盡管在某些用例中取得成功，但這些都沒有取得市場主導(dǎo)地位。此外，DevOps和DataOps致力于幫助數(shù)據(jù)倉庫模式演變，以及使數(shù)據(jù)倉庫環(huán)境以可控方式運行的其他方面。

盡管創(chuàng)新供應(yīng)商付出巨大的努力，但數(shù)據(jù)倉庫現(xiàn)代化并沒有捷徑。大型企業(yè)已經(jīng)在企業(yè)數(shù)據(jù)倉庫及其相關(guān)環(huán)境中投入大量資金，但龐大的流程、程序、腳本和模式仍然是前進的重大障礙。還有一個障礙是克服數(shù)據(jù)庫管理員和IT員工當(dāng)前做法的慣性。由于企業(yè)大部分分析都依賴于數(shù)據(jù)倉庫，因此很難進行遷移。重組運營數(shù)據(jù)倉庫環(huán)境就像機械師試圖為行駛中的汽車升級發(fā)動機升級。

以上我們介紹了數(shù)據(jù)倉庫和它的未來，現(xiàn)在數(shù)據(jù)倉庫自動化工具以及現(xiàn)代DataOps市場正在盡最大可能幫助企業(yè)實現(xiàn)現(xiàn)代化其數(shù)據(jù)倉庫環(huán)境。如果您想了解更多相關(guān)信息，請您及時關(guān)注中培偉業(yè)。