? ? ? ? 數據集成是指將來源于不同系統(tǒng)的數據組合在一起，供業(yè)務用戶研究不同的行業(yè)行為及客戶行為的數據處理方式。在數據集成應用早期，數據僅限于交易系統(tǒng)及其應用。業(yè)務決策的制定以決策平臺為指導，而有限的數據集提供了創(chuàng)建決策平臺的基礎。

數據容量與數據類型在過去三十年里大幅增長，數據倉庫技術從無到有，基礎架構和技術的發(fā)展?jié)M足了分析和數據存儲需求。這一切徹底改變了數據集成的前景。

傳統(tǒng)數據集成技術主要關注于架構和相關編程模型的ETL、ELT、CDC和EAI類型。然而，在大數據環(huán)境里，這些技術需要根據規(guī)模和處理復雜度等需求進行修改，其中包括需要處理的數據格式。實現大數據處理需要兩個步驟。第一步是實現數據驅動的架構，其中包括數據處理的分析和設計。第二步是物理架構實現，我們將在下面的章節(jié)介紹這個步驟。

數據驅動的集成

在建造下一代數據倉庫的技術方法中，企業(yè)中所有數據首先會根據數據類型進行分類，也會考慮到數據本身的性質及其相關的處理需求。數據處理過程將會用到內置在處理邏輯中并且整合到一系列編程流程中的業(yè)務規(guī)則，數據處理會使用到企業(yè)元數據、MDM和語義技術（分詞技術）等。

圖10.3顯示了各類數據的入口數據處理過程。這個模型首先基于數據的格式和結構劃分數據類型，然后再進行ETL、ELT、CDC或文本處理技術中各個層次的規(guī)則處理。下面，讓我們來分析一下數據集成架構及其優(yōu)點。

圖10.3

數據分類

如圖10.3所示，數據可以粗略地劃分為以下分類：

非結構化數據。這個大分類包括：

半結構化數據。其中包括電子郵件、演示文稿、數學模型、圖形和地理數據。

架構

在確定和整理好不同的數據類型之后，就可以清晰確定各種數據特征——包括數據類型、關聯(lián)的元數據、可以標識為主數據元素的重要數據元素、數據復雜度及擁有和管理數據的業(yè)務用戶。

工作負載

處理大數據的最大需求是前面章節(jié)所介紹的工作負載管理。

有了數據架構和分類，我們就可以分配可以執(zhí)行該類數據工作負載需求的基礎架構。

我們可以根據數據容量和數據延遲時間將工作負載大體分成4類（圖10.4）。然后，我們再根據類別將數據分配到物理基礎架構層進行處理。該管理方法可以為數據倉庫的各個部分創(chuàng)建一種動態(tài)可擴展需求，它們可以高效利用當前及未來的新基礎方法。在這個時候，一定要注意的關鍵問題是要保持處理邏輯的靈活性，使它能夠在不同的物理基礎架構組件上發(fā)揮作用，因為數據是根據處理緊迫性進行分類的，這樣相同的數據就可能會被歸類到不同的工作負載上。

工作負載架構將進一步決定混合工作負載管理的條件，來自不同工作負載的數據會一同處理。

例如，通常我們只需要在一個環(huán)境中處理一種數據及其負載，如果將高容量低延遲數據和低容量高延遲數據放在一起處理，數據處理環(huán)境就會面臨多樣化壓力。同時發(fā)生或高頻的用戶查詢和數據加載會進一步加大數據處理的復雜性，情況可能會很快失去控制，然后影響整體性能。如果一個基礎架構同時處理大數據和傳統(tǒng)數據，再加上這些復雜性，那么問題會更加嚴重。

劃分工作負載的目標是確定數據處理的復雜性，以及如何降低下一代數據倉庫的基礎架構設計的風險。