南京迪塔維數(shù)據技術有限公司，以數(shù)據之路為初心，自2014年成立以來，經過7年多的深耕，公司秉承著“孜孜問道，數(shù)業(yè)專攻”的理念，在數(shù)據技術上不斷顛覆力求精進，在產品理念上也堅持了 “客戶定義產品”的發(fā)展思路，逐步在數(shù)據技術和教育行業(yè)的交叉口站穩(wěn)腳跟。
在解決方案正式發(fā)布前，我們將多年來積累的理念與解決方案進行分享，歡迎轉發(fā)、關注。本文作為系列文章的開篇，首先重點介紹數(shù)據倉庫技術相關架構、概念和組成。
概念解讀
01
數(shù)據倉庫
目前數(shù)據倉庫的主流定義是數(shù)據倉庫之父Bill Inmon在1991年出版的《Building the Data Warehouse》一書中所提出的。
數(shù)據倉庫是一個面向主題的（Subject Oriented）、集成的（Integrate）、相對穩(wěn)定的（Non-Volatile）、反映歷史變化（Time Variant）的數(shù)據集合，用于支持管理決策。
根據定義，我們逐條解讀一下數(shù)據倉庫的特點如下：
面向主題：數(shù)據倉庫中的數(shù)據按照主題域進行組織、存儲，非嚴格第三范式結構。
集成的：分散的數(shù)據經過抽取、清洗后，經過系統(tǒng)加工、匯總和整理后，消除源數(shù)據的不一致性，形成整體的全局的信息。
相對穩(wěn)定的：數(shù)據主要應用數(shù)據查詢、分析、輔助決策類應用，進入倉庫的數(shù)據一般會長期保存、相對穩(wěn)定。
反應歷史變化：包含歷史信息（常用的數(shù)據切片、快照及數(shù)據拉鏈技術），歷史數(shù)據可追溯。
看到上述的特征大家會發(fā)現(xiàn)，數(shù)據倉庫的特點也正是目前數(shù)據中臺和數(shù)據治理的核心建設目標。
02
數(shù)倉組成
數(shù)據倉庫結構包含：
基礎數(shù)據存儲，主要特點支持海量數(shù)據存儲，支持快速檢索。
數(shù)據集成工具，主要是ETL工具，以T+1的周期性同步、CDC增量同步、觸發(fā)式實時同步為主，數(shù)據源最早定義為關系型數(shù)據庫。
元數(shù)據，數(shù)據倉庫建模以星型模型為主，事實表+維表作為核心存儲結構，多表之間星型或者雪花型結構延展。表模型數(shù)據、描述信息以元數(shù)據的方式抽象重構。
可視化分析工具，主要是以T+1報表的形式，將數(shù)據倉庫中的數(shù)據進行可視化呈現(xiàn)，例如經典的28分析、庫存周轉率分析、商品關聯(lián)銷售分析等。
以上作為數(shù)據倉庫的基礎組成部分，在數(shù)據存儲方面，數(shù)倉又逐步形成了一直影響至今的幾個概念：
數(shù)據集市：以一個業(yè)務場景或應用域為邊界，構建出一個數(shù)倉子集，數(shù)據經過預計算后進行存儲。
ODS：用來存儲來自各業(yè)務系統(tǒng)的原始數(shù)據，是數(shù)據倉庫的前置庫，主要用于業(yè)務數(shù)據備份及減少ETL的復雜度。
03
數(shù)倉的沿革
隨著技術的沿革，我們可以發(fā)現(xiàn)，數(shù)據倉庫到大數(shù)據平臺再到數(shù)據中臺，各個基本架構依然存在，只是名稱和功能外延發(fā)生了擴展。舉例來說：
ODS從最早的數(shù)倉前置庫，逐步演進到現(xiàn)階段的數(shù)據湖，貼源層這樣的概念，數(shù)據內容從單純的關系型數(shù)據，逐步擴展到日志、信號數(shù)據，音視頻數(shù)據、圖文數(shù)據等，但是其核心作用依然與ODS的定義保持一致。
再比如說數(shù)據集市，在現(xiàn)在的中臺架構中，數(shù)據集市逐步演變?yōu)榱藢ｎ}庫、主題庫的概念，但是本質依然是為數(shù)據價值萃取，數(shù)據分析可視化等目標服務。
總結來說：
數(shù)據倉庫從提出概念到落地再到成熟，時間跨度上和Oracle從非主流到一統(tǒng)江湖的時間基本一致，在2010年左右數(shù)據倉庫的建設理念在企業(yè)、政府、金融等領域不斷落地、更新迭代，達到架構發(fā)展的頂峰時期。
隨著Hadoop開源大數(shù)據架構的推出，數(shù)據倉庫理念的統(tǒng)治地位也和 Oracle數(shù)據庫的地位一樣，逐漸開始進入了下行階段。
然而，無論是大數(shù)據平臺、數(shù)據中臺還是數(shù)據庫云都沒有在本質上顛覆數(shù)據倉庫架構，數(shù)據倉庫的核心理念依然存在于各個最新概念當中，不得不承認其思想和架構的經典。
迪塔維公司在創(chuàng)業(yè)伊始，有幸參與蘇州市國稅局的數(shù)據倉庫架構體系建設，截止到目前為止公司也一直在參與江蘇省稅務局的數(shù)據倉庫建設體系。
基礎架構圖如圖所示
經過多年的發(fā)展，稅務數(shù)據倉庫體系的基礎依然屹立不倒，依然作為目前大數(shù)據風險管理、稅收風險識別等內部業(yè)務的主要支撐平臺。
但是，隨著新興技術的發(fā)展，原有數(shù)據倉庫的核心組成部分已經發(fā)生了一些變化，這與高校信息化行業(yè)中數(shù)據平臺的發(fā)展非常類似。
下一期我們將重點解讀一下數(shù)據倉庫技術在近20年間教育行業(yè)落地中的發(fā)展和變化。
作者：王珂