10月27-28日，由高校畢業(yè)生就業(yè)協(xié)會主辦，江南大學、江蘇信息職業(yè)技術學院等承辦的高校畢業(yè)生就業(yè)協(xié)會教育數(shù)字化服務工作委員會暨高校教育數(shù)字化轉型與人才培養(yǎng)論壇在江蘇省無錫市圓滿召開，迪塔維作為支持單位受邀出席。席間，迪小數(shù)發(fā)現(xiàn)很多老師對我們的“職業(yè)院校大數(shù)據(jù)中心”建設方案非常感興趣，所以本期話題，我們就本著探究與學習的態(tài)度，與大家一起聊聊《全國職業(yè)院校大數(shù)據(jù)中心建設指南》（以下簡稱“指南”）中的大數(shù)據(jù)中心怎么建。
說起“指南”，今年6月份，教育部教育管理信息中心印發(fā)《職業(yè)教育信息化標桿學校建設指南》、《職業(yè)教育信息化標桿學校監(jiān)測指標》、《職業(yè)院校大數(shù)據(jù)中心建設指南》系列指導文件，目標到2025年，建設300所左右數(shù)字資源豐富、功能應用強大、賦能效果良好、示范引領突出的全國性標桿校，帶動建設1000所左右區(qū)域性標桿校，引導職業(yè)院校進一步豐富拓展師生發(fā)展、教育教學、實習實訓、管理服務等方面的應用場景，以數(shù)字化賦能職業(yè)院校教學模式深度變革，促進數(shù)字技術與教育教學深度融合，帶動職業(yè)教育數(shù)字化水平整體提升，服務數(shù)字時代高素質技術技能人才培養(yǎng)。
職業(yè)院校數(shù)字校園建設試點是標桿校建設的重要基礎。數(shù)字校園試點工作中，建設校本大數(shù)據(jù)中心、對接院校中臺、參與國家智慧職教平臺資源與應用建設等任務，既是參與標桿校建設的基礎條件，也是標桿校建設任務的重要組成。“指南”是職業(yè)院校校本大數(shù)據(jù)中心建設、應用、運維工作的規(guī)范和指導。簡而言之，建設標桿校，需要根據(jù)“指南”要求，不斷完善校本數(shù)據(jù)中心。
其實看到“指南”，我們也是驚喜且興奮的，因為學校能夠知道大數(shù)據(jù)中心怎么建，我們也能看到自己的產(chǎn)品與“國家隊”的差距。欣慰的是，逐條對標后，我們發(fā)現(xiàn)產(chǎn)品與“指南”要求高度吻合，而“指南”中對專有名詞的釋義更加權威、合理，這也為我們后續(xù)產(chǎn)品的優(yōu)化提供了明確的方向。
一、“What to do？”/
學校大數(shù)據(jù)中心建設主要包括頂層設計、數(shù)據(jù)標準與數(shù)據(jù)架構設計、數(shù)據(jù)質量與安全管理、數(shù)據(jù)應用、大數(shù)據(jù)平臺建設、全國職業(yè)教育智慧大腦院校中臺對接等內容。我們的理解，頂層設計是策略，標準與架構設計是核心，質量與安全是保障，應用是路徑，大數(shù)據(jù)平臺是工具，智慧大腦對接是前提。
二、“How to do？”/
“指南”中“大數(shù)據(jù)中心平臺技術框架”章節(jié)詳細描述了服務大數(shù)據(jù)中心建設所需的技術結構和工具（如圖所示），采用分層結構，包括數(shù)據(jù)源層、數(shù)據(jù)匯聚層、數(shù)據(jù)存儲與管理層、數(shù)據(jù)分析與開發(fā)層、數(shù)據(jù)應用層、以及數(shù)據(jù)治理監(jiān)控層。所謂“工欲善其事，必先利其器”，數(shù)據(jù)為基，數(shù)鏈為線，治用并舉，方為“智”治。
▲?大數(shù)據(jù)中心平臺工具框架圖
▲ 迪塔維大數(shù)據(jù)中心總體架構圖
我們一層一層來看：
數(shù)據(jù)源
數(shù)據(jù)源從類型上可分為結構化數(shù)據(jù)、半結構化數(shù)據(jù)及非結構化數(shù)據(jù)；從來源上可分為校內數(shù)據(jù)（業(yè)務數(shù)據(jù)）及校外數(shù)據(jù)（互聯(lián)網(wǎng)數(shù)據(jù)）。隨著物聯(lián)網(wǎng)及融媒體技術的蓬勃發(fā)展，教學課件、安防視頻、人車進出照片、OA發(fā)文的各類附件文檔等非結構化數(shù)據(jù)和校外互聯(lián)網(wǎng)數(shù)據(jù)以日益增長的態(tài)勢，成為數(shù)據(jù)治理、數(shù)據(jù)分析的一大重要組成，同樣大數(shù)據(jù)中心也要將此類數(shù)據(jù)納入治理口徑。
數(shù)據(jù)匯聚
“數(shù)據(jù)匯聚作為底層基礎支撐性服務，是大數(shù)據(jù)環(huán)境的基礎組成部分。通過Datax、Kettle等主流ETL工具對學校的多源異構數(shù)據(jù)匯聚需考慮不同類型（結構化、半結構化、非結構化）、不同集成策略（定期采集、實時采集）的數(shù)據(jù)匯聚方案，并支持數(shù)據(jù)的預處理，為大數(shù)據(jù)環(huán)境提供原始數(shù)據(jù)支撐?！?/em>
Datax、Kettle等工具雖主流，但操作繁瑣，實時集成需要外掛其他引擎，依然屬于傳統(tǒng)的ETL模式，我們的破局之法是：通過流批一體數(shù)據(jù)集成引擎，實現(xiàn)各類異構數(shù)據(jù)源（包括非結構化數(shù)據(jù)）的統(tǒng)一匯聚，通過實時湖倉完成數(shù)據(jù)分層建設，實現(xiàn)標準化數(shù)據(jù)的清洗轉換等處理過程。只要源端滿足條件，流處理引擎就可以適配各類主流關系型數(shù)據(jù)庫的實時同步，將CDC（變化數(shù)據(jù)捕捉）的制約條件降至最低，支持邏輯主鍵、物化視圖、BlOB大字段的實時同步，并提供集成策略推薦。通過可視化的配置界面，將繁瑣的操作黑盒化，降低數(shù)據(jù)匯聚作業(yè)的開發(fā)難度。
另外，批處理又保留了ETL工具強大的批量計算及數(shù)據(jù)清洗轉換能力，基于統(tǒng)一調度實現(xiàn)各類集成任務的在線編排和調度，與流處理自由切換，即“流批一體”，為每個高校的數(shù)據(jù)匯聚場景適配最優(yōu)的數(shù)據(jù)同步方案。
數(shù)據(jù)存儲與管理
“數(shù)據(jù)存儲與管理層是大數(shù)據(jù)處理環(huán)境的核心，它存儲由數(shù)據(jù)采集層采集回來的各類數(shù)據(jù)和數(shù)據(jù)治理后的各個層次的數(shù)據(jù)，并為上層應用提供數(shù)據(jù)處理的能力。” 顯然，這是大數(shù)據(jù)中心的核心所在。大數(shù)據(jù)底座支撐大數(shù)據(jù)中心數(shù)據(jù)存儲、匯聚、交換、傳輸、計算的全過程，其性能和架構將直接影響大數(shù)據(jù)環(huán)境的運行。
迪塔維大數(shù)據(jù)底座搭載自研流批一體集成引擎、分布式湖倉、流式數(shù)據(jù)傳輸Kafka集群等內置組件，對時效性、穩(wěn)定性、擴展性和性能進行全面提升，分布式、高容錯、高穩(wěn)定，數(shù)據(jù)存儲體系足夠健壯，同時能為用戶提供完整的大數(shù)據(jù)Hadoop生態(tài)等技術組件，便于擴展數(shù)據(jù)存儲、計算、調度、共享等延伸需求。
▲ 數(shù)據(jù)存儲與管理邏輯架構圖
從數(shù)據(jù)存儲架構劃分上來說，我們把數(shù)據(jù)實體分為數(shù)據(jù)源層、貼源層數(shù)據(jù)湖（ODS）、數(shù)據(jù)倉庫標準層（DWD）和數(shù)據(jù)倉庫應用層（ADS）四大部分，數(shù)據(jù)源通過實時入湖操作1:1復制進入貼源層，經(jīng)對標、清洗、脫敏后進入數(shù)據(jù)倉庫標準層，圍繞學?；A管理范疇劃分主題域，應用層則以標準層為基礎，構建命名規(guī)范、口徑一致的數(shù)據(jù)模型及指標，為上層數(shù)據(jù)應用輸出主題、指標模型。本存儲架構與“指南”在“數(shù)據(jù)架構設計”章節(jié)提出的數(shù)據(jù)貼源層（ODS）、數(shù)據(jù)倉庫層（DW）和數(shù)據(jù)應用層（ADS）三層分布完全吻合。
數(shù)據(jù)分析與開發(fā)
“數(shù)據(jù)分析與開發(fā)層提供對數(shù)據(jù)的探查與自主分析和圖形化的數(shù)據(jù)開發(fā)。”?我們通過可視化拖拽方式實現(xiàn)數(shù)據(jù)實時集成、實時計算、腳本開發(fā)（SQL、SHELL、PYTHON）、算法開發(fā)，為深入挖掘數(shù)據(jù)要素潛力，我們還提供了一個支持R語言和Python語言編寫的Web應用，可以在線創(chuàng)建、編譯、運行、共享代碼，實現(xiàn)深層次數(shù)據(jù)清洗轉換、數(shù)值模擬、統(tǒng)計建模、挖掘算法功能，幫助學校降低數(shù)據(jù)開發(fā)門檻，提高開發(fā)效率。支持基礎算法原子封裝，通過可視化建模過程，實現(xiàn)拖拽式數(shù)據(jù)智能分析與挖掘工作，發(fā)掘數(shù)據(jù)內在關聯(lián)關系，深挖數(shù)據(jù)資產(chǎn)潛在價值，支持預警類、畫像類應用精準化助力人才培養(yǎng)、主動關懷。
▲ 流計算可視化拖拽配置
數(shù)據(jù)應用
數(shù)據(jù)應用層是面向最終用戶劃分的，分為數(shù)據(jù)開放共享和數(shù)據(jù)可視化兩部分。我們在數(shù)據(jù)開放模塊提供了全場景、高安全的數(shù)據(jù)開放與共享接口開發(fā)注冊及監(jiān)控能力，圍繞數(shù)據(jù)資產(chǎn)服務的“開發(fā)-發(fā)布-監(jiān)控”流程，使數(shù)據(jù)資源共享更加體系化、流程化。另外，除要求的API接口形式之外，我們還提供在線查詢、文件下載、視圖開放共四類開放形式。
數(shù)據(jù)可視化作為最直觀可見的數(shù)據(jù)應用場景，一直是各路廠商“卷技術、秀實力”的主戰(zhàn)場。我們不敢保證技術能力是最頂尖的，但是對于高校數(shù)據(jù)可視化場景下常用的組件、指標非常了解，多年實施經(jīng)驗也積累了豐富的可視化模板，可按需構建領導駕駛艙、主題看板、移動端數(shù)據(jù)報告、聯(lián)屏IOC等可視化場景。結合流計算能力，大屏還可實時呈現(xiàn)數(shù)據(jù)同步、數(shù)據(jù)統(tǒng)計效果。
數(shù)據(jù)治理監(jiān)控
數(shù)據(jù)治理監(jiān)控層貫穿數(shù)據(jù)治理全過程，“指南”中重點提及了數(shù)據(jù)質量監(jiān)控、安全監(jiān)控和需求監(jiān)控三個方面。我們的想法是對數(shù)據(jù)的全生命周期和使用痕跡都要形成全面的監(jiān)控和自動化追溯，數(shù)據(jù)從產(chǎn)生到消亡的全過程可記錄，從源頭到終端的所有轉換過程可追蹤，實現(xiàn)鏈路式數(shù)據(jù)管理體系，即“全鏈路體系”。所以我們的全鏈路監(jiān)控中心實現(xiàn)了包括對數(shù)據(jù)集成過程、數(shù)據(jù)資源建設情況、數(shù)據(jù)質量及反饋情況、數(shù)據(jù)后臺實體空間運行情況、數(shù)據(jù)開放API訪問情況、數(shù)據(jù)血緣及數(shù)據(jù)應用、數(shù)據(jù)影響、運行狀況等的監(jiān)控。同時，監(jiān)控中心還伴有預警功能，可對異常任務提醒及時關注。