上期我們講到了高校數(shù)據(jù)中臺(tái)“要不要遷移”和“怎么遷移”的問題，因?yàn)槠拗?，“怎么遷移”只介紹到了數(shù)據(jù)湖集成的部分。其實(shí)數(shù)據(jù)湖集成的關(guān)鍵在于梳理業(yè)務(wù)系統(tǒng)入湖的需求（范圍要求、實(shí)時(shí)性要求）和按需進(jìn)行入湖策略的設(shè)置，這部分因?yàn)樵陂_發(fā)過程中我們就把復(fù)雜的代碼過程轉(zhuǎn)換成了可供選擇的配置項(xiàng)，所以操作起來難度應(yīng)該不大。 之后的標(biāo)準(zhǔn)層遷移、下行接口遷移、質(zhì)量規(guī)則遷移和A尸l接口遷移因?yàn)樯婕暗酱a標(biāo)準(zhǔn)&數(shù)…

雄關(guān)漫道真如鐵，而今邁步從頭越 高校數(shù)據(jù)治理是一項(xiàng)長期而龐雜的工程，早期由于建設(shè)經(jīng)驗(yàn)不足，大家普遍經(jīng)歷了共享數(shù)據(jù)庫、主數(shù)據(jù)平臺(tái)、大數(shù)據(jù)平臺(tái)等“邊走邊建”的過程，因?yàn)榻ㄔO(shè)年代不同、承建廠商不同、數(shù)據(jù)庫類型不同、代碼標(biāo)準(zhǔn)不一造成了數(shù)據(jù)治理“看似全、實(shí)則亂”的局面。 “數(shù)據(jù)中臺(tái)”因其高度規(guī)范集約的特性大火之后，很多高校便面臨了新的選擇困境：數(shù)據(jù)中臺(tái)要不要遷移升級(jí)？怎么遷移？ 對于“要不要升級(jí)”這個(gè)問題，…

上一篇文章中我們介紹了高校信息化共享數(shù)據(jù)平臺(tái)的相關(guān)情況，本來應(yīng)該要繼續(xù)聊大數(shù)據(jù)平臺(tái)了，不過今天我想先插播一則“廣告”，你、你、你還記得“大明湖畔的高基報(bào)表”嗎？為什么插播？因?yàn)樵诠蚕頂?shù)據(jù)平臺(tái)、主數(shù)據(jù)平臺(tái)的建設(shè)階段，前端的數(shù)據(jù)應(yīng)用很難繞開“報(bào)表”二字，報(bào)表，尤其是高基報(bào)表，是那個(gè)時(shí)代的印記。 報(bào)表作為數(shù)據(jù)倉庫最為經(jīng)典的應(yīng)用場景，到目前為止也是各行各業(yè)最重要數(shù)據(jù)價(jià)值輸出形式之一。不過報(bào)表這個(gè)詞應(yīng)該拆開…

共享數(shù)據(jù)平臺(tái)&主數(shù)據(jù)平臺(tái) 在DataV數(shù)據(jù)之路文章連載第一篇關(guān)于數(shù)據(jù)倉庫基礎(chǔ)概念介紹的文章中，我們提到數(shù)據(jù)倉庫的理論自始至終貫穿了數(shù)據(jù)技術(shù)的整個(gè)發(fā)展脈絡(luò)。在教育信息化領(lǐng)域中，數(shù)據(jù)倉庫的落地和演變過程也很有既視感。 啟蒙階段：共享數(shù)據(jù)平臺(tái) 在2000年-2010年（粗略估計(jì)，不要抬杠），教育信息化整體處于啟蒙階段，被廣泛認(rèn)可的建設(shè)方針是“硬件集群、數(shù)據(jù)集成、應(yīng)用集中”，在這樣的指導(dǎo)方針下，教…

南京迪塔維數(shù)據(jù)技術(shù)有限公司，以數(shù)據(jù)之路為初心，自2014年成立以來，經(jīng)過7年多的深耕，公司秉承著“孜孜問道，數(shù)業(yè)專攻”的理念，在數(shù)據(jù)技術(shù)上不斷顛覆力求精進(jìn)，在產(chǎn)品理念上也堅(jiān)持了 “客戶定義產(chǎn)品”的發(fā)展思路，逐步在數(shù)據(jù)技術(shù)和教育行業(yè)的交叉口站穩(wěn)腳跟。           經(jīng)過7年的發(fā)展與技術(shù)積累，公司在數(shù)據(jù)技術(shù)和數(shù)據(jù)相關(guān)產(chǎn)品上做了大量的創(chuàng)新和迭代，公…

首先，簡單了解一下大數(shù)據(jù)時(shí)代下的數(shù)據(jù)檢索。 在如今的大數(shù)據(jù)時(shí)代，信息量爆炸、數(shù)據(jù)增長迅猛，如何在動(dòng)輒上T、上P的數(shù)據(jù)量上實(shí)現(xiàn)信息的快速查詢檢索成為大數(shù)據(jù)技術(shù)中的核心命題之一。 在大數(shù)據(jù)的技術(shù)體系下信息管理部門一般會(huì)選擇使用主流的開源組件ELK作為非結(jié)構(gòu)數(shù)據(jù)的查詢檢索渠道，ELK由Elasticsearch、Logstash和Kibana三部分組件組成； Elasticsearch，簡稱ES，是個(gè)開…

工業(yè)產(chǎn)品未來銷售情況預(yù)測模型以過去數(shù)年的歷史銷售數(shù)據(jù)為支撐，數(shù)據(jù)涉及客戶訂單、原材料、生產(chǎn)、規(guī)程、質(zhì)量、銷售、成本、收益等多種類型，這些數(shù)據(jù)忠實(shí)記錄了公司核心業(yè)務(wù)的成長發(fā)展歷程。采用大數(shù)據(jù)分析技術(shù)，利用這些數(shù)據(jù)進(jìn)行深度挖掘利用，形成輔助決策據(jù)，幫助公司決策層進(jìn)行產(chǎn)品產(chǎn)能控制、生產(chǎn)資源規(guī)劃、成本預(yù)測控制和市場開拓發(fā)展。 主要的實(shí)施工具以R語言為主統(tǒng)計(jì)分析工具，方法采用合理銷售預(yù)測算法并依據(jù)市場經(jīng)濟(jì)和…

我是IT從業(yè)者，俗稱“程序猿”，而且大學(xué)學(xué)計(jì)算機(jī)專業(yè)也是自己尋死覓活一定要讀的專業(yè)，可以說從一開始就是我自己的選擇，機(jī)緣巧合之下一直從事數(shù)據(jù)技術(shù)相關(guān)的工作，尤其是這幾年大數(shù)據(jù)技術(shù)、概念、名詞風(fēng)起云涌后，我作為站在風(fēng)口的豬，雖然沒有被吹上天，不過也僥幸的一直活下來了。 然而，個(gè)人認(rèn)為最近幾年大數(shù)據(jù)概念幾乎充斥了所有領(lǐng)域，就像當(dāng)年的云計(jì)算一樣一樣的，真正落地的反而沒多少。 從技術(shù)上來說，過往做互聯(lián)網(wǎng)信…

數(shù)據(jù)的操作語言是SQL，因此很多工具的開發(fā)目標(biāo)自然就是能夠在Hadoop上使用SQL。這些工具有些只是在MapReduce之上做了簡單的包裝，有些則是在HDFS之上實(shí)現(xiàn)了完整的數(shù)據(jù)倉庫，而有些則介于這兩者之間。這樣的工具有很多，來自于Shoutlet的軟件開發(fā)工程師Matthew Rathbone最近發(fā)表了一篇文章，他列舉了一些常用的工具并對各個(gè)工具的應(yīng)用場景和未來進(jìn)行了分析。Apache Hiv…

原文作者：曹格 ??http://blog.sina.com.cn/caojiangppt 在傳遞信息時(shí)，有數(shù)據(jù)比沒數(shù)據(jù)更有說服力，而一旦有了數(shù)據(jù)，那就牽涉到如何呈現(xiàn)。PowerPoint為我們提供了諸多圖表，它們在一定程度上已經(jīng)可以滿足我們平時(shí)需求。當(dāng)然，若能夠有更加簡潔清晰的選擇（并且又不會(huì)增加太多的負(fù)擔(dān)），我們又何樂而不為。 （一）單一數(shù)據(jù)的表示 有些時(shí)候（演講類居多），我們只用提供一個(gè)最重…