如題：請不要將數(shù)據(jù)中臺做成BI！
筆者在為企業(yè)做數(shù)據(jù)中臺設計規(guī)劃時，經(jīng)常有客戶這樣叮囑。話里話外都是對“數(shù)據(jù)中臺”滿滿的期待和對“BI”的內(nèi)心的失望！為什么會這樣呢？BI作為IT界“顏值擔當”，那可是一直是一項叱咤風云的數(shù)據(jù)應用技術。曾幾何時，為了一張報表、一個大屏，有多少企業(yè)都愿意為其“豪擲千金”！為什么現(xiàn)在很多企業(yè)又都對其失去了興趣了呢？今天我們一起聊聊這個話題！歡迎留言區(qū)談談您的觀點。
— 01 —
Business Intelligence（商業(yè)智能），簡稱BI。BI一詞最早是由Gartner在1996提出的，Gartner 將商業(yè)智能定義為：描述了一系列的概念和方法，通過應用基于事實的支持系統(tǒng)輔助商業(yè)決策的制定。也有的說BI這個概念，早在1989年 IBM的研究員就開始使用了，他將商業(yè)智能定義為：對事物相互關系的一種理解能力，并依靠這種能力去指導決策，以達到預期的目標。但不論是Gartner提出的還是IBM提出的，不論是1989年還是1996年，總的來說，BI不是一個新事物，而且已經(jīng)有近30年的歷史了。BI為企業(yè)提供了一種迅速分析數(shù)據(jù)的技術和方法，包括收集、管理和分析數(shù)據(jù)，通過將這些數(shù)據(jù)轉化為有用的信息，從而幫助企業(yè)進行決策。可以肯定的是，在過去的30多年里，BI還是在一定程度上發(fā)揮了它的價值的，例如：給領導提供了一些輔助決策的數(shù)據(jù)報表，以及一些漂亮的可視化數(shù)字大屏，等等。隨著數(shù)字化的不斷發(fā)展，人們對數(shù)據(jù)洞察力的期望越來越高，漸漸的人們發(fā)現(xiàn)：不是企業(yè)不再需要BI，而是成功的BI實在太少了。那些原本為領導提供決策的數(shù)據(jù)報表，往往被領導束之高閣，而那些“漂亮的數(shù)字大屏”也淪為了“面子工程”，只有在上級領導視察，或外部單位考察的時候才拿出來“裝裝門面”。說好的“數(shù)據(jù)驅(qū)動”呢？，說好的“幫助企業(yè)做出明智的業(yè)務決策”呢？除了上了一個BI工具，開發(fā)了一套數(shù)據(jù)報表，似乎什么也沒剩下！就這樣，傳統(tǒng)BI項目的失敗率一直居高不下，這讓越來越多的企業(yè)對其失去了信心！
— 02 —
說到“傳統(tǒng)BI的失敗”，90%的人都會想到的是：傳統(tǒng)的數(shù)據(jù)倉庫、數(shù)據(jù)分析技術不能滿足日益增長的客戶用數(shù)需求,企業(yè)應該需要有一個更靈活、更敏捷、更智能的BI工具。的確?！皞鹘y(tǒng)BI工具不好用，在功能、性能方面應對企業(yè)日益增長的數(shù)據(jù)量和用數(shù)需求顯得越來越力不從心”！這確實是一個導致傳統(tǒng)BI項目不好用、沒人用的一個原因。但這還不是傳統(tǒng)BI項目失敗的本質(zhì)原因。根據(jù)筆者多年在數(shù)據(jù)領域的經(jīng)驗和觀察，BI項目之所以失敗，本質(zhì)上概括為以下兩方面原因：很多企業(yè)實施BI項目，都是通過BI領域的供應商去實施的，在既定的項目框架（目標、范圍）下，由供應商負責需求調(diào)研、方案設計、數(shù)據(jù)建模、數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)分析界面開發(fā)等項目全過程。而在這個過程中，企業(yè)作為業(yè)主方參與的深度不足，技術和知識沒有從供應商哪里很好的傳遞下來，從而導致將 BI 項目做成了一個一次性的“工具型項目”。殊不知，數(shù)據(jù)驅(qū)動需要持續(xù)的數(shù)據(jù)運營。企業(yè)的管理和業(yè)務是靈活多變的，缺乏持續(xù)的數(shù)據(jù)運營機制，沒有配套的數(shù)據(jù)分析人員，而只是依靠供應商提供的幾個固定的分析界面、固定的數(shù)據(jù)報表，再加上數(shù)據(jù)更新不及時，這樣的BI 注定是用不起來的。在傳統(tǒng)BI的實施過程中，常常出現(xiàn)一期項目看起來效果不錯，但企業(yè)后續(xù)的新需求、新項目就變得遙遙無期，或者爛尾。這是項目制 BI 固有的頑疾！如果說，將 BI 作為一個“工具型項目”、“項目型項目”去做，由供應商交付項目驗收之后，BI工具就被束之高閣，是傳統(tǒng)BI項目失敗的一個核心原因。而另一個原因就是：沒把 BI 當做一個“項目”去做。大家都知道項目有三個要素：時間、成本和質(zhì)量。而這三個要素傳統(tǒng) BI 項目做的都不好。時間上。業(yè)務需求不明確，業(yè)務與IT之間往往需要來回倒騰、確定需求。當然也存在技術上的延遲問題，導致BI項目無法按計劃及時完成。模糊的需求、技術的延遲，拉長了交付的周期，等需求開發(fā)完了，發(fā)現(xiàn)業(yè)務需求已經(jīng)發(fā)生了變化。成本上。企業(yè)采購機構BI軟件往往需要耗費大量成本，尤其是一些國外的軟件，例如：SAP BO、Oracle BIEE等。另外，BI項目要獲得一個較好的分析結果就需要對數(shù)據(jù)進行有效的處理，缺乏數(shù)據(jù)治理能力的BI項目，往往耗費大量的人工成本，來對臟數(shù)據(jù)清理和大量長尾數(shù)據(jù)的處理，既消耗了大量的成本，又出不來有價值的分析。質(zhì)量上。數(shù)據(jù)的不及時、不完整、不準確是數(shù)據(jù)分析項目最大的問題。另一個問題是：太技術導向，導致業(yè)務與技術之間脫節(jié)，從而使得BI項目的目標偏航，讓 BI 淪為老板看的報表系統(tǒng)而不是當作整個公司數(shù)據(jù)驅(qū)動系統(tǒng)。
— 03 —
數(shù)據(jù)中臺的誕生！
毋庸置疑，數(shù)據(jù)是有價值的，將數(shù)據(jù)作為生產(chǎn)要素，把數(shù)據(jù)比作石油、金礦，其實毫不為過！在如今的數(shù)字化時代，數(shù)據(jù)大爆炸，對于企業(yè)來講，缺少的并不是數(shù)據(jù)，而是如何有效的管理和利用數(shù)據(jù)的手段。事實上，企業(yè)對于數(shù)據(jù)利用的探索一直沒有停止，除了BI、還有數(shù)據(jù)倉庫、數(shù)據(jù)集市、數(shù)據(jù)湖、大數(shù)據(jù)平臺、數(shù)據(jù)中臺等等。經(jīng)過了大量的實踐驗證，當前很多企業(yè)都將期望放在了數(shù)據(jù)中臺上！關于數(shù)據(jù)中臺的概念，網(wǎng)上有很多種不同的說法。筆者在以往的文章中，也有相關數(shù)據(jù)中臺概念的定義。常見的一種定義是：數(shù)據(jù)中臺指數(shù)據(jù)采集交換、共享融合、組織處理、建模分析、管理治理和服務應用于一體的綜合性數(shù)據(jù)能力平臺，在大數(shù)據(jù)生態(tài)中處于承上啟下的功能，提供面向數(shù)據(jù)應用支撐的底座能力。其實這個定義還是太技術化，相比我更喜歡以下這個說法：數(shù)據(jù)中臺是一套“讓企業(yè)的數(shù)據(jù)可持續(xù)用起來”的機制，一種戰(zhàn)略選擇和組織形式，是依據(jù)企業(yè)特有的業(yè)務模式和組織架構，通過有形的產(chǎn)品和實施方法論支撐，構建一套持續(xù)不斷把數(shù)據(jù)變成資產(chǎn)并服務于業(yè)務的機制。數(shù)據(jù)中臺需要具備數(shù)據(jù)匯聚整合、數(shù)據(jù)提純加工、數(shù)據(jù)服務可視化、數(shù)據(jù)價值變現(xiàn) 4個核心能力，讓企業(yè)員工、客戶、伙伴能夠方便地應用數(shù)據(jù)。數(shù)據(jù)中臺是在組織數(shù)字化轉型過程中，對各業(yè)務單元業(yè)務與數(shù)據(jù)的沉淀，構建包括數(shù)據(jù)技術、數(shù)據(jù)治理、數(shù)據(jù)運營等數(shù)據(jù)建設、管理、使用體系，實現(xiàn)數(shù)據(jù)賦能、數(shù)據(jù)驅(qū)動。在企業(yè)的數(shù)據(jù)中臺架構中，BI 屬于數(shù)據(jù)前臺的范疇，提供數(shù)據(jù)分析和可視化能力，是數(shù)據(jù)中臺的用戶對象之一。而數(shù)據(jù)中臺更多是一種統(tǒng)一的數(shù)據(jù)管理架構，它是一種技術和組織的解決方案，可以支持商業(yè)智能（BI）分析，并可以實現(xiàn)數(shù)據(jù)積累，數(shù)據(jù)清洗，數(shù)據(jù)集成，數(shù)據(jù)建模，數(shù)據(jù)可視化等。因此，我們看到業(yè)內(nèi)數(shù)據(jù)中臺解決方案中，常常將BI融合其中，搭配使用。數(shù)據(jù)中臺是從數(shù)據(jù)源獲取數(shù)據(jù)，整合、清洗和統(tǒng)一管理數(shù)據(jù)，然后通過接口服務將數(shù)據(jù)提供給各個系統(tǒng)使用。BI則是從數(shù)據(jù)中臺獲取數(shù)據(jù)，使用報表、圖表等工具，分析和可視化數(shù)據(jù)，為決策者提供支持。對于大型集團公司而言，BI工具可以有多套（要么購買、要么自主開發(fā)），而數(shù)據(jù)中臺一般建議只建設一套。3、數(shù)據(jù)中臺與BI有什么不同點？數(shù)據(jù)中臺與BI 雖然都是數(shù)據(jù)平臺，也有很多類似的地方，但它們本質(zhì)上是兩類不同的數(shù)據(jù)平臺。兩者的主要區(qū)別在于：解決的問題不同：數(shù)據(jù)中臺主要用于收集、存儲、整合和管理不同數(shù)據(jù)源的數(shù)據(jù)，以便更好地支持業(yè)務分析；而BI則是通過分析和可視化數(shù)據(jù)，以找出潛在的問題和機會，從而幫助企業(yè)更好地執(zhí)行決策。技術的架構不同：數(shù)據(jù)中臺主要采用分布式架構，可以支持大規(guī)模的數(shù)據(jù)存儲及計算；而BI主要采用集中式架構，可以支持多維度、高效的數(shù)據(jù)分析。提供的服務不同：數(shù)據(jù)中臺主要提供數(shù)據(jù)資源到數(shù)據(jù)資產(chǎn)和轉化，以及API化（或其他共享方式）的數(shù)據(jù)服務；而BI主要提供數(shù)據(jù)報表、數(shù)據(jù)應用可視化服務。處理的數(shù)據(jù)不同：數(shù)據(jù)中臺的數(shù)據(jù)主要是原始數(shù)據(jù)，例如：原始的日志數(shù)據(jù)、業(yè)務數(shù)據(jù)、IOT數(shù)據(jù)等；而BI的數(shù)據(jù)主要是加工過的數(shù)據(jù)，例如：報表數(shù)據(jù)。面向用戶不同：數(shù)據(jù)中臺主要面向IT部門，IT部門負責搭建和維護數(shù)據(jù)技術平臺，沉淀數(shù)據(jù)資產(chǎn)、并提供數(shù)據(jù)服務；而BI面向業(yè)務部門，負責利用平臺上的數(shù)據(jù)進行分析和挖掘，從而獲取有價值的數(shù)據(jù)洞察、以作出更加明智的決策。4、數(shù)據(jù)中臺與BI有什么相同處？雖然說了數(shù)據(jù)中臺與BI這么多的不同點，但是他們之間很多相同之處，例如：兩者都是數(shù)據(jù)應用的重要工具，都可以幫助企業(yè)更有效地分析數(shù)據(jù)，挖掘有價值的信息。兩者都可以將數(shù)據(jù)從多種來源組織起來，提供直觀的可視化效果，以支持數(shù)據(jù)分析。兩者都可以幫助企業(yè)實現(xiàn)數(shù)據(jù)驅(qū)動，幫助企業(yè)發(fā)現(xiàn)潛在的商機，改善企業(yè)決策制定的過程。另外，還有一個重要的相同點，那就是從實施方法上都屬于業(yè)務驅(qū)動。相對于傳統(tǒng)的數(shù)據(jù)倉庫、大數(shù)據(jù)平臺的技術驅(qū)動，數(shù)據(jù)中臺和BI都是業(yè)務驅(qū)動的，離業(yè)務更近，業(yè)務驅(qū)動的第一出發(fā)點不是數(shù)據(jù)，而是業(yè)務，一開始不用看你系統(tǒng)里面有什么數(shù)據(jù)，而是去解決你的業(yè)務問題需要什么樣的數(shù)據(jù)服務，加速企業(yè)從數(shù)據(jù)到數(shù)據(jù)資產(chǎn)，再到數(shù)據(jù)價值的過程。
— 04 —
數(shù)據(jù)中臺 + BI ，真正實現(xiàn)數(shù)據(jù)驅(qū)動！
數(shù)據(jù)中臺+BI，兩者各司其職確相互融合，并提供一站式數(shù)據(jù)應用，是打通企業(yè)數(shù)據(jù)資產(chǎn)應用的最后一公里的關鍵。數(shù)據(jù)中臺+BI，提供一站式數(shù)據(jù)工作臺，將加速推動企業(yè)的數(shù)據(jù)平民化進程，讓“人人都能成為數(shù)據(jù)分析師，人人都會找數(shù)據(jù)、用數(shù)據(jù)，用數(shù)據(jù)說話、用數(shù)據(jù)決策”，真正實現(xiàn)企業(yè)的“數(shù)據(jù)驅(qū)動”。沒有 數(shù)據(jù)中臺 的 BI，很難實現(xiàn)持續(xù)數(shù)據(jù)運營，而沒有 BI 的數(shù)據(jù)中臺，數(shù)據(jù)價值將無法直觀體現(xiàn)。下面我們看下，如何融合數(shù)據(jù)中臺和BI能力，發(fā)揮數(shù)據(jù)的真正“威力”！1、自上而下，全面盤點企業(yè)數(shù)據(jù)資產(chǎn)自上而下梳理是一種以業(yè)務視角進行數(shù)據(jù)梳理的方式，通過對企業(yè)的相關制度文件、職能體系、業(yè)務流程、業(yè)務單據(jù)等進行全面分析，逐層分解，梳理數(shù)據(jù)資產(chǎn)的三級目錄、業(yè)務屬性和相關管理屬性。三級目錄，即數(shù)據(jù)資產(chǎn)的分類，是按照業(yè)務視角對企業(yè)數(shù)據(jù)資產(chǎn)的梳理和分解，例如：數(shù)據(jù)域-數(shù)據(jù)主題-數(shù)據(jù)子主題-數(shù)據(jù)對象，（注：三級目錄不限于三級，但一般建議控制在五級之內(nèi)為宜）。業(yè)務屬性，即用來描述數(shù)據(jù)資產(chǎn)的業(yè)務元數(shù)據(jù)。如上圖所示，常見業(yè)務屬性包括：所屬數(shù)據(jù)域、數(shù)據(jù)主題等分類屬性，數(shù)據(jù)對象、業(yè)務定義、業(yè)務規(guī)則、敏感等級等。管理屬性，即用來描述數(shù)據(jù)資產(chǎn)的管理、維護、使用相關元數(shù)據(jù)。如上圖所示，常見管理屬性包括：管理部門、管理人員、聯(lián)系方式、更新頻率、最后更新時間、數(shù)據(jù)共享條件等。注：業(yè)務視角下，數(shù)據(jù)資產(chǎn)的管理屬性可能無法全部梳理出來，這就需要在技術盤點環(huán)節(jié)對其進行補充完善。關于數(shù)據(jù)資產(chǎn)的盤點方法，請參考《數(shù)據(jù)資產(chǎn)管理：數(shù)據(jù)資產(chǎn)怎么盤？》2、自下而上，深入分析企業(yè)業(yè)務痛點數(shù)據(jù)治理、數(shù)字化轉型首先是需要消除企業(yè)痛點，這是見效最快的方式。但同時我也發(fā)現(xiàn)，很多企業(yè)最大的痛點是不知道自己的痛點在哪里。對此，筆者給出以下思路供參考：（1）找到那些對業(yè)務影響很深的點，如不解決業(yè)務就無法順暢執(zhí)行；（2）找到那些對業(yè)務影響很廣的點，牽一發(fā)而動全身，做好一點帶動全局；（3）找到那些對業(yè)務有高價值的點，能夠為客戶帶來更好產(chǎn)品或服務、更好的體驗，亦或是為企業(yè)帶來更多的收入和利潤；（4）找到那些相對成熟且容易實現(xiàn)的點，先易后難，逐步推進，不要上來就選擇一個根本無法完成的目標。3、全面匯聚、整合和沉淀數(shù)據(jù)資產(chǎn)將企業(yè)數(shù)據(jù)轉化為生產(chǎn)力，需要業(yè)務用戶快速定位、理解和充分利用數(shù)據(jù)。與傳統(tǒng)數(shù)據(jù)倉庫不同，數(shù)據(jù)中臺的目標是將企業(yè)的數(shù)據(jù)資源經(jīng)過統(tǒng)一梳理、采集、加工、處理……，然后形成數(shù)據(jù)資產(chǎn)，并自動注冊形成數(shù)據(jù)資產(chǎn)目錄。數(shù)據(jù)資產(chǎn)目錄解決了跨部門數(shù)據(jù)資產(chǎn)的共享問題，方便業(yè)務決策者找到、理解、信任，他們想要的數(shù)據(jù)，以支持業(yè)務部門利用數(shù)據(jù)來優(yōu)化他們的業(yè)務。通常，IT人員不會從業(yè)務的角度理解數(shù)據(jù)，他們只專注于數(shù)據(jù)相關的技術問題，而業(yè)務人員缺乏IT技能，也很難將數(shù)據(jù)轉換為業(yè)務的洞察力。數(shù)據(jù)中臺提供了有效的數(shù)據(jù)管理方法和工具，幫助企業(yè)管理數(shù)據(jù)資產(chǎn)，并將其轉化為對企業(yè)有價值的信息和有意義的業(yè)務洞察力。數(shù)據(jù)中臺建設的意義，在很大程度上是實現(xiàn)了IT和業(yè)務的拉通，讓IT與業(yè)務形成合力，朝著同一個方向和目標努力。4、按需“組裝”數(shù)據(jù)服務，構建數(shù)據(jù)供應鏈數(shù)據(jù)中臺 + BI 構建企業(yè)的數(shù)據(jù)供應鏈。堅持“以終為始”的原則，以業(yè)務需求為導向，通過數(shù)據(jù)中臺的數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)計算等能力，按需對數(shù)據(jù)進行加工處理和組裝，形成可供調(diào)用的維度表、事實表、匯總表等數(shù)據(jù)模型。再利用BI工具連接這些模型，對數(shù)據(jù)進行分析和可視化，從而實現(xiàn)企業(yè)數(shù)據(jù)資產(chǎn)的一站式應用。數(shù)據(jù)中臺提供了數(shù)據(jù)萃取服務、數(shù)據(jù)共享服務、數(shù)據(jù)資產(chǎn)運營服務等等支撐能力，是構建企業(yè)數(shù)據(jù)供應鏈的關鍵，讓企業(yè)的數(shù)據(jù)能夠以服務的形式快速供給相關業(yè)務。數(shù)據(jù)即服務——這是數(shù)據(jù)中臺的靈魂。5、敏捷BI，自助分析，驅(qū)動業(yè)務決策敏捷BI是從工具側和方法側，對傳統(tǒng)BI的全新升級。關于敏捷BI，你可能聽過這些關鍵詞：更快速、更靈活、更簡單、更自動......，很多人談敏捷BI都側重其工具和技術，當然這是一個很重要的方面。而另一方面，敏捷BI與傳統(tǒng)BI的區(qū)別在于交付方法上。傳統(tǒng)BI更多的是由IT人員進行數(shù)據(jù)報表開發(fā)，業(yè)務人員只管“看”，十分被動。而敏捷BI更強調(diào)業(yè)務的自助式分析，即：業(yè)務人員自己進行數(shù)據(jù)探索和分析，增強了業(yè)務人員對數(shù)據(jù)的洞察能力。其實，不論是傳統(tǒng)BI還敏捷BI，要能夠讓其用起來的一個重要前提是：數(shù)據(jù)的及時性、完整性和準確性，而數(shù)據(jù)中臺為保障數(shù)據(jù)的及時、完整和準確提供了能力支撐。數(shù)據(jù)中臺建設成敗的一個衡量標準，就是是否為業(yè)務用戶提供了自助分析能力，以及業(yè)務自助分析的靈活度。
最后，給大家留個思考題：如果企業(yè)建設的數(shù)據(jù)中臺脫離了BI，在沒有數(shù)據(jù)集成共享需求的情況下，面對業(yè)務用戶，您將提供什么，如何讓數(shù)據(jù)用起來，以及如何驗證數(shù)據(jù)中臺的各種數(shù)據(jù)模型和數(shù)據(jù)服務的有效性？歡迎留言區(qū)討論。
該文章在 2023/5/31 9:25:16 編輯過
400 186 1886
