華為數(shù)據(jù)治理實踐

隨后，華為基于愿景確定了數(shù)字化轉(zhuǎn)型的藍圖和框架， 統(tǒng)一規(guī)劃、分層次開展，最終實現(xiàn)客戶交互方式的轉(zhuǎn)變，實現(xiàn)內(nèi)部運營效率和效益的提升。華為數(shù)字化轉(zhuǎn)型藍圖包括 5 項舉措。

其中，舉措 4 涉及數(shù)據(jù)治理和數(shù)字化運營，是華為數(shù)字化轉(zhuǎn)型的關(guān)鍵，承接了打破數(shù)據(jù)孤島、確保源頭數(shù)據(jù)準確、促進數(shù)據(jù)共享、保障數(shù)據(jù)隱私與安全等目標。華為從 2007 年開始啟動數(shù)據(jù)治理，歷經(jīng)兩個階段的持續(xù)變革，系統(tǒng)地建立了華為數(shù)據(jù)管理體系。

第一階段：2007 ～ 2016 年

在這一階段，華為設(shè)立數(shù)據(jù)管理專業(yè)組織，建立數(shù)據(jù)管理框架，發(fā)布數(shù)據(jù)管理政策，任命數(shù)據(jù) Owner，通過統(tǒng)一信息架構(gòu)與標準、唯一可信的數(shù)據(jù)源、有效的數(shù)據(jù)質(zhì)量度量改進機制，實現(xiàn)了以下目標。

• 持續(xù)提升數(shù)據(jù)質(zhì)量，減少糾錯成本：通過數(shù)據(jù)質(zhì)量度量與持續(xù)改進，確保數(shù)據(jù)真實反映業(yè)務(wù)，降低運營風險。

• 數(shù)據(jù)全流程貫通，提升業(yè)務(wù)運作效率：通過業(yè)務(wù)數(shù)字化、標準化，借助 IT 技術(shù)，實現(xiàn)業(yè)務(wù)上下游信息快速傳遞、共享。

第二階段：2017 年至今

在這一階段，華為建設(shè)數(shù)據(jù)底座，匯聚企業(yè)全域數(shù)據(jù)并對數(shù)據(jù)進行聯(lián)接，通過數(shù)據(jù)服務(wù)、數(shù)據(jù)地圖、數(shù)據(jù)安全防護與隱私保護，實現(xiàn)了數(shù)據(jù)隨需共享、敏捷自助、安全透明的目標，支撐著華為數(shù)字化轉(zhuǎn)型，實現(xiàn)了如下的數(shù)據(jù)價值。

• 業(yè)務(wù)可視，能夠快速、準確決策：通過數(shù)據(jù)匯聚，實現(xiàn)業(yè)務(wù)狀態(tài)透明可視，提供基于“事實”的決策支持依據(jù)。

• 人工智能，實現(xiàn)業(yè)務(wù)自動化：通過業(yè)務(wù)規(guī)則數(shù)字化、算法化，嵌入業(yè)務(wù)流，逐步替代人工判斷。

• 數(shù)據(jù)創(chuàng)新，成為差異化競爭優(yōu)勢：基于數(shù)據(jù)的用戶洞察， 發(fā)現(xiàn)新的市場機會點。

01

華為數(shù)據(jù)分類管理框架（基于特征分類）

華為根據(jù)數(shù)據(jù)特性及治理方法的不同對數(shù)據(jù)進行了分類定義：內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)、元數(shù)據(jù)。其中，結(jié)構(gòu)化數(shù)據(jù)又進一步劃分為基礎(chǔ)數(shù)據(jù)、主數(shù)據(jù)、事務(wù)數(shù)據(jù)、報告數(shù)據(jù)、觀測數(shù)據(jù)和規(guī)則數(shù)據(jù)。華為數(shù)據(jù)分類管理框架如圖 4 所示。

不同分類的數(shù)據(jù)，其治理方法有所不同。如基礎(chǔ)數(shù)據(jù)內(nèi)容的變更通常會對現(xiàn)有流程、IT 系統(tǒng)產(chǎn)生影響，因此基礎(chǔ)數(shù)據(jù)的管理重點在于變更管理和統(tǒng)一標準管控。主數(shù)據(jù)的錯誤可能會導致成百上千的事務(wù)數(shù)據(jù)錯誤，因此主數(shù)據(jù)的管理重點是確保同源多用、重點進行數(shù)據(jù)內(nèi)容的校驗等。

02

結(jié)構(gòu)化數(shù)據(jù)包括基礎(chǔ)數(shù)據(jù)、主數(shù)據(jù)、事務(wù)數(shù)據(jù)、報告數(shù)據(jù)、觀測數(shù)據(jù)、規(guī)則數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)的共同特點是以信息架構(gòu)為基礎(chǔ)，建立統(tǒng)一的數(shù)據(jù)資產(chǎn)目錄、數(shù)據(jù)標準與模型。下面將重點介紹六類結(jié)構(gòu)化數(shù)據(jù)的治理方法。

1. 基礎(chǔ)數(shù)據(jù)治理

基礎(chǔ)數(shù)據(jù)用于對其他數(shù)據(jù)進行分類，在業(yè)界也稱作參考數(shù)據(jù)。基礎(chǔ)數(shù)據(jù)通常是靜態(tài)的（如國家、幣種），一般在業(yè)務(wù)事件發(fā)生之前就已經(jīng)預先定義。它的可選值數(shù)量有限，可以用作業(yè)務(wù)或 IT 的開關(guān)和判斷條件。當基礎(chǔ)數(shù)據(jù)的取值發(fā)生變化的時候，通常需要對流程和 IT 系統(tǒng)進行分析和修改，以滿足業(yè)務(wù)需求。因此， 基礎(chǔ)數(shù)據(jù)的管理重點在于變更管理和統(tǒng)一標準管控。

基礎(chǔ)數(shù)據(jù)在支撐場景分流、流程自動化、提升分析質(zhì)量方面起著關(guān)鍵作用，治理基礎(chǔ)數(shù)據(jù)的價值如圖 5 所示。

因此，有效地管理基礎(chǔ)數(shù)據(jù)對企業(yè)來說可以產(chǎn)生巨大的收益。華為建立了一個完整的基礎(chǔ)數(shù)據(jù)管理框架（如圖 6 所示）， 通過明確各方的管理責任、發(fā)布相關(guān)的流程和規(guī)范以及建立基礎(chǔ)數(shù)據(jù)管理平臺等來確保基礎(chǔ)數(shù)據(jù)的有效管理。

2. 主數(shù)據(jù)治理

主數(shù)據(jù)是參與業(yè)務(wù)事件的主體或資源，是具有高業(yè)務(wù)價值的、跨流程和跨系統(tǒng)重復使用的數(shù)據(jù)。主數(shù)據(jù)與基礎(chǔ)數(shù)據(jù)有一定的相似性，都是在業(yè)務(wù)事件發(fā)生之前預先定義；但又與基礎(chǔ)數(shù)據(jù)不同，主數(shù)據(jù)的取值不受限于預先定義的數(shù)據(jù)范圍，而且主數(shù)據(jù)的記錄的增加和減少一般不會影響流程和 IT 系統(tǒng)的變化。但是， 主數(shù)據(jù)的錯誤可能導致成百上千的事務(wù)數(shù)據(jù)錯誤，因此主數(shù)據(jù)最重要的管理要求是確保同源多用和重點進行數(shù)據(jù)內(nèi)容的校驗。華為的主數(shù)據(jù)管理策略如圖 7 所示。

華為的主數(shù)據(jù)范圍包括客戶、產(chǎn)品、供應(yīng)商、組織、人員主題，每個主數(shù)據(jù)都有相應(yīng)的架構(gòu)、流程及管控組織來負責管理。

鑒于主數(shù)據(jù)管理的重要性，對于每個重要的主數(shù)據(jù)，都會發(fā)布相應(yīng)的管理規(guī)范，數(shù)據(jù)管家依據(jù)數(shù)據(jù)質(zhì)量標準定期進行數(shù)據(jù)質(zhì)量的度量與改進。

同時，對于主數(shù)據(jù)的集成消費按照如下管理框架進行管理。

• 數(shù)據(jù)消費層：數(shù)據(jù)消費層包括所有消費數(shù)據(jù)的 IT 產(chǎn)品團隊，負責提出數(shù)據(jù)集成需求和集成接口實施。

• 主數(shù)據(jù)服務(wù)實施層：負責主數(shù)據(jù)集成解決方案的落地， 包括數(shù)據(jù)服務(wù)的 IT 實施和數(shù)據(jù)服務(wù)的配置管理。

• 主數(shù)據(jù)服務(wù)設(shè)計層：為需要集成主數(shù)據(jù)的 IT 產(chǎn)品團隊提供咨詢和方案服務(wù)，負責受理主數(shù)據(jù)集成需求，制定主數(shù)據(jù)集成解決方案，維護主數(shù)據(jù)的通用數(shù)據(jù)模型。

• 管控層：管控層由信息架構(gòu)專家組擔任，負責主數(shù)據(jù)規(guī)則的制定與發(fā)布，以及主數(shù)據(jù)集成爭議或例外的決策。

3. 事務(wù)數(shù)據(jù)治理

事務(wù)數(shù)據(jù)在業(yè)務(wù)和流程中產(chǎn)生，是業(yè)務(wù)事件的記錄，其本身就是業(yè)務(wù)運作的一部分。事務(wù)數(shù)據(jù)是具有較強時效性的一次性業(yè)務(wù)事件，通常在事件結(jié)束后不再更新。

事務(wù)數(shù)據(jù)會調(diào)用主數(shù)據(jù)和基礎(chǔ)數(shù)據(jù)。以客戶框架合同為例， 核心屬性有 32 個，其中調(diào)用基礎(chǔ)數(shù)據(jù)和主數(shù)據(jù) 24 個，占 75% ；客戶框架合同本身特有的屬性 8 個，占 25%。同時，框架合同也引用了機會點的編碼和投標項目的編碼等事務(wù)數(shù)據(jù)的信息。

因此，事務(wù)數(shù)據(jù)的治理重點就是管理好事務(wù)數(shù)據(jù)對主數(shù)據(jù)和基礎(chǔ)數(shù)據(jù)的調(diào)用，以及事務(wù)數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，確保上下游信息傳遞順暢。在事務(wù)數(shù)據(jù)的信息架構(gòu)中需明確哪些屬性是引用其他業(yè)務(wù)對象的，哪些是其自身特有的。對于引用的基礎(chǔ)數(shù)據(jù)和主數(shù)據(jù)，要盡可能調(diào)用而不是重新創(chuàng)建。

4. 報告數(shù)據(jù)治理

報告數(shù)據(jù)是指對數(shù)據(jù)進行處理加工后，用作業(yè)務(wù)決策依據(jù)的數(shù)據(jù)。它用于支持報告和報表的生成。

用于報告和報表的數(shù)據(jù)可以分為如下幾種：

• 用于報表項數(shù)據(jù)生成的事實表、指標數(shù)據(jù)、維度。

• 用于報表項統(tǒng)計和計算的統(tǒng)計函數(shù)、趨勢函數(shù)及報告規(guī)則。

• 用于報表和報告展示的序列關(guān)系數(shù)據(jù)。

• 用于報表項描述的主數(shù)據(jù)、基礎(chǔ)數(shù)據(jù)、事務(wù)數(shù)據(jù)、觀測數(shù)據(jù)。

• 用于對報告進行補充說明的非結(jié)構(gòu)化數(shù)據(jù)。

報告數(shù)據(jù)涵蓋的范圍較廣，如主數(shù)據(jù)、基礎(chǔ)數(shù)據(jù)等，這些數(shù)據(jù)類別本身已經(jīng)有相應(yīng)的管理機制和規(guī)范，這里我們重點對部分新的細分數(shù)據(jù)類型進行說明。

事實表：從業(yè)務(wù)活動或者事件中提煉出來的性能度量。其特點為：

• 每個事實表由顆粒度屬性、維度屬性、事務(wù)描述屬性、度量屬性組成；

• 事實表可以分為基于明細構(gòu)建的事實表和基于明細做過匯聚的事實表。

維度：用于觀察和分析業(yè)務(wù)數(shù)據(jù)的視角，支持對數(shù)據(jù)進行匯聚、鉆取、切片分析。其特點為：

• 維度的數(shù)據(jù)一般來源于基礎(chǔ)數(shù)據(jù)和主數(shù)據(jù)；

• 維度的數(shù)據(jù)一般用于分析視角的分類；

• 維度的數(shù)據(jù)一般有層級關(guān)系，可以向下鉆取和向上聚合形成新的維度。

統(tǒng)計型函數(shù)：與指標高度相關(guān)，是對指標數(shù)量特征進一步的數(shù)學統(tǒng)計，例如均值、中位數(shù)、總和、方差等。其特點為：

• 通常反映某一維度下指標的聚合情況、離散情況等特征；
  

• 其計算數(shù)值在報告中通常呈現(xiàn)為圖表中的參考線。

趨勢型函數(shù)：反映指標在時間維度上變化情況的統(tǒng)計方式，例如同比、環(huán)比、定基比等。其特點為：

• 通常將當期值與歷史某時點值進行比較；
  

• 調(diào)用時，需要收集指標的歷史表現(xiàn)數(shù)據(jù)；

• 其計算數(shù)值在報告中通常呈現(xiàn)為圖表中的趨勢線。

報告規(guī)則數(shù)據(jù)：一種描述業(yè)務(wù)決策或過程的陳述，通常是基于某些約束下產(chǎn)生的結(jié)論或需要采取的某種措施。其特點為：

• 將業(yè)務(wù)邏輯通過函數(shù)運算體現(xiàn)，通常一個規(guī)則包含多個運算和判斷條件；

• 規(guī)則的計算結(jié)果一般不直接輸出，需要基于計算結(jié)果翻譯成業(yè)務(wù)語言后輸出；

• 規(guī)則通常與參數(shù)表密切相關(guān)。

• 序列關(guān)系數(shù)據(jù)：反映報告中指標及其他數(shù)據(jù)序列關(guān)系的數(shù)據(jù)。
  

5. 觀測數(shù)據(jù)治理

觀測數(shù)據(jù)是通過觀測工具獲取的數(shù)據(jù)，觀測對象一般為人、事、物、環(huán)境。

相比傳統(tǒng)數(shù)據(jù)，觀測數(shù)據(jù)通常數(shù)據(jù)量較大且是過程性的，由機器自動采集生成。不同感知方式獲取的觀測數(shù)據(jù)，其數(shù)據(jù)資產(chǎn)管理要素不同。

觀測數(shù)據(jù)的感知方式可分為軟感知和硬感知。軟感知是使用軟件或者各種技術(shù)進行數(shù)據(jù)收集，收集的對象存在于數(shù)字世界， 通常不依賴于物理設(shè)備，一般是自動運行的程序或腳本；硬感知是利用設(shè)備或裝置進行數(shù)據(jù)收集，收集的對象為物理世界中的物理實體，或者是以物理實體為載體的信息，其數(shù)據(jù)的感知過程是數(shù)據(jù)從物理世界向數(shù)字世界的轉(zhuǎn)化過程。

觀測數(shù)據(jù)的特征有如下幾點：觀測數(shù)據(jù)通常數(shù)據(jù)量較大且是過程性的，主要用作監(jiān)控分析。例如，視頻監(jiān)控器產(chǎn)生的視頻數(shù)據(jù)、操作系統(tǒng)產(chǎn)生的日志記錄數(shù)據(jù)等。

觀測工具的元數(shù)據(jù)可以作為數(shù)據(jù)資產(chǎn)管理：軟感知（埋點、日志收集、爬蟲）觀測工具抽象成業(yè)務(wù)對象，由 IT 部門擔任數(shù)據(jù) Owner 進行統(tǒng)一管理；硬感知觀測工具作為資源類數(shù)據(jù)，也建議作為業(yè)務(wù)對象由相應(yīng)的領(lǐng)域擔任數(shù)據(jù) Owner 進行管理。

原則上，觀測對象要定義成業(yè)務(wù)對象進行管理，這是觀測數(shù)據(jù)管理的前提條件。

觀測數(shù)據(jù)需要記錄觀測工具、觀測對象。針對不同感知方式獲取的觀測數(shù)據(jù)，其資產(chǎn)管理方案也不盡相同。例如，以用戶界面瀏覽記錄為例，如果是對銷售機會點的查詢訪問觀測，應(yīng)當歸屬到相應(yīng)業(yè)務(wù)領(lǐng)域；如果是對頁面性能、頁面 UV、PV 的觀測， 應(yīng)當歸屬到 IT 部門。

6. 規(guī)則數(shù)據(jù)治理

在業(yè)務(wù)規(guī)則管理方面，華為經(jīng)常面對“各種業(yè)務(wù)場景業(yè)務(wù)規(guī)則不同，記不住，找不到”“大量規(guī)則在政策、流程等文件中承載，難以遵守”“各國規(guī)則均不同，IT 能否一國一策、快速上線”等問題。

規(guī)則數(shù)據(jù)是結(jié)構(gòu)化描述業(yè)務(wù)規(guī)則變量（一般為決策表、關(guān)聯(lián)關(guān)系表、評分卡等形式）的數(shù)據(jù)，是實現(xiàn)業(yè)務(wù)規(guī)則的核心數(shù)據(jù)， 如業(yè)務(wù)中普遍存在的基線數(shù)據(jù)。

規(guī)則數(shù)據(jù)主要有以下特征：

• 規(guī)則數(shù)據(jù)不可實例化；

• 規(guī)則數(shù)據(jù)包含判斷條件和決策結(jié)果兩部分信息，區(qū)別于描述事物分類信息的基礎(chǔ)數(shù)據(jù)；

• 規(guī)則數(shù)據(jù)的結(jié)構(gòu)在縱向（列）、橫向（行）兩個維度上相對穩(wěn)定，變化形式多為內(nèi)容刷新；

• 規(guī)則數(shù)據(jù)的變更對業(yè)務(wù)活動的影響是大范圍的。

其基本原則為：

• 規(guī)則數(shù)據(jù)的管理是為了支撐業(yè)務(wù)規(guī)則的結(jié)構(gòu)化、信息化、數(shù)字化，目標是實現(xiàn)規(guī)則的可配置、可視化、可追溯。

• 不同于標準化的信息架構(gòu)管理，規(guī)則數(shù)據(jù)的管理具有輕量化、分級的特點。重要的、調(diào)用量大、變動頻繁的業(yè)務(wù)規(guī)則需要通過規(guī)則數(shù)據(jù)管理，使其從代碼中解耦，進行資產(chǎn)注冊；使用廣泛的、有分析需求的規(guī)則數(shù)據(jù)需要通過注冊入湖，實現(xiàn)共享和復用。

• 業(yè)務(wù)規(guī)則在架構(gòu)層次上與流程中的業(yè)務(wù)活動相關(guān)聯(lián)，是業(yè)務(wù)活動的指導和依據(jù)，業(yè)務(wù)活動的結(jié)果通過該業(yè)務(wù)活動的相關(guān)業(yè)務(wù)對象的屬性來記錄。業(yè)務(wù)規(guī)則通過業(yè)務(wù)活動對業(yè)務(wù)事實、業(yè)務(wù)行為進行限制，業(yè)務(wù)人員可以根據(jù)業(yè)務(wù)規(guī)則判斷業(yè)務(wù)情況，采取具體行動。

• 業(yè)務(wù)規(guī)則包含規(guī)則變量和變量之間的關(guān)系，規(guī)則數(shù)據(jù)主要描述規(guī)則的變量部分，是支撐業(yè)務(wù)規(guī)則的核心數(shù)據(jù)（如圖 10 所示）。

此外，運行規(guī)則所需要的輸入數(shù)據(jù)、輸出數(shù)據(jù)，包括動態(tài)數(shù)據(jù)庫訪問對象、內(nèi)存表緩存、Excel、XML 處理類等，主要起支撐作用，不在規(guī)則數(shù)據(jù)的范疇。

規(guī)則數(shù)據(jù)必須有唯一的數(shù)據(jù) Owner，其負責開展規(guī)則數(shù)據(jù)的信息架構(gòu)建設(shè)與維護、數(shù)據(jù)質(zhì)量的監(jiān)控與保障、數(shù)據(jù)服務(wù)建設(shè)、數(shù)據(jù)安全授權(quán)與定密等工作。相應(yīng)的數(shù)據(jù)管家支持數(shù)據(jù) Owner 對所管轄的業(yè)務(wù)中的規(guī)則數(shù)據(jù)進行治理，包括建設(shè)和維護信息架構(gòu)、確保架構(gòu)落地遵從、例行監(jiān)控數(shù)據(jù)質(zhì)量等。

規(guī)則數(shù)據(jù)的元數(shù)據(jù)要記錄與業(yè)務(wù)規(guī)則的關(guān)系（規(guī)則數(shù)據(jù)定義前應(yīng)先完成業(yè)務(wù)規(guī)則的識別和定義）。一個業(yè)務(wù)規(guī)則可以包含零個、一個或多個規(guī)則數(shù)據(jù)，一個規(guī)則數(shù)據(jù)在信息架構(gòu)上對應(yīng)一個邏輯數(shù)據(jù)實體，在物理實現(xiàn)上一般對應(yīng)一個物理表。規(guī)則數(shù)據(jù)要遵從信息架構(gòu)資產(chǎn)管理要求（包括明確規(guī)則數(shù)據(jù)的 Owner、制定數(shù)據(jù)標準、明確數(shù)據(jù)源等），按照信息安全要求定密，以方便規(guī)則數(shù)據(jù)的管理、共享和分析。

03

非結(jié)構(gòu)化數(shù)據(jù)管理（以特征提取為核心）

隨著業(yè)務(wù)對大數(shù)據(jù)分析的需求日益增長，非結(jié)構(gòu)化數(shù)據(jù)的管理逐漸成為數(shù)據(jù)管理的重要組成部分。非結(jié)構(gòu)化數(shù)據(jù)包括無格式文本、各類格式文檔、圖像、音頻、視頻等多種異構(gòu)的格式文件， 較之結(jié)構(gòu)化數(shù)據(jù)，其更難標準化和理解，因此在存儲、檢索以及消費使用時需要智能化的 IT 技術(shù)與之匹配。華為的非結(jié)構(gòu)化數(shù)據(jù)包括文檔（郵件、Excel、Word、PPT）、圖片、音頻、視頻等。

相較于結(jié)構(gòu)化數(shù)據(jù)，非結(jié)構(gòu)化元數(shù)據(jù)管理除了需要管理文件對象的標題、格式、Owner 等基本特征和定義外，還需對數(shù)據(jù)內(nèi)容的客觀理解進行管理，如標簽、相似性檢索、相似性連接等， 以便于用戶搜索和消費使用。因此，非結(jié)構(gòu)化數(shù)據(jù)的治理核心是對其基本特征與內(nèi)容進行提取，并通過元數(shù)據(jù)落地來開展的。非結(jié)構(gòu)化數(shù)據(jù)的管理模型如圖 11 所示。

非結(jié)構(gòu)化數(shù)據(jù)的元數(shù)據(jù)可以分為基本特征類（客觀）和內(nèi)容增強類（主觀）兩類。

• 基本特征類：參考都柏林十五個核心元數(shù)據(jù)，實現(xiàn)對非結(jié)構(gòu)化數(shù)據(jù)對象的規(guī)范化定義，如標題、格式、來源等。

• 內(nèi)容增強類：基于非結(jié)構(gòu)化數(shù)據(jù)內(nèi)容的上下文語境，解析目標文件對象的數(shù)據(jù)內(nèi)容，加深對目標對象的客觀理解，如標簽、相似性檢索、相似性連接等。

非結(jié)構(gòu)化數(shù)據(jù)的元數(shù)據(jù)管理采用統(tǒng)分統(tǒng)管的原則，即基本特征類屬性由公司進行統(tǒng)一管理，內(nèi)容增強類屬性由相關(guān)承擔數(shù)據(jù)分析工作的項目組自行設(shè)計，但其分析結(jié)果都應(yīng)由公司元數(shù)據(jù)管理平臺自動采集后進行統(tǒng)一存儲。

元數(shù)據(jù)管理平臺通過“基本特征類元數(shù)據(jù)流”和“內(nèi)容增強類元數(shù)據(jù)流”兩條線來實現(xiàn)對非結(jié)構(gòu)化數(shù)據(jù)的元數(shù)據(jù)管理和消費使用。

1. 基本特征類元數(shù)據(jù)流

元數(shù)據(jù)管理平臺基于收集到的各類非結(jié)構(gòu)化數(shù)據(jù)源信息，自動完成基礎(chǔ)特征類元數(shù)據(jù)的采集工作，按照管理規(guī)范和要求通過標準化、整合后存儲在元數(shù)據(jù)管理平臺中，并在完成元數(shù)據(jù)過濾、排序后將結(jié)果在元數(shù)據(jù)報告中進行可視化展示，以供用戶消費使用。

2. 內(nèi)容增強類元數(shù)據(jù)流

基于元數(shù)據(jù)管理平臺中基本特征類元數(shù)據(jù)的信息，各數(shù)據(jù)分析項目組解析目標非結(jié)構(gòu)化對象的數(shù)據(jù)內(nèi)容，并將分析結(jié)果通過元數(shù)據(jù)采集、元數(shù)據(jù)標準化 & 整合后統(tǒng)一存放在元數(shù)據(jù)管理平臺中，以供用戶一并消費使用，增強用戶體驗。

04

外部數(shù)據(jù)管理（以確保合規(guī)遵從為核心）

外部數(shù)據(jù)是指華為公司引入的外部組織或者個人擁有處置權(quán)利的數(shù)據(jù)，如供應(yīng)商資質(zhì)證明、消費者洞察報告等。外部數(shù)據(jù)治理的出發(fā)點是合規(guī)遵從優(yōu)先，與內(nèi)部數(shù)據(jù)治理的目的不同。

外部數(shù)據(jù)的治理主要遵循以下原則。

• 合規(guī)優(yōu)先原則：遵從法律法規(guī)、采購合同、客戶授權(quán)、公司信息安全與公司隱私保護政策等相關(guān)規(guī)定。

• 責任明確原則：所有引入的外部數(shù)據(jù)都要有明確的管理責任主體，承擔數(shù)據(jù)引入方式、數(shù)據(jù)安全要求、數(shù)據(jù)隱私要求、數(shù)據(jù)共享范圍、數(shù)據(jù)使用授權(quán)、數(shù)據(jù)質(zhì)量監(jiān)管、數(shù)據(jù)退出銷毀等責任。

• 有效流動原則：使用方優(yōu)先使用公司已有數(shù)據(jù)資產(chǎn)，避免重復采購、重復建設(shè)。

• 可審計、可追溯原則：控制訪問權(quán)限，留存訪問日志， 做到外部數(shù)據(jù)使用有記錄、可審計、可追溯。

• 受控審批原則：在授權(quán)范圍內(nèi)，外部數(shù)據(jù)管理責任主體應(yīng)合理審批使用方的數(shù)據(jù)獲取要求。

在以上原則指導下，我們要求所有采購的外部數(shù)據(jù)要注冊， 在合規(guī)的前提下鼓勵數(shù)據(jù)共享，避免重復采購。其他方式引入的外部數(shù)據(jù)，由管理責任主體決定登記方式。根據(jù)法律條款和授權(quán)范圍，外部數(shù)據(jù)管理責任主體有權(quán)決定外部數(shù)據(jù)是否入數(shù)據(jù)湖， 如果需要入數(shù)據(jù)湖，必須遵從數(shù)據(jù)湖建設(shè)相應(yīng)的流程和規(guī)范。同時，外部數(shù)據(jù)管理責任主體有義務(wù)告知使用方合規(guī)使用外部數(shù)據(jù)， 對于不合規(guī)的使用場景，不予授權(quán)；數(shù)據(jù)使用方要遵從外部數(shù)據(jù)管理責任主體的要求，對不遵從要求所引起的后果承擔責任。

05

元數(shù)據(jù)管理（作用于數(shù)據(jù)價值流）

無論結(jié)構(gòu)化數(shù)據(jù)，還是非結(jié)構(gòu)化數(shù)據(jù)，或者外部數(shù)據(jù)，最終都會通過元數(shù)據(jù)治理落地。華為將元數(shù)據(jù)治理貫穿整個數(shù)據(jù)價值流，覆蓋從數(shù)據(jù)產(chǎn)生、匯聚、加工到消費的全生命周期。

1. 元數(shù)據(jù)治理的痛點與挑戰(zhàn)

華為在進行元數(shù)據(jù)治理以前，遇到的元數(shù)據(jù)問題主要表現(xiàn)為數(shù)據(jù)找不到、讀不懂、不可信，數(shù)據(jù)分析師們往往會陷入數(shù)據(jù)沼澤中。元數(shù)據(jù)管理的痛點如圖 12 所示。

為解決以上痛點，華為建立了公司級的元數(shù)據(jù)管理機制。制定了統(tǒng)一的元數(shù)據(jù)管理方法、機制和平臺，拉通業(yè)務(wù)語言和機器語言。確保數(shù)據(jù)“入湖有依據(jù)，出湖可檢索”成為華為元數(shù)據(jù)管理的使命與目標。基于高質(zhì)量的元數(shù)據(jù)，通過數(shù)據(jù)地圖就能在企業(yè)內(nèi)部實現(xiàn)方便的數(shù)據(jù)搜索。

元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)，用于打破業(yè)務(wù)和 IT 之間的語言障礙，幫助業(yè)務(wù)更好地理解數(shù)據(jù)。元數(shù)據(jù)通常分為業(yè)務(wù)、技術(shù)和操作三類。

• 業(yè)務(wù)元數(shù)據(jù)：用戶訪問數(shù)據(jù)時了解業(yè)務(wù)含義的途徑，包括資產(chǎn)目錄、Owner、數(shù)據(jù)密級等。

• 技術(shù)元數(shù)據(jù)：實施人員開發(fā)系統(tǒng)時使用的數(shù)據(jù)，包括物理模型的表與字段、ETL 規(guī)則、集成關(guān)系等。

• 操作元數(shù)據(jù)：數(shù)據(jù)處理日志及運營情況數(shù)據(jù)，包括調(diào)度頻度、訪問記錄等。

在企業(yè)的數(shù)字化運營中，元數(shù)據(jù)作用于整個價值流，在從數(shù)據(jù)源到數(shù)據(jù)消費的五個環(huán)節(jié)中都能充分體現(xiàn)元數(shù)據(jù)管理的價值。

• 數(shù)據(jù)消費側(cè)：元數(shù)據(jù)能支持企業(yè)指標、報表的動態(tài)構(gòu)建。

• 數(shù)據(jù)服務(wù)側(cè)：元數(shù)據(jù)支持數(shù)據(jù)服務(wù)的統(tǒng)一管理和運營， 并實現(xiàn)利用元數(shù)據(jù)驅(qū)動 IT 敏捷開發(fā)。

• 數(shù)據(jù)主題側(cè)：元數(shù)據(jù)統(tǒng)一管理分析模型，敏捷響應(yīng)井噴式增長的數(shù)據(jù)分析需求，支持數(shù)據(jù)增值、數(shù)據(jù)變現(xiàn)。

• 數(shù)據(jù)湖側(cè)：元數(shù)據(jù)能實現(xiàn)暗數(shù)據(jù)的透明化，增強數(shù)據(jù)活性，并能解決數(shù)據(jù)治理與 IT 落地脫節(jié)的問題。

• 數(shù)據(jù)源側(cè)：元數(shù)據(jù)支撐業(yè)務(wù)管理規(guī)則有效落地，保障數(shù)據(jù)內(nèi)容合格、合規(guī)。

2. 元數(shù)據(jù)管理架構(gòu)及策略

元數(shù)據(jù)管理架構(gòu)包括產(chǎn)生元數(shù)據(jù)、采集元數(shù)據(jù)、注冊元數(shù)據(jù)和運維元數(shù)據(jù)。

• 產(chǎn)生元數(shù)據(jù)：制定元數(shù)據(jù)管理相關(guān)流程與規(guī)范的落地方案，在 IT 產(chǎn)品開發(fā)過程中實現(xiàn)業(yè)務(wù)元數(shù)據(jù)與技術(shù)元數(shù)據(jù)的連接。

• 采集元數(shù)據(jù)：通過統(tǒng)一的元模型從各類 IT 系統(tǒng)中自動采集元數(shù)據(jù)。

• 注冊元數(shù)據(jù)：基于增量與存量兩種場景，制定元數(shù)據(jù)注冊方法，完成底座元數(shù)據(jù)注冊工作。

• 運維元數(shù)據(jù)：打造公司元數(shù)據(jù)中心，管理元數(shù)據(jù)產(chǎn)生、采集、注冊的全過程，實現(xiàn)元數(shù)據(jù)運維。

• 元數(shù)據(jù)管理方案：通過制定元數(shù)據(jù)標準、規(guī)范、平臺與管控機制，建立企業(yè)級元數(shù)據(jù)管理體系，并推動其在公司各領(lǐng)域落地，支撐數(shù)據(jù)底座建設(shè)與數(shù)字化運營。

華為經(jīng)過多年實踐，已經(jīng)建立了相對完整的數(shù)據(jù)分類管理框架，為數(shù)據(jù)治理奠定了基礎(chǔ)。隨著數(shù)字化轉(zhuǎn)型的深入開展，尤其是面向未來海量的非結(jié)構(gòu)化數(shù)據(jù)、IoT 場景的觀測數(shù)據(jù)、外部合規(guī)日趨嚴格的外部數(shù)據(jù)等，華為將不斷豐富每一類數(shù)據(jù)的治理實踐。