我們對數據資產梳理和盤點的方法、流程、模板進行了介紹，相信大家對數據資產盤點應該有所了解了。可能有人會問，數據資產盤點都是人工在做，有沒有更智能的方法，能夠自動盤點數據，讓數據更容易查找和使用？

　　數據資產發現，是什么？

　　數據資產發現是一個可視化、智能化的數據管理工具，它的定位是使業務和技術人員能夠在需要時更容易找到、理解和使用他們想要的數據。

　　這個概念是不是似曾相識？是的，數據資產發現與數據資產目錄在定位上很相似，從本質上講，數據資產發現就是一種更智能的數據資產目錄工具。如果我們將大數據比作石油的話，數據發現就是勘探、采集、處理和煉化石油的過程，它能夠更加自動化的識別數據資產，對數據進行遷移、清洗、標記、編目和可視化，從而最大化的釋放數據價值。

　　通常來講，數據資產發現具備如下能力：

　　1、多數據源連接

　　數據資產發現可以連接多個數據源，實現數據的可視化、集成和遷移。支持的數據源除了結構化數據，還能夠對非結構化數據、半結構化數據的關鍵元數據進行識別和采集。

　　2、元數據分析

　　對元數據信息進行統計分析，可視化展示數據源的元數據，包括數據表的大小、注釋、列數量、時間列數量、主鍵數量等信息，更細一步地，還統計了列級別的元數據，包括列注釋、字段類型、列長度、是否主鍵列等信息。

　　3、數據分類和編目

　　數據發現與數據分類密切相關，通過自然語言處理、語義解析，根據數據的有用性、敏感性或安全性要求進行識別、分類和編目，形成業務、技術多個視角能夠識別、查詢和瀏覽的數據資產目錄。

　　4、清理和準備數據

　　有了數據目錄，用戶就可以輕松找到想要的數據。但是找到了數據，不一定就意味著它能直接使用，因為這些數據往往還存在很多的質量問題，必須要對這些數據作進一步的清理。數據發現工具一般具備自助數據準備和自動進行數據清理功能，提供有關值域范圍、異常值、錯誤值和其他數據屬性和問題的檢查和處理，為數據共享和分析提供支撐。

　　5、數據探索

　　數據探索是幫助業務人員整合來自各種來源的數據，以了解數據結構并構建交互式可視化來解釋該數據。在數據探索中，用戶通過使用人工智能技術，來查看自各種來源的數據，并嘗試從這些數據中提取重要或有意義的信息。數據發現工具使用熱圖、數據透視表、餅圖、條形圖和地理地圖等多種方法來幫助用戶從數據中獲得洞察力，從而實現業務目標。

　　數據資產發現，發現什么？

　　很多企業數據資產管理的最大痛點就是數據分散，企業不知道自己有哪些數據可用。企業數據大部分分散在不同的系統、不同的數據源和不同的設備中，識別、分類、處理和分析數據，并從中獲得洞察力對任何企業都至關重要。

　　那么，數據發現到底能夠發現什么？

　　數據的位置：數據發現通過連接數據源、采集和分析元數據，能夠識別企業有哪些數據，并定位這些數據在哪里存放，誰可以訪問它。

　　數據的結構：數據發現可以自動解析數據的結構，包括對結構化、半結構化和非結構化數據的的數據特征提取，通過統計模型對數據進行分類。

　　數據的傳輸：數據發現捕獲數據的流向，了解傳輸哪些數據、如何傳輸以及通過哪些渠道傳輸。

　　敏感的數據：數據發現通過內置的數據口徑、標準和規則，可以自動識別數據的技術屬性和業務屬性，可以快速對身份證號碼，姓名，地址，手機號、銀行賬號等敏感信息進行識別、分類和跟蹤，方便評估安全或隱私風險并定義緩解策略。

　　數據的問題：數據發現通過數據質量檢核，可以對數據集中的數據值域范圍、異常值、錯誤值、重復數據等數據問題進行稽核，快速發現數據集中的問題數據，并執行數據清理，以提高數據質量。

　　數據的含義：數據發現通過豐富的圖表，通過可視化的方式展示數據資產地圖，直觀清晰的展現數據富含的意義、用途等，使得用戶可以快速的了解數據，并從數據中獲得洞察力。

　　數據資產發現，怎么發現？

　　當下，數據資產發現主要有兩種形式：手動發現和智能發現。

　　1、手動數據發現

　　在過去 20 年里，在機器學習進步之前，數據相關工作人員對數據的相關作業，如：發現數據、采集數據、處理數據、分析數據等，大部分需要依靠人類的腦力和體力。簡單地說，人們通過人為的方式，識別和記憶關于哪些數據可用，存儲在哪里，為什么需要，以及為最終用戶提供帶來什么價值。

　　后來，企業開始有意識的管理數據，通過監控元數據和數據血緣，發現并了解數據分類和流程。數據管理員，通常是具有復雜技術和知識的人才能勝任，負責企業數據資產的盤點和管理，基于一定業務規則對數據資產進行分類和編目。在這一過程，數據管理員通過手動的方式建立數據目錄、繪制數據地圖，以理解企業中的數據資產。而這一方式，一直沿用至今。

　　2、智能數據發現

　　大數據時代，數據呈爆炸式增長，且數據在企業業務發展的過程中，扮演的角色越來越重要。傳統手動發現數據的方式，在應對企業的數據管理和使用需求，以及大規模、多樣化的數據增長情況下，顯得越來越吃力。因此，企業迫切需要一種更加自動化、智能化的數據發現工具，來幫助企業從數據中獲得更深入的洞察力。

　　隨著技術的進步，智能數據發現工具逐步成熟了起來。智能數據發現主要使用增強分析、自然語言處理、機器學習等人工智能技術，對數據進行定位、探查、清理、集成和可視化，來呈現和洞察數據價值。智能數據發現是一個飛躍，通過對可用數據源的整體理解和分析，在黑匣子中進行一些處理并得出合理答案。

　　有了AI的加持，數據發現有了令人興奮的創新方向：

　　AI 技術可用于數據準備，例如：標準化數據、處理缺失數據、字符串模式識別等。

　　算法可用于識別和關注相關變量組數據中的特定模式或異常值。

　　時間序列分析對模式識別、異常值檢測和表關系發現具有不同的需求和意義。

　　可以收集、分析專家用戶的行為數據，并用于影響推薦的分析操作。

　　對此，也有一些專家認為數據發現類似于數據挖掘，這是一些公司用來嘗試從大型數據集中提取可操作數據的過程。在某些方面，數據發現也可以通過與電子發現（e-discovery）的相似性來解釋；例如，在涉及法律領域的電子發現中，指定的 IT 專業人員從可能適用于案件相關的大型數據集中提取數據，輔助辦案。數據發現采用了類似的方法——從大量數據中篩選出相關且可操作的數據項。可能有人會問：有了智能數據發現還需要手動數據發現嗎？個人認為，現階段大部分的數據發現還需要人工手動干預，而基于機器學習等人工智能技術的利用可以幫助改進數據發現過程，例如自動發現數據中的數據質量問題、法規遵從性問題等，而數據結果還是需要人為決策。

　　數據資產發現，解決哪些問題？數據資產發現也叫自助式數據探查和分析，從定位上講，是服務于業務人員，幫助業務人員從數據中獲得有價值的信息，這些信息可幫助用戶在競爭對手之前發現寶貴的機會，而無需咨詢 IT 部門，使得數據分析和使用變得“平民化”。可視化的數據呈現，提高了數據的可操作性，讓業務人員能夠更快地找到答案。數據發現為企業提供了一種易于理解、清洗和分析數據的友好方法，使用戶可以輕松深入研究變量并提出新的問題和見解。1、識別數據應用中的痛點每個企業的數據管理和應用都會有獨特的痛點和問題，例如自多個來源的大量數據、復雜的架構、數據安全和法規遵從性等，所有這些都應該得到解決和持續監控。盡可能多地提前識別這些問題，可以幫助企業在問題升級之前解決問題并確保企業的數據保持安全。2、使用多樣化的數據源如果企業可以從多個來源收集和使用數據，那就預示著企業可以從中獲得更加深入的見解。但是，值得注意的是，企業需要正確處理和使用數據，確保數據完整性、數據質量和個人隱私保護。數據發現有助于企業從不同數據源中收集、清理相關數據，這些數據可以提供大量可操作的信息。3、用企業的數據講故事數據發現為業務用戶提供了自助式數據分析和探索的能力，以可視化的方式進行數據呈現，形成業務人員更容易理解的故事板。直觀、可視化的“數據故事板”可以幫助人們理解信息，以及從中得到有價值信息，幫助用戶進行決策。例如：數據發現通過對企業多渠道中的客戶行為、交易和情緒數據的分析和評估，來獲取客戶的 360 度視圖，在客戶流失之前進行預警，從而輔助決策人員作出應對策略。

　　數據發現工具，怎么選？

      在國外一個數據管理工具評價網站顯示，2022年 9個最流行的數據發現工具有：

　　JMP Statistical Discovery

　　Looker

　　Microsoft Power BI

　　Phocas

　　Qlik Sense

　　Spirion

　　Tableau

　　TIBCO Spotfire

　　Atlan

　　你有沒有發現以上數據發現工具其實側重點并不相同，有側重數據管理的，也有側重數據分析的。例如：JMP Statistical Discovery——SAS公司的數據管理產品，是側重跨數據源數據采集、自助數據準備和自動進行數據清理。而Google Cloud的Looker，微軟的Power BI，以及Salesforce的Tableau則更側重自助式的數據可視化能力。那么，一個數據發現工具到底都應該包含哪些通用功能，企業選型應重點關注哪些方面呢？通過對以上工具的研究，筆者發現一個完善的數據發現工具，需要具備以下功能：

　　數據源連接和元數據采集，包括：結構化、半結構化、非結構化等數據源

　　元數據管理和數據血緣，識別和解析數據的位置、含義等

　　全文元數據搜索，幫助用戶快速定位和查找數據

　　敏感信息識別、分類和監控，這對于滿足合規性要求非常重要

　　數據準備和提高數據質量的工具

　　機器學習能力，包括預測分析

　　內存分析，實現更快的查詢響應時間

　　數據分析和可視化（圖表、地圖、表格以及其他形式）

　　版本控制，確保數據的完整性并防止意外數據丟失

　　除了以上基本功能之外，在數據發現工具中首先要考慮的是數據治理，企業的數據環境中可能有上百套系統，成千名用戶在創建數據，企業必須確保這些數據能夠自動化的集中式治理。其次，數據安全和隱私也是需要重點關注的方面，數據發現平臺需要提供一定的安全機制，如：用戶認證、訪問控制、數據脫敏、數據加密等，確保數據安全和合規使用。