有哪些工具可以做到 MDM | MDM 筆記

上一篇瞭解 MDM 系統裡基本要有的功能,接著來分享一下我從 project 一開始到後來上線過程中 survey 過的工具。初期很迷惘,所以只要名字沾上邊的都碰一下。

那時一直有個疑惑:其它系統的資料要怎麼進來、清好的東西又要怎麼回寫 or 允許覆蓋掉其它系統的東西嗎 ? 好像每個工具都是獨立的一塊,沒辦法串起來。漸漸深入才明白 MDM 不是單純 data cleansing 而已,還包含 data integration 這個搬有運無的重點。

跟 MDM 相關的幾個詞如下


Data Profiling

知己知彼,攻無不克,上戰場前要先瞭解敵人來決定武器,否則就會變成拿出萬能小刀來對付熊一樣(這梗大概只有上了年紀且上過某補習班的人才能體會了)。data profiling 就是一個清資料前要先觀察資料長相與骯髒程度的步驟

下面幾個工具可以試試

Data Cleaner
請參考我這篇 如何用 DataCleaner 做 Data Profiling 資料分析

SQL Server 裡 SSIS 內建的 Data Profiling
請參考我這篇 如何用 SSIS 做 Data Profiling 資料分析


Standardize, Cleanse

Open Refine ( 前身是 Google Refine )
http://openrefine.org

單機版,相當好用的資料整理工具。長得像 excel 但比 excel 有更直覺與強大的整理功能。

對機器的要求就是 ram 要夠大

這裡有早期 Google Refine 版的教學影片,案例跟操作都清楚,可以參考
http://www.youtube.com/user/GoogleRefine?feature=watch

TIBCO Clarity
若懶得在機器上裝 Open Refine 的話,TIBCO Clarity 也是一種替代
TIBCO Clarity Trial | MDM 筆記


Fuzzy Matching

如何用 SSIS Fuzzy Lookup 找出相似的資料 | 基本篇

如何用 SSIS Fuzzy Lookup 找出相似的資料 | 讓結果更易理解

如何用 SSIS Fuzzy Lookup 找出相似的資料 | 使用 Index


De-Duplicate

如何用 SSIS Fuzzy Group 找出相似的資料


更多內容可參考 目錄 | MDM 筆記