有哪些工具可以做到 MDM | MDM 筆記
上一篇瞭解 MDM 系統裡基本要有的功能,接著來分享一下我從 project 一開始到後來上線過程中 survey 過的工具。初期很迷惘,所以只要名字沾上邊的都碰一下。
那時一直有個疑惑:其它系統的資料要怎麼進來、清好的東西又要怎麼回寫 or 允許覆蓋掉其它系統的東西嗎 ? 好像每個工具都是獨立的一塊,沒辦法串起來。漸漸深入才明白 MDM 不是單純 data cleansing 而已,還包含 data integration 這個搬有運無的重點。
跟 MDM 相關的幾個詞如下
Data Profiling
知己知彼,攻無不克,上戰場前要先瞭解敵人來決定武器,否則就會變成拿出萬能小刀來對付熊一樣(這梗大概只有上了年紀且上過某補習班的人才能體會了)。data profiling 就是一個清資料前要先觀察資料長相與骯髒程度的步驟
下面幾個工具可以試試
Data Cleaner
請參考我這篇 如何用 DataCleaner 做 Data Profiling 資料分析 ↗
SQL Server 裡 SSIS 內建的 Data Profiling
請參考我這篇 如何用 SSIS 做 Data Profiling 資料分析 ↗
Standardize, Cleanse
Open Refine ( 前身是 Google Refine )
http://openrefine.org ↗
單機版,相當好用的資料整理工具。長得像 excel 但比 excel 有更直覺與強大的整理功能。
對機器的要求就是 ram 要夠大
這裡有早期 Google Refine 版的教學影片,案例跟操作都清楚,可以參考
http://www.youtube.com/user/GoogleRefine?feature=watch ↗
TIBCO Clarity
若懶得在機器上裝 Open Refine 的話,TIBCO Clarity 也是一種替代
TIBCO Clarity Trial | MDM 筆記 ↗
Fuzzy Matching
如何用 SSIS Fuzzy Lookup 找出相似的資料 | 基本篇 ↗
如何用 SSIS Fuzzy Lookup 找出相似的資料 | 讓結果更易理解 ↗
如何用 SSIS Fuzzy Lookup 找出相似的資料 | 使用 Index ↗
De-Duplicate
如何用 SSIS Fuzzy Group 找出相似的資料 ↗
加入對話