(2)要有數據質量檢查工具 對數據進行及時監測,通過檢查規則對數據進行檢查,找出存在的數據質量問題,以便能及時對數據或程序進行整改,進而提高銀行應用系統的數據質量。銀行數據質量管理系統與工具體系如圖7-2所示。
數據質量管理系統的基本原理是將檢查規則部署于數據來源系統,通過篩選和過濾問題數據,將具有質量問題的數據通過平臺統一儲存,并實現以下功能:
(1)錯誤數據自動捕獲和存儲功能 通過部署檢查規則,數據質量檢查系統可以對每天新增或存量的數據進行掃描,符合特定條件的數據會被篩選出來,按照不同維度進行劃分并加以存儲,并可以提供用戶下載和查看。
(2)錯誤數據增量與存量統計功能 可以為用戶提供查詢統計功能,使用戶了解到當期新增錯誤數據量以及還有多少待修改錯誤數據量。
(3)考核通報功能考核通報是數據治理的重要手段之一。數據質量管理系統應支持考核報表的自動生成和展現,用于反映數據質量情況和數據治理工作進度。所有考核通報都應以數據質量檢查規則為依托,例如個人客戶信息完整率考核報表,用戶在查詢通報的同時,可以通過通報相對應的檢查規則將不完整客戶清單直接下載到本地,用于后續補錄。
(4)質量監控功能對于時效性較高的問題,要求具有監控和通知功能,一旦發現問題,則應立即通知用戶(包括郵件、短信等方式),保證數據的時效性。