Contents

1 レ 覈
2 一危 讌 譴螳?
2.1 一危 讌 覓伎瑚?
2.2 レ 一危 讌 伎
2.3 一危 讌 覓語れ
3 一危 讌
3.1 一危 れ殊
3.2 企螻 譯殊 轟 語
3.3 覿豢覿 一危 讌 觜
4 一危 讌 蟲
5 一危 讌 覦
5.1 一危 蟆一
5.2 螳 豈 語狩螳?
5.3 豌襴
5.4 一危 讌 蟯 れ 譟一
6 谿瑚襭


1 レ 覈 #

  • DW 一危 讌 譴讌 覿覈 危危.
  • 殊 一危一 蠍磯 れ 譯殊螻 蠏瑚れ 豌襴 覦覯れ 覦一企.
  • 讌 譬 一危一 レれ 語.
  • 一危 讌 蟲れ れ 覯譯朱れ 蟆螻 蠏瑚れ 覯 蟆.
  • 一危 讌 譯朱螳 危 蟆れ 郁規螻 一危 讌 蟯 れ 譟一碁れ 覦一企.

る貊 螳 れ 覈 覿れ 螳 る 蟆企. 伎螻 蠏碁れ 譴讌 蟆 覲伎企 る DW襦覿 蟆郁骸 豌 螻′ 螳語る 語 . 企 覈視 蟆一 螳語り, 蟆郁記 觜 觜襯 豐蟆 . 一危 讌 覓語 DW襦語 螳 ろ 譴 . れ 一危郁 覦れ 譴企朱 蟆 螳讌襷 DW 襤磯ゼ .

2 一危 讌 譴螳? #

一危 讌 譴 伎
  • 蟆一 襤磯ゼ 覿.
  • 螻螳 觜るゼ 螳ロ蟆 .
  • 觜れ 譬 螳豺襯 覿螳 蠍壱襯 讀螳.
  • 願 蟆一る覿一 螳.
  • 觜, 麹 襷貅 貂 觜 螳.
  • 旧 蟆一 讀讌.
  • 螳蟆壱 豌襴る 一煙 レ.
  • 一危 れ殊 狩螻朱ゼ 狩.

2.1 一危 讌 覓伎瑚? #
覿覿 一危 企Π讌 煙襷 讌譴. 讌襷 DW 一危磯 一危 煙 リ伎 螳 . れ 一危 讌 螳 覓殊企. れ 覓殊 ''手 牛る 企豪 一危 覈 一危 讌 譴 .

  • 螳豌 一危 覈 螳 蟯谿壱る 蟆 覦螳?
  • 一危 覈 れ 覈 煙 螳?

DW 一危 讌 讌 螳螳 一危 覈れ 讌襷 牛 豌企 ろ 讌企. れ 一危 讌 豸′ 谿瑚 襷 襴ろ碁.

一危 讌 豸′ 覈

(accuracy)

一危 蟲煙襦 ろ ル 螳 蠏 一危 伎擦一れ 覦襯 螳企. 螻螳ID 'databaser' 蟇一殊螳 '' 襷る 螳企.

覃 覓願屋(domain integrity)

煙 一危 螳 螻, 螳れ 覯 .

一危 (data type)

一危 1byte 企朱, SQL Server tinyint.

(consistency)

一危 襷穴骸 伎 ろ蟇語 螳 . 襯 れ, ABC 貊螳 1234, 蠏 貊 覈 ろ 1234伎伎 .

譴覲旧(redundancy)

螳 一危磯 螳 伎 レ ル伎 . 覓語企朱 蠏 一危 螳 伎 レ 朱 ル 蠏 譴覲旧 覿覈 碁伎 .

(completeness)

ろ 譯殊伎 煙 暑 螳れ 伎 . 襯 れ, 譯朱 覈 殊 譯朱語 覈 貊 豈語 .

覲旧(deplication)

ろ 貊 覲旧 覯渚蟆 蟆一. 襷 殊 覲旧 貊れ 螳讌 蟆朱 れ覃, 螳 覈 覲旧 貊れ 碁 蟲谿 谿語^(cross-reference)螳 焔.

覓 蠏豺 殊蠍(conformance to business rules)

螳 一危 覈 螳 蠏 覓 蠏豺 譴伎 . 襯 れ, 蟆暑Г ろ 蟆暑Г 轟 襷 螳蟆 螳蟆覲企 .

蟲譟一 覈(structural definiteness)

一危 覈 一る所 螳螳 蟲 襦 蟲譟壱 讌 襷 覈 蟲譟磯ゼ 伎 .

一危 覲豺(data anomaly)

蠏瑚 覈朱襷 伎 .

(clarity)

一危 讌 譬 一危一 覈 るジ 轟焔れ 螳讌 . 蠏碁 襷 れ 蠏 覩碁ゼ 覿覈蟆 危危讌 覈詩覃 蠏 一危磯 れ蟆 螳豺螳 . 麹 覈覈 蟯襦 一危 れ れ蟆 危企伎襦 譴.

(Timely)

れ 一危一 (襷 螳) 蟆一. 襷 れ 螻螳 谿 一危郁 襭 伎 讌 蟆 讌 蠍磯ゼ 蠍磯る ろ 螻螳 一危一 蟯 覲蟆暑れ DW 襷れ朱Г 伎朱 .

(usefulness)

DW 覈 一危 覈 企 蟲れ 襷譟煙貅朱 . DW 一危郁 れ蟆 螳豺螳 る 蠏 一危 螳 DW 蟆 螳

一危 覓願屋 蠏豺 譴(adherence to data integrity rules)

螳豌 覓願屋, 谿語^ 覓願屋 蠏豺 譴伎 . 蠍磯蓋る 螳 螳讌 蟆 企 企 螳豌 覓願屋煙 螳讌讌 覈詩.


2.2 レ 一危 讌 伎 #

  • 螻螳 觜 レ - 螻 覲企 螻螳 觜るゼ 豌蟆 レ
  • 襦 蠍壱 - 蟲谿 覿
  • 觜螻 螳
  • 一 レ
  • 襤一煙 旧 蟆一

2.3 一危 讌 覓語れ #

  • 20給 蠏覈 豌蟲 ろ 襷り 4%螳 覈視る 語 伎 豢 れ 8000襷
  • 豺危襦蠏 襷ろ螳 豺危襦蠏碁ゼ 螻螳り骸 襷 螻螳れ蟆 覿豺蟆曙 一危一 譴覲旧 る 譴覲給 襷 豺危襦蠏瑚 覲企伎 蟆企.

DW 螳 ?
dw_challenges.jpg

譟一 蟆郁骸豌 一危 讌 DW 襦語 螳 企. れ 一危 讌 覓語 襴ろ碁.

  • れ 覩 螳 - 螳 '9999999999' 螳 覩 襦 豈 .
  • 一危 螳れ 覿 - 壱ク覯 蠍壱 螳 .
  • れ 觜螻旧 - 螻螳 譯殊 企伎 煙
  • 蟆讌 螳 - 螳 螳 螳 るジ 覩碁ゼ 螳讌蟇磯 覈襯 .
  • 覈 螳 - AAA 貊 1234碁, るジ 螳 .
  • 覓願豺 覦 - 願 1 365殊 蠍 覿蟲螻 390螻 螳 螳 ル .
  • 蠍磯蓋 - 襦 螻螳れ 螻螳覯碁ゼ 1襦 襦蟆 . (伎 一危磯 豺伎企螻 螳 )
  • 狩讌 覲 - Row襯 狩蟆 蟲覿 .
  • 殊讌 螳 - 焔 Aろ 1,0螻 螳 蟲覿螻, Bろ 'm', 'f'襦 蟲覿.
  • 覿 螳 - A れ Height 100碁, 一危磯 110襦 ル .
  • る - 覈 るジ 襦 . (轟 襦蠏碁襷 譬)
  • 覈視 牛 - ろ 螻襴暑 螳覦襦 螳 ろ 螻螳覯 5555 螳螳 るジ 螻螳 螳襴.

3 一危 讌 #

れ 伎 覲碁.
  • 一危 れ殊
  • 企螻 譯殊 轟 語
  • 覿豢覿 一危 讌 觜

3.1 一危 れ殊 #
  • ろ - ろ 螻手碓襦覿 覦覃伎 ろ 蟆る 一危郁 れ
  • 一危 誤 - 一危一 螳れ る覃伎 覦 覓語. る 一危磯 覩碁 譴煙
  • 伎 ろ 牛
  • 襯 一危磯伎 り - 螳豌企願屋, 谿語^覓願屋 煙 蠏豺れ .
  • 一危 レ 覿 覲

  • 蟲/讌

  • 一危 讌 讌襯 豈れ 蟆一

3.2 企螻 譯殊 轟 語 #
企り骸 譯殊れ ロ 蟆螻 蟯 覈 螳讌 覲語 覓語
  • 狩 れ 覿
  • 譴 企
  • 譴 企
  • 譴 企螻 譯殊
  • 狩 螳瑚骸 企
  • 螳 るジ 譯殊
  • 螳 螻螳 襦 るジ 企螻 谿

螻螳 一危 襯 譴觜伎 螻
  • 企螻 譯殊 一危磯ゼ 覲旧 襷血朱 螻豎 襷 螳
  • 螻螳 貊れ 襷れ広 螻襴讀れ 螻 譴覲給れ 覦蟆伎 .

3.3 覿豢覿 一危 讌 觜 #
  • 覦 覿 蠏手碓 蟆一
  • 轟 'れ' 一危磯 誤 譬 蠍壱
  • ろ 語 殊 一危磯 ろ 覿願骸 觜
  • 覯蠏 覿殊 覦朱 誤 覿 蠍郁る覿一 覯蠍
  • 螳(audit) 覓語 願屋
  • 覿蟆 譴覲給 一危
  • 殊讌 覲願
  • 一危 殊 覦蟆 襷 一危磯ゼ 伎 螳螻 碁

4 一危 讌 蟲 #

一危 讌 蟲 蠍磯蓋 蠍磯
  • 一危 る 覦蟆(data error discovery) - 襴手骸 覿殊
    • 觜襴 蠏碁Μ螻 所 譴覲 貊れ
    • 覯 覃 螳れ 覯襯 覯企 螳 螳讌 一危 覈れ
    • 覿殊 一危磯ゼ 覦蟆
    • 螳れ 覯襯 豌危
    • 讌 るる覿 一危 覈り 覿殊焔れ 螳
    • れ 一危 讌 覓語襯 誤螻 豸′ 襦
    • 螳 讌 磯 一危 讌 蟆渚レ 螳
    • 覿 一危一 讌 蟯 れ蟆 覲願
    • RDBMS 谿語^ 覓願屋 覓語襯 譟一
  • 一危 蟲(data correction) - 殊 一危 (parse, 覲, 襷れ, 牛, 朱 螻襴讀)
    • 覿殊 一危磯ゼ 蠏
    • るジ 一危 る覿一 一危 覲 レ
    • 螳 蠏碁9 螻螳 貊れ 蠏碁9螻 郁
    • 一危 讌 豸′覯 螻
    • 螳れ

讌 蟯襴襯 DBMS
  • 覃 覓願屋
  • 螳煙 覲伎
  • 螳豌 覓願屋 豌危
  • 覿 螳れ 豕
  • 谿語^ 覓願屋 豌危
  • 覓 蠏豺 殊蠍

5 一危 讌 覦 #

一危 覓願螻 覦 碁
  • 一危 讌襭螻 螳 る 蟇碁Π. 覯る 蟲れ , 蠍一企 貊 , 蠏碁Μ螻 瑚骸 蟆 讌蠍 れ 譟壱 蟲. 襷 れ 碁レ 讌 . 願 襷 IT 覓瑚れ 讀蠍磯 譬襯 .
  • 襷 ろ 覃一危郁 覿る蟇磯 譟伎讌 . 覓語 れ 一危磯ゼ 譟一る 蟆 企糾碓 覿螳ロ蠍一^谿 .
  • 一危 讌 誤襦 れ 襷 るジ 覓 豈れ 襷♀ . 一危 讌 襷 豕 蟯 覦 蟆企.
  • 襦 一危 覓 豌螻 襷 蟆豌 覲伎 れ 一危 覦(data cleansing initiative) 谿 蟆 れ .

螳讌 蠏 覦覯
  • 100% 讌 螳讌 一危磯 DW襦 る 蟆. 一危 讌 蟯覲企 伎企 覈 一危郁 襯 蠍 蟾讌 襷れ る 螳 蟇碁Υ 蟆企.
  • 讌覃伎 蠍(clean as you go). 朱 蠏碁襦 DW 螻 . 一危磯ゼ 讌襷 一危郁 蠍 蟾讌 企 讌 る

5.1 一危 蟆一 #
覓願屋 一危 讌 瑚 れ 朱 蟆 蟾螻, れ願 れ 襦 伎狩. 覈 (fitness for purpose)襴襯 豢蟲伎 .

覈 (fitness for purpose)
  • 螻螳 25覈 襷 蠍′ る 一危 讌 一伎 .
  • 螻螳 瑚規糾螳 襷貅 貂語 襷 る 一危 讌 譴 蟆企.

蠍磯蓋 蟆一
  • 企 一危磯ゼ 螳? (which data to cleanse)
  • 企 一危磯ゼ 螳? (where to cleanse)
  • 企至 螳? (how to cleanse)
  • 企至 一危 れ殊 襯 覦蟆螳? (how to discover the extent of data pollution)
  • 一危 讌 蟆一蠍 (setting up a data quality framwork)

5.2 螳 豈 語狩螳? #
  • 一危 觜 - 讌, 覲願, 覿 DW襯 . 一危 讌 覦れ 襷 譴る 襴
  • 一危 一 - ろれ 一危 レ 讌 豈 .
  • 一危 覓瑚 - ろれ 譯殊 一危 蠏 豌伎 覓瑚. ろれ 一危 れ殊 誤 豈
  • 一危 豈 蟯襴 - 一危郁 覲 DW襦 蟆螳 磯, 蟠蠏轟朱 一危 殊 願屋 豈
  • 一危 覓願屋 覓瑚 - ろ 一危郁 覓 蠏豺 殊讌襯 覲伎 豈
  • 一危 蟲 蟠 - 蟲れ企 蠍一 企 襦蠏碁れ 牛 れ朱 一危 蠍磯れ 豈
  • 一危 殊 覓瑚 - DW(れ DM) 覈 一危郁 殊讌襯 覲伎 豈

5.3 豌襴 #
覈 一危 讌 100% 譴 蟾讌 DW 襯 覲企る 蟆 觜れ企. 蠏碁る 朱 襷 一危磯ゼ 轟 り 蟆螳? 豌襴(purification process)襯 語 覃豢伎 螳? れ, 磯Μ 螳 一危磯ゼ 蟆願, 企 覈朱 蟆語 蟯 伎れ . 螳 覿 一危磯 誤 り骸 れ 豢. るれ 蟆郁骸襯 螳語れ る 螳 , れ 覲危 企 るれ . れ 豌襴 伎 曙企.

  • 一危 讌 譴煙 襴渚.
  • 一危 讌 豢讌 襯 燕.
  • 一危 讌 襯 襷る.
  • り骸 豈れ 覿.
  • 一危 豌襴襯 蟲れ .
  • 襦 蠍一 企 襦蠏碁 譴觜.
  • 一危 蠍磯れ 谿語れ 貅.
  • 一危 譴れ 蟆螻 蟇郁鍵 殊貅.
  • 一危磯ゼ , 譴螳, 覯譯朱 一襯 .
  • 譴覲 貊れ 蟲螻, 碁 一危磯ゼ 螳 蠍磯れ 螳ロる 蟆 誤.
  • 伎 れ譴 磯 豌襴襯 讌.

5.4 一危 讌 蟯 れ 譟一 #
  • ロ れ るれ 誤螻, 願る覿 轟 豌襴襯 .
  • 覈 蟆 蠍一 企 襦蠏碁る り 讌襷.
  • 蟲れ 譬螻 . 覦襯 蟲れ .
  • 譴 螻, 願れ 誤.
  • 一危 讌 轟 覓 覈り骸 蟯貅. 一危 讌 , 蠏瑚襷朱 襷る 殊 .
  • DW 襦 螻 襯 一危 覦襯 讌讌 蠏轟朱 蟯る襦 .
  • 豌願 蟯襦 螻, 蠏碁れ 螳覦 蟯 螻 覲企ゼ 螳襦 .
  • 企讌 螻褐, 碁 覓瑚れ 轟 螻殊 企れ企襦 .

6 谿瑚襭 #