- 智能風(fēng)控與反欺詐:體系、算法與實踐
- 蔡主希
- 257字
- 2021-04-02 09:32:56
3.1.1 原始數(shù)據(jù)清洗
操作數(shù)據(jù)存儲(Operational Data Store,ODS),又被稱為貼源層,是原始數(shù)據(jù)經(jīng)過ETL(Extract-Transform-Load)清洗后存儲的位置。ODS通常有如下幾個作用。
·在業(yè)務(wù)系統(tǒng)和數(shù)據(jù)倉庫之間做了隔離,將業(yè)務(wù)系統(tǒng)產(chǎn)生的原始數(shù)據(jù)備份的同時,保證了兩個系統(tǒng)之間數(shù)據(jù)的一致性。
·存儲了業(yè)務(wù)側(cè)的明細(xì)數(shù)據(jù),方便后續(xù)的查詢和加工以及報表的產(chǎn)出。
·完成數(shù)據(jù)倉庫中不能實現(xiàn)的一些功能,相比于DW和DM層通常使用Hive查詢,ODS一般利用更底層的編程語言加工而成,可以實現(xiàn)一些更復(fù)雜和更高效的ETL操作。
此外,ODS層保留了大量的歷史明細(xì)數(shù)據(jù),通常約定只能增加不能修改,利用時間分區(qū)的方式進(jìn)行區(qū)分。
推薦閱讀
- 中國對外直接投資:新環(huán)境、新階段與防風(fēng)險問題研究
- 偉大的轉(zhuǎn)型:金融個性化重塑全球銀行業(yè)
- 互聯(lián)網(wǎng)金融
- 民生導(dǎo)向的政府公共服務(wù)績效評價與改善研究
- 2020中國資產(chǎn)管理發(fā)展趨勢報告(《21世紀(jì)經(jīng)濟(jì)報道》深度觀察)
- 指數(shù)定投實現(xiàn)財務(wù)自由
- 投資最重要的事
- 股指期貨避險比率與效率研究
- 狀告美聯(lián)儲:金融反壟斷的崛起
- 艾略特波浪理論:市場行為的關(guān)鍵(原書第10版)
- 互聯(lián)網(wǎng)金融信息系統(tǒng)的設(shè)計與實現(xiàn)
- 蔓延式創(chuàng)新:一位互聯(lián)網(wǎng)金融創(chuàng)業(yè)者的行業(yè)啟示錄
- 救市博弈
- 資產(chǎn)證券化:中國的實踐(第二版)
- 中國銀行業(yè)專業(yè)人員職業(yè)資格考試真考題庫+押題試卷:個人貸款