- 智能風(fēng)控與反欺詐:體系、算法與實踐
- 蔡主希
- 257字
- 2021-04-02 09:32:56
3.1.1 原始數(shù)據(jù)清洗
操作數(shù)據(jù)存儲(Operational Data Store,ODS),又被稱為貼源層,是原始數(shù)據(jù)經(jīng)過ETL(Extract-Transform-Load)清洗后存儲的位置。ODS通常有如下幾個作用。
·在業(yè)務(wù)系統(tǒng)和數(shù)據(jù)倉庫之間做了隔離,將業(yè)務(wù)系統(tǒng)產(chǎn)生的原始數(shù)據(jù)備份的同時,保證了兩個系統(tǒng)之間數(shù)據(jù)的一致性。
·存儲了業(yè)務(wù)側(cè)的明細(xì)數(shù)據(jù),方便后續(xù)的查詢和加工以及報表的產(chǎn)出。
·完成數(shù)據(jù)倉庫中不能實現(xiàn)的一些功能,相比于DW和DM層通常使用Hive查詢,ODS一般利用更底層的編程語言加工而成,可以實現(xiàn)一些更復(fù)雜和更高效的ETL操作。
此外,ODS層保留了大量的歷史明細(xì)數(shù)據(jù),通常約定只能增加不能修改,利用時間分區(qū)的方式進(jìn)行區(qū)分。
推薦閱讀
- ICO黑洞:創(chuàng)新融資瘋狂的背后
- 2014年中國資產(chǎn)管理行業(yè)發(fā)展報告:新常態(tài)下的大資管轉(zhuǎn)型
- 數(shù)字貨幣:從石板經(jīng)濟(jì)到數(shù)字經(jīng)濟(jì)的傳承與創(chuàng)新
- 操盤手實戰(zhàn)法則
- 資產(chǎn)分配(原書第5版)
- 全球投資并購:案例與實務(wù)
- 中國企業(yè)對外直接投資分析報告(2014)
- 百年美聯(lián)儲
- 證券物理學(xué)(第一卷):原理及應(yīng)用
- 問道量化投資
- 李嘉誠的投資智慧
- 船舶融資
- 徐遠(yuǎn)的投資課:投資原則與實戰(zhàn)方法
- 金融大革命之移動金融:如虎添翼(e)
- 海龜交易法則(第4版)