官术网_书友最值得收藏!

3.1.1 原始數(shù)據(jù)清洗

操作數(shù)據(jù)存儲(Operational Data Store,ODS),又被稱為貼源層,是原始數(shù)據(jù)經(jīng)過ETL(Extract-Transform-Load)清洗后存儲的位置。ODS通常有如下幾個作用。

·在業(yè)務(wù)系統(tǒng)和數(shù)據(jù)倉庫之間做了隔離,將業(yè)務(wù)系統(tǒng)產(chǎn)生的原始數(shù)據(jù)備份的同時,保證了兩個系統(tǒng)之間數(shù)據(jù)的一致性。

·存儲了業(yè)務(wù)側(cè)的明細(xì)數(shù)據(jù),方便后續(xù)的查詢和加工以及報表的產(chǎn)出。

·完成數(shù)據(jù)倉庫中不能實現(xiàn)的一些功能,相比于DW和DM層通常使用Hive查詢,ODS一般利用更底層的編程語言加工而成,可以實現(xiàn)一些更復(fù)雜和更高效的ETL操作。

此外,ODS層保留了大量的歷史明細(xì)數(shù)據(jù),通常約定只能增加不能修改,利用時間分區(qū)的方式進(jìn)行區(qū)分。

主站蜘蛛池模板: 兴和县| 闽清县| 乐昌市| 嵊州市| 额尔古纳市| 蓬溪县| 乳山市| 深水埗区| 西昌市| 林甸县| 茌平县| 丹棱县| 鸡东县| 高唐县| 德保县| 同仁县| 新密市| 津南区| 桐乡市| 贵港市| 昌黎县| 襄樊市| 罗甸县| 灵寿县| 通州区| 北安市| 米易县| 榆林市| 湘潭市| 临桂县| 府谷县| 永平县| 南雄市| 廉江市| 中江县| 大悟县| 龙南县| 鹰潭市| 平定县| 科技| 杂多县|