官术网_书友最值得收藏!

3.1.1 原始數(shù)據(jù)清洗

操作數(shù)據(jù)存儲(Operational Data Store,ODS),又被稱為貼源層,是原始數(shù)據(jù)經(jīng)過ETL(Extract-Transform-Load)清洗后存儲的位置。ODS通常有如下幾個作用。

·在業(yè)務(wù)系統(tǒng)和數(shù)據(jù)倉庫之間做了隔離,將業(yè)務(wù)系統(tǒng)產(chǎn)生的原始數(shù)據(jù)備份的同時,保證了兩個系統(tǒng)之間數(shù)據(jù)的一致性。

·存儲了業(yè)務(wù)側(cè)的明細(xì)數(shù)據(jù),方便后續(xù)的查詢和加工以及報表的產(chǎn)出。

·完成數(shù)據(jù)倉庫中不能實現(xiàn)的一些功能,相比于DW和DM層通常使用Hive查詢,ODS一般利用更底層的編程語言加工而成,可以實現(xiàn)一些更復(fù)雜和更高效的ETL操作。

此外,ODS層保留了大量的歷史明細(xì)數(shù)據(jù),通常約定只能增加不能修改,利用時間分區(qū)的方式進(jìn)行區(qū)分。

主站蜘蛛池模板: 黄冈市| 东辽县| 资源县| 亳州市| 高阳县| 铅山县| 普宁市| 北流市| 精河县| 东乡族自治县| 惠来县| 班玛县| 疏附县| 基隆市| 博野县| 宜宾市| 昌吉市| 仁化县| 延庆县| 昌吉市| 兰州市| 宁明县| 琼海市| 牡丹江市| 本溪市| 西畴县| 崇阳县| 广灵县| 凤翔县| 乐平市| 平山县| 来宾市| 徐水县| 女性| 丹寨县| 宁化县| 涞水县| 武宁县| 蒲城县| 屏边| 富阳市|