- Hadoop大數據平臺集群部署與開發
- 羅文浪等主編
- 392字
- 2021-01-06 18:27:24
項目1 搭建Hadoop開發環境
項目引入
我叫Snkey,是一名大數據分析師,在一家電商公司工作,每天和大量的數據打交道;我的同事Windy負責公司項目的系統運維,監管公司各種網絡問題;而Suzan則是一名資深的Java開發工程師。我們分管不同的部門,但是因為一個項目我們彼此有了交集。
一次會議上,大Boss 提出公司要成立一個專門處理大數據的團隊。
Boss:現在大數據越來越流行了,可謂遍地開花,隨著公司業務的蒸蒸日上,公司的后臺數據日益增長,在大數據時代,數據就是黃金,我們也不能落伍,我們是否考慮把大數據技術引入進來。
我:目前積累的數據已經很龐大了,隨著時間的推移,數據量只會越來越龐大,傳統的數據架構和計算框架在處理一些復雜的業務上已經捉襟見肘,要想挖掘出大量數據中的有用價值,必須運用大數據技術,例如Hadoop、MapReduce、Hive等。
Boss對這個想法大加贊賞,當場就拍板由我們三個人成立一個大數據團隊。
知識圖譜
項目1的知識圖譜如圖1-1所示。

圖1-1 項目1知識圖譜