序

在數字經濟時代，數據是最重要的資源要素；同時，新的衍生數據又在源源不斷地產生，企業面臨的一個基本問題就是如何管理和利用這些數據，這對傳統的數據處理方法與分析框架提出了新的訴求和挑戰，也是全球業界與學界最為關心的問題。為了滿足大數據時代對信息的快速處理的需求，一個分布式的開源計算框架Apache Spark應運而生。

經過十年的發展，Spark已經發展成為目前大數據處理的標桿，在整個業界得到了廣泛的使用。對大數據工程師來說，用Spark構建數據管道無疑是很好的選擇，而對數據科學家來說，Spark也是高效的數據探索工具。

作者是我在業界的同事，他是一名大數據架構師，在工作中運用Spark和相關數據處理框架很好地完成了工作任務和創新項目，使公司大數據處理系統高效穩定地運轉并驅動整個公司的業務發展。在與數據愛恨糾纏的工作過程中，作者積累了大量的實踐經驗，我很高興并支持他將在實踐中取得的經驗系統性地總結出來，并寫成本書。我相信本書會為學習Spark的讀者帶來很大的幫助。

袁先智博士 中山大學和蘇州大學特聘教授，International Journal of Financial Engineering主編，成都數聯銘品科技有限公司資深副總裁與首席風險官