1.3 重要的Python庫

對于那些對Python數據生態系統以及本書所使用的類庫不太熟悉的人士，我將簡要地介紹一部分重要的庫。

1.3.1 NumPy

NumPy（http://numpy.org）是Numerical Python的簡寫，是Python數值計算的基石。它提供多種數據結構、算法以及大部分涉及Python數值計算所需的接口。NumPy還包括其他內容：

· 快速、高效的多維數組對象ndarray

· 基于元素的數組計算或數組間數學操作函數

· 用于讀寫硬盤中基于數組的數據集的工具

· 線性代數操作、傅里葉變換以及隨機數生成

· 成熟的C語言API，允許Python拓展和本地的C或C++代碼訪問NumPy的數據結構和計算設施。

除了NumPy賦予Python的快速數組處理能力之外，NumPy的另一個主要用途是在算法和庫之間作為數據傳遞的數據容器。對于數值數據，NumPy數組能夠比Python內建數據結構更為高效地存儲和操作數據。此外，用底層語言編寫的庫，例如用C或Fortran編寫的庫，可以在NumPy數組存儲的數據上直接操作，而無須將數據復制到其他內存中后再操作。因此，許多Python的數值計算工具將NumPy數組作為基礎數據結構，或與NumPy進行無縫互操作。

1.3.2 pandas

pandas（http://pandas.pyda ta.org）提供了高級數據結構和函數，這些數據結構和函數的設計使得利用結構化、表格化數據的工作快速、簡單、有表現力。它出現于2010年，幫助Python成為強大、高效的數據分析環境。在本書中主要使用的pandas對象是DataFrame，它是用于實現表格化、面向列、使用行列標簽的數據結構；以及Series，一種一維標簽數組對象。

pandas將表格和關系型數據庫（例如SQL）的靈活數據操作能力與NumPy的高性能數組計算的理念相結合。它提供復雜的索引函數，使得數據的重組、切塊、切片、聚合、子集選擇更為簡單。由于數據操作、預處理、清洗在數據分析中是重要的技能，pandas將是本書的重要主題。

介紹一點背景知識，早在2008年，我在一家量化投資企業——AQR資本管理公司供職時，便開始了pandas的開發。那時候，我有一些獨特的需求是工具清單上任何單個工具無法滿足的：

· 帶有標簽軸，支持自動化或顯式數據對齊功能的數據結構——這可以防止未對齊數據和不同數據源的不同索引數據所引起的常見錯誤

· 集成時間序列函數功能

· 能夠同時處理時間序列數據和非時間序列數據的統一數據結構

· 可以保存元數據的算術操作和簡化

· 靈活處理缺失數據

· 流行數據庫（例如基于SQL的數據庫）中的合并等關系型操作

我想將以上的工作在同一個地方完成，最好還能在一個擁有通用軟件開發能力的語言中實現。Python就是一個很好的備選項，但是那時候并沒有這類數據結構的整合集，也沒有能提供相關功能的工具。結果就是pandas最初被開發出來用于解決金融和商業分析問題，pandas尤其擅長深度時間序列和處理商業進程中產生的時間索引數據。

使用R語言進行統計計算的用戶對DataFrame的名稱會非常熟悉，因為這個對象是根據相似的R data.frame對象進行命名的。與Python不同的是，數據框在R語言中是標準庫中的內容。因此，pandas中的很多特征通常與R核心的實現或者R的附加庫提供的功能一致。

pandas的名字的來源是panel data，這是計量經濟學中針對多維結構化數據集的術語。pandas也是Python data analysis（Python數據分析）自身的簡寫短語。

1.3.3 matplotlib

matplotlib（http://matplotlib.org）是最流行的用于制圖及其他二維數據可視化的Python庫。它由John D. Hunter創建，目前由一個大型開發者團隊維護。matplotlib被設計為適合出版的制圖工具。對于Python編程者來說也有其他可視化庫，但matplotlib依然使用最為廣泛，并且與生態系統的其他庫良好整合。我認為將它作為默認可視化工具是一個安全的選擇。

1.3.4 IPython與Jupyter

IPython項目（http://ipython.org）開始于2001年，由Fernando Pérez發起，旨在開發一個更具交互性的Python解釋器。在過去的16年中，它成為Python數據技術棧中最重要的工具之一。盡管它本身并不提供任何計算或數據分析工具，它的設計側重于在交互計算和軟件開發兩方面將生產力最大化。它使用了一種執行-探索工作流來替代其他語言中典型的編輯-編譯-運行工作流。它還提供針對操作系統命令行和文件系統的易用接口。由于數據分析編碼工作包含大量的探索、試驗、試錯和遍歷，IPython可以使你更快速地完成工作。

2014年，Fernando和IPython團隊發布了Jupyter項目（http://jupyter.org）。Jupyter項目旨在設計一個適用于更多語言的交互式計算工具。IPython web notebook則成為Jupyter notebook，可以支持超過40種編程語言。IPython系統目前可以作為一個內核（一種編程語言模式）用于在Jupyter中使用Python。

IPython自身已成為Jupyter開源項目中的一個組件，后者提供交互性、探索性的高效環境。IPtyhon最古老、最簡單的“模式”就是一個加強版的Python命令行，用于提高編寫、測試、調試Python代碼的速度。你也可以通過基于Web、支持多語言的代碼“筆記本”——Jupyter Notebook來使用IPython系統。IPython命令行和Jupyter notebook對于數據探索和可視化非常有用。

Jupyter notebook系統允許你使用Markdown和HTML創建包含代碼和文本的富文檔。其他編程語言也針對Jupyter實現了內核，允許你在Jupyter中使用多種語言而不僅僅是Python。

對我個人來說，IPython涉及我工作的大部分內容，包括運行、調試、測試代碼。

在隨書資料（http://github.com/wesm/pydata-book）中，你可以找到包含本書所有章節示例代碼的Jupyter notebook。

1.3.5 SciPy

SciPy（http://scipy.org）是科學計算領域針對不同標準問題域的包集合。以下是SciPy中包含的一些包：

scipy.integrate

數值積分例程和微分方程求解器

scipy.linalg

線性代數例程和基于numpy.linalg的矩陣分解

scipy.optimize

函數優化器（最小化器）和求根算法

scipy.signal

信號處理工具

scipy.sparse

稀疏矩陣與稀疏線性系統求解器

scipy.special

SPECFUN的包裝器。SPECFUN是Fortran語言下實現通用數據函數的包，例如gamma函數。

scipy.stats

標準的連續和離散概率分布（密度函數、采樣器、連續分布函數）、各類統計測試、各類描述性統計。

SciPy與NumPy一起為很多傳統科學計算應用提供了一個合理、完整、成熟的計算基礎。

1.3.6 scikit-learn

scikit-learn項目（http://scikit-learn.org）誕生于2010年，目前已成為Python編程者首選的機器學習工具包。僅僅七年，scikit-learn就擁有了全世界1500位代碼貢獻者。其中包含以下子模塊。

· 分類：SVM、最近鄰、隨機森林、邏輯回歸等

· 回歸：Lasso、嶺回歸等

· 聚類：k-means、譜聚類等

· 降維：PCA、特征選擇、矩陣分解等

· 模型選擇：網格搜索、交叉驗證、指標矩陣

· 預處理：特征提取、正態化

scikit-learn與pandas、statsmodels、IPython一起使Python成了高效的數據科學編程語言。本書中并不會提供詳細的scikit-learn指引，但我會簡要介紹scikit-learn中的一些模型以及如何與本書中出現的其他工具一起使用這些模型。

1.3.7 statsmodels

statsmodels（http://statsmodels.org）是一個統計分析包。它源自斯坦福大學統計學教授Jonathan Taylor利用R語言實現的各類分析模型。Skipper Seabold和Josef Perktold早在2010年便創建了新的statsmodels項目。自那之后該項目迅速成長，擁有大量活躍用戶和貢獻者者。Nathaniel Smith開發了Patsy項目，為R語言公式系統所驅動的statsmodels包提供公式、模型規范框架。

與scikit-learn相比，statsmodels包含經典的（高頻詞匯）統計學、經濟學算法。它所包含的模型如下。

· 回歸模型：線性回歸、通用線性模型、魯棒線性模型、線性混合效應模型等

· 方差分析（ANOVA）

· 時間序列分析：AR、ARMA、ARIMA、VAR等模型

· 非參數方法：核密度估計、核回歸

· 統計模型結果可視化

statsmodels更專注于統計推理，提供不確定性評價和p值參數。相反，scikit-learn更專注于預測。

和scikit-learn一樣，我將簡要介紹如何與NumPy和pandas一起使用statsmodels。