2.1　Ceph集群的組成架構

Ceph集群服務端主要有3種類型的守護進程，每種類型的守護進程最后都被規劃到特定服務器節點上。下面對這3種類型的守護進程進行簡單描述。

1）Ceph OSD：利用Ceph節點上的CPU、內存和網絡進行數據復制、糾錯、重新平衡、恢復、監控和報告等。

2）Ceph Monitor：維護Ceph集群的主副本映射、Ceph集群的當前狀態以及處理各種與運行控制相關的工作。

3）Ceph Manager：維護Placement Group（放置組）有關的詳細信息，代替Ceph Monitor處理元數據和主機元數據，能顯著改善大規模集群的訪問性能。Ceph Manager處理許多只讀Ceph CLI的查詢請求，例如放置組統計信息。Ceph Manager還提供了RESTful API。

Ceph客戶端接口負責和Ceph集群進行數據交互，包括數據的讀寫。客戶端需要以下數據才能與Ceph集群進行通信。

·Ceph配置文件或集群的名稱（通常命名為ceph）、Monitor地址

·存儲池名稱

·用戶名和密鑰路徑

Ceph客戶端維護對象ID和存儲對象的存儲池名稱。為了存儲和檢索數據，Ceph客戶端訪問Ceph Monitor并檢索最新的Cluster Map副本，然后由Ceph客戶端向Librados提供對象名稱和存儲池名稱。Librados會使用CRUSH算法為要存儲和檢索的數據計算對象的放置組和主OSD。客戶端連接到主OSD，并在其中執行讀取和寫入操作。

圖2-1展示了Ceph集群的組成架構。它包含構建一個Ceph集群所需的必要功能節點以及網絡關聯關系，只有少部分集群的網關節點未在圖中顯示。

圖2-1　Ceph集群的組成架構

圖2-1中有兩個重要的關注點。

（1）網絡

這里有兩個萬兆網絡，集群對外通信網絡和集群內部通信網絡。我們也可以在該網絡中增加一個管理網絡，但由于管理數據的流量很小，可將管理網絡和公網網絡合并。

由于Ceph集群最初的設計是為了提高集群的性能，并且考慮到集群網絡的帶寬要求，因此將集群內部流量與客戶端到集群流量進行隔離，從而設計了兩層網絡。在較小的集群上，1G網絡可能適用于正常操作環境，但不適用于繁重的負載或故障恢復環境。如果驅動器發生故障，則跨1G網絡復制1TB數據需要3小時。這對于集群的使用體驗來說是不能接受的。而對于10G網絡，復制同樣的數據時間則在20分鐘內。這也是生產環境中一定要使用萬兆網絡，甚至服務器綁定多萬兆網卡的原因。

（2）服務器

這里面的服務器分了幾種角色，每種角色都對應集群的一類功能，主要包括MON（Ceph集群的Monitor節點）、OSD（Ceph集群的存儲節點）、MGR（Ceph集群的管理節點）、RGW（Ceph集群的對象網關節點）、MDS（CephFS元數據節點）、iSCSI網關、NFS集群網關和Ceph客戶端。

接下來，我們對集群中涉及的主要服務器角色進行逐一分析，闡述其具體功能。