2.3.1　運(yùn)行OSD所需服務(wù)器配置推薦

Ceph集群中的每個(gè)節(jié)點(diǎn)都需要通過不同的配置來滿足生產(chǎn)環(huán)境所要求的高效，包含對(duì)CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)等的要求。你可在12.3節(jié)獲取更詳細(xì)的調(diào)優(yōu)建議。本節(jié)概括性地闡述配置推薦。

1.內(nèi)存使用推薦

Ceph集群的性能有很多影響因素，其中每個(gè)磁盤對(duì)應(yīng)的OSD守護(hù)進(jìn)程都需要一定的內(nèi)存來緩存熱數(shù)據(jù)。磁盤數(shù)量的多少?zèng)Q定了每個(gè)存儲(chǔ)節(jié)點(diǎn)中服務(wù)器的內(nèi)存需求量。在采購硬件服務(wù)器的時(shí)候，你應(yīng)該先規(guī)劃存儲(chǔ)容量，然后確定內(nèi)存容量，配合其他衡量指標(biāo)得到最后的服務(wù)器硬件配置參數(shù)。在生產(chǎn)環(huán)境下，部署Ceph集群在兼顧性能的同時(shí)，還有幾種內(nèi)存推薦比例可以使用。

·1GB RAM對(duì)應(yīng)1TB數(shù)據(jù)

·3～6GB RAM對(duì)應(yīng)1 OSD進(jìn)程

·8～12GB RAM對(duì)應(yīng)1 SSD進(jìn)程

例如單存儲(chǔ)節(jié)點(diǎn)有24個(gè)磁盤插槽，其中4個(gè)是SSD插槽，20個(gè)是HDD（SATA/SAS）插槽，你就可以為其配置如下內(nèi)存容量，以保證其能在生產(chǎn)環(huán)境中穩(wěn)定、高效地運(yùn)行。

·16GB RAM（操作系統(tǒng)運(yùn)行+服務(wù)進(jìn)程）

·3～6GB RAM×20（每個(gè)HDD類型的OSD進(jìn)程使用）

·8～12GB RAM×4（每個(gè)SSD類型的OSD進(jìn)程使用或做加速）

綜上所述，我們需要為這樣的服務(wù)器節(jié)點(diǎn)配置184GB（16+6×20+12×4）內(nèi)存。如果你購買的是16GB一條的內(nèi)存條，需要為服務(wù)器配置12條（184/16=11.5，取整）內(nèi)存條，即服務(wù)器節(jié)點(diǎn)內(nèi)容應(yīng)該有192GB。

2.CPU配置推薦

Ceph集群的每個(gè)存儲(chǔ)節(jié)點(diǎn)上都運(yùn)行了許多（根據(jù)磁盤數(shù)量決定）OSD進(jìn)程來執(zhí)行最終數(shù)據(jù)落盤的相關(guān)操作，涉及數(shù)據(jù)的分片和重組，因此對(duì)CPU有一定的要求。目前，對(duì)CPU的依賴程度主要看使用者追求的是哪方面性能，例如數(shù)據(jù)吞吐量和IOPS。

·IOPS（Input/Output Per Second，每秒輸入/輸出量或讀寫次數(shù)）：衡量磁盤性能的主要指標(biāo)之一。IOPS是指單位時(shí)間內(nèi)系統(tǒng)能處理的I/O請(qǐng)求數(shù)量。I/O請(qǐng)求通常為讀寫數(shù)據(jù)操作請(qǐng)求。對(duì)于隨機(jī)讀寫頻繁的應(yīng)用，IOPS是關(guān)鍵衡量指標(biāo)，比如使用MySQL數(shù)據(jù)庫。

·數(shù)據(jù)吞吐量：?jiǎn)挝粫r(shí)間內(nèi)可以成功傳輸?shù)臄?shù)據(jù)量。對(duì)于大量順序讀寫的應(yīng)用，我們更應(yīng)關(guān)注吞吐量指標(biāo)。

簡(jiǎn)而言之：

·磁盤的IOPS，也就是在一秒內(nèi)磁盤執(zhí)行多少次讀寫。

·磁盤的吞吐量，也就是磁盤每秒I/O的流量，即磁盤每秒寫入及讀出的數(shù)據(jù)量。

所以追求IOPS的使用者可以將SSD磁盤作為高性能磁盤存儲(chǔ)設(shè)備，提高單位時(shí)間內(nèi)的讀寫次數(shù)，但這在一定程度上也會(huì)增加Ceph集群的整體造價(jià)。追求吞吐量的使用者可以使用HDD+SSD（加速用）的方式進(jìn)行配置，這樣Ceph集群造價(jià)會(huì)降低很多。如果優(yōu)化得當(dāng)，也能得到不錯(cuò)的IOPS效果。

對(duì)于追求吞吐量的場(chǎng)景，假設(shè)CPU主頻是2GHz，一般每個(gè)HDD類型的OSD進(jìn)程需要分配0.5 ~1core。例如存儲(chǔ)節(jié)點(diǎn)有24個(gè)磁盤插槽（20HDD+4SSD加速盤），在2GHz主頻下要為其配置24core（20×1core（OSD用）+4core（系統(tǒng)用））。如果服務(wù)器是2路CPU，每個(gè)CPU要提供12core。

對(duì)于追求IOPS的場(chǎng)景，假設(shè)CPU主頻是2GHz，一般每個(gè)NVMe SSD類型的OSD進(jìn)程需要分配10core。此種場(chǎng)景對(duì)CPU的要求較高。對(duì)于存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)的用戶，選用吞吐量大的方案即可。

3.網(wǎng)絡(luò)配置推薦

2.1節(jié)提到Ceph集群有兩個(gè)網(wǎng)絡(luò)，要求生產(chǎn)環(huán)境下兩個(gè)網(wǎng)絡(luò)帶寬為萬兆，并且盡可能多端口綁定以增加冗余或者并行帶寬。在生產(chǎn)環(huán)境下，強(qiáng)烈推薦使用獨(dú)立的網(wǎng)絡(luò)部署Ceph。所有集群服務(wù)器內(nèi)萬兆網(wǎng)口都需要使用萬兆交換機(jī)進(jìn)行鏈路打通。一個(gè)典型的萬兆交換機(jī)包含48個(gè)10G端口和4個(gè)40G端口。所有的10G端口用來連接Ceph集群的各個(gè)服務(wù)器，而4個(gè)40G端口用來連接主干交換機(jī)，以提高最大吞吐量。

Ceph集群究竟需要多大網(wǎng)絡(luò)帶寬，這和集群內(nèi)的硬件資源配置有很大關(guān)系，要看追求的是IOPS還是吞吐量。如果是配置在全NVMe SSD的高性能服務(wù)器上，推薦每2個(gè)NVMe SSD類型的OSD使用10G網(wǎng)絡(luò)；如果是配置在追求吞吐量的服務(wù)器上，可以配置12個(gè)HDD類型的OSD使用10G網(wǎng)絡(luò)。而Ceph的兩個(gè)網(wǎng)段將使用相同的配置。以24個(gè)HDD OSD的服務(wù)器磁盤配置為例，Ceph的Cluster和Public網(wǎng)絡(luò)的配置推薦如下。

·Public網(wǎng)絡(luò)：24 OSD/12=2個(gè)10G端口

·Cluster網(wǎng)絡(luò)：24 OSD/12=2個(gè)10G端口

因此，Ceph集群需要4個(gè)10G端口。注意，這里的4個(gè)10G端口不能配置成主備模式，而是真實(shí)的并行帶寬。

4.磁盤配置推薦

Ceph集群的存儲(chǔ)節(jié)點(diǎn)數(shù)量多，每個(gè)節(jié)點(diǎn)的磁盤數(shù)量也很多。其為數(shù)據(jù)安全做了軟件層面的冗余，通過副本或糾刪碼實(shí)現(xiàn)了數(shù)據(jù)安全。另外，如果磁盤配置了磁盤陣列（RAID），也會(huì)給Ceph的性能帶來影響，而且在成本和存儲(chǔ)空間上造成了不必要的浪費(fèi)，因此在硬件層面不推薦配置RAID，將服務(wù)器的磁盤直接配置成JBOD模式即可。如果服務(wù)器不支持JBOD模式，就配置成RAID0。

為了提高Ceph的數(shù)據(jù)讀寫速度，我們還要關(guān)注另外一個(gè)因素——Ceph的數(shù)據(jù)日志加速，不論使用Filestore模式還是Bluestore模式對(duì)Ceph數(shù)據(jù)進(jìn)行底層落盤處理，都需要對(duì)日志落盤進(jìn)行加速，通常會(huì)配置SATA SSD或NVMe SSD作為日志加速盤。而日志加速盤和數(shù)據(jù)存儲(chǔ)盤之間的配比關(guān)系要看選擇的SSD加速盤類型，這里推薦的容量配比如下：

·SATA SSD:HDD=1:5

·NVMe SSD:HDD=1:10

如果使用的是24 HDD×4TB磁盤容量的服務(wù)器，單節(jié)點(diǎn)容量為96TB；如果使用SATA SSD，就要配置約20TB（96/5=19.2）容量的SSD；如果使用NVMe SSD，就要配置9.6TB的NVMe SSD。該配置看起來對(duì)日志加速盤的要求很高。在生產(chǎn)環(huán)境下，你也可以兼顧服務(wù)器磁盤插槽數(shù)量和容量。