3.6 數據中心可靠性/可用性模型

數據中心在一個物理空間內實現對數據信息的集中處理、存儲、傳輸、交換、管理，一般含有計算機設備、服務器設備、網絡設備、通信設備、存儲設備等關鍵設備。

數據中心基礎設施（Data Center Infrastructure）是為確保數據中心的關鍵設備和裝置能安全、穩定和可靠運行而設計、配置的基礎工程，也稱機房工程（Facility Site Engineering）。數據中心基礎設施的設計、建設和管理不僅要為數據中心中的系統設備運營管理和數據信息安全提供保障環境，還要為工作人員創造健康、適宜的工作環境。

目前，國內、外與數據中心有關的工程建設標準主要有中國建設部發布的國家標準《電子信息系統機房設計規范》（GB 50174—2008）、美國通信工業協會（TIA）發布的《Tel-ecommunications Infrastructure Standard for Data Centers，數據中心的通信基礎設施標準》（AN-SI/TIA942-2005）、中國信息產業部發布的《電信專用房屋設計規范》（YD/T5003—2005）等，它們是數據中心建設定位、功能指標、設計技術、施工工藝、驗收標準等的具體技術要求與體現。

3.6.1 中國國家標準GB 50174—2008對電子信息機房可靠性/可用性的要求

中國國家標準，即《電子信息系統機房設計規范》（GB 50174—2008）結合中國國情實際，社會經濟發展情況，根據數據中心的使用性質、管理要求及在社會經濟中的重要性對機房分級，主要從機房選址、建筑結構、機房環境、供電電源、機房布線、監控管理等方面，將數據中心分為A、B、C三個級別。

1. 最高級（A級）

電子信息機房（數據中心基礎設施）關鍵設備按容錯要求配置，有多路回路承擔信息系統。由于系統中消除了單點故障點，所以意外事故、操作失誤、維護工作等都不會導致數據中心信息系統運行中斷。該型數據中心的供電系統由兩套冗余配置的系統組成，由于系統具有完整的兩套互為備份的供電系統，所以可用度都大大提高，主要應用于核心數據中心。

2. 中間級（B級）

電子信息機房（數據中心基礎設施）關鍵設備按冗余要求配置，在設備冗余能力范圍內，不會因為設備故障和維護需要，而導致數據中心信息系統運行中斷。但是，由于系統存在單點故障點，意外事故、操作失誤等會導致數據中心信息系統運行中斷。該型數據中心供電系統冗余配置，由于系統關鍵設備具有冗余配置，所以可用度都較高，廣泛應用于中、小型數據中心。

3. 基本級（C級）

電子信息機房（數據中心基礎設施）按基本需求配置，在設備正常運行情況下，保證數據中心信息系統運行不中斷。但是，由于系統存在單點故障點，所以操作失誤、設備故障和維護需要等會導致數據中心信息系統運行中斷。該型數據中心供電系統最簡單，由于系統無冗余，所以可用度都最低，應用于一些簡單的小型數據中心。

表3-2列出了國標《電子信息系統機房設計規范》（GB 50174—2008）中對于數據中心各部分對應不同可靠性等級的配置要求，包括機房選址、建筑結構、機房環境、供電電源、機房空調、機房布線等。

（1）數據中心的建筑結構。建筑結構主要包括數據房間結構、供排水系統、照明系統等，保證了數據中心基本穩定，安全進出環節。

（2）數據中心的供電系統。數據中心的供電系統主要包括保障主設備用電的UPS供電系統和配電管理系統，UPS、空調等其他設備用電的市電電源和柴油發電機的后備電源，以及相應的配電系統，保證了數據中心用電設備的用電可靠，確保數據正常可靠的運行。

（3）數據中心的環境控制系統。數據中心的環境控制系統主要包括保障主設備的機柜系統、機房空調系統，保證了數據中心設備運行的安全穩定的環境系統。

（4）數據中心的綜合布線系統。數據中心的綜合布線系統主要包括連接和管理主設備的綜合布線系統、KVM等管理系統，保證了數據中心網絡的可靠穩定運行。

3.6.2 美國數據中心標準ANSI/TIA942—2005對可靠性/可用性的要求

美國通信工業協會（TIA）發布的ANSI/TIA942—2005標準，即《Telecommunications In-frastructure Standard for Data Centers（數據中心的通信基礎設施標準）》描述了對各類數據中心或計算機房的建筑結構、供電系統、環境控制系統和網絡布線系統等基礎設施的不同可靠性要求和配置，共分為4級。

在《數據中心的通信基礎設施標準》中，根據數據中心基礎設施（如供電、空氣調節、綜合布線及其他系統）的可用性（Availability）、穩定性（Stability）和安全性（Security）分為4個等級。

1. 等級I——基本級

等級I型數據中心配有不間斷供電系統和制冷系統。這些系統可以承擔基本的關鍵的負荷，但無冗余配置。UPS、空調等設備根據負荷容量配置。因此，系統中有多個單點故障點。無論是有計劃的維護、修理和擴容，還是運行故障和意外事故都會導致系統運行中斷。等級I型數據中心基礎設施系統滿足了數據中心的最基本要求。

2. 等級II——部件冗余級

等級II型數據中心配有不間斷供電系統和制冷系統的主要設備、部件采用冗余配置，系統的容量配置為“N+1”，“N”為關鍵負荷量。例如，UPS、柴油發電機采用“N+1”冗余并機配置，空調采用“N主1備”配置。因此，大部分有計劃的維護、修理和擴容，以及運行故障和意外故障都不會引發系統運行中斷。

等級II型數據中心通過冗余配置，提高了基礎設施系統的可靠性。

3. 等級III——在線維護級

等級III型數據中心配有不間斷供電系統和制冷系統采用多條分配回路，但只有一條回路在線承擔負荷。當在線的回路需要維護或者出現故障時，啟動另一條回路承擔負荷，例如，大型數據中心的冷凍水空調系統，配置兩套獨立的管路。因此，有計劃的維護、修理和擴容，以及大部分運行故障和意外故障都不會引發系統運行中斷。

等級III的數據中心可實現在線維護，常被設計成可升級等級IV的數據中心。

4. 等級IV——故障容錯級

等級IV型數據中心配有不間斷供電系統和制冷系統采用多條分配回路，并同時在線，共同承擔負荷。當在線的回路需要維護或者出現故障時，另一條回路可以承擔所有負荷，如“S+S”的雙電源系統，兩套獨立的“N+1”冗余UPS供電系統。等級IV型數據中心需要計算機硬件設備有故障容錯的雙電源輸入。該型數據中心系統中沒有單點故障點，因而任何計劃的維護、修理和擴容，以及運行故障和意外故障都不會引發系統運行中斷。

等級IV的數據中心可防止單點故障對系統的影響，實現最高可靠性的應用。

ANSI/TIA942—2005對數據中心可靠性/可用性的要求如表3-3所示。

3.6.3 數據中心基礎設施可靠性模型

對于數據中心基礎設施的各子系統的可靠性，建筑結構、供電、空氣調節、綜合布線等系統決定了數據中心的可靠性運行。下面按照國標《電子信息系統機房設計規范》（GB 50174—2008）的分級要求，對各個子系統的各個級別相應配置分別進行可靠性模型的分析。

1. 建筑結構子系統的可靠性

建筑結構子系統可靠性因為涉及建筑及結構的可靠性/可用性，涉及用戶使用狀況、地質條件與災害等，屬于非常復雜的專題，所以本書不討論該子系統。

在考慮建筑結構子系統的可靠性/可用性過程中，建議數據中心的設計者、用戶按照相關標準、規范，合理地選擇數據中心位置，如避免強干擾、地震、爆炸、環境污染等危險，方便的運輸條件，進行科學機房分區布局等，提高數據中心建筑結構系統的可靠性/可用性。

2. 供電子系統的可靠性

供電系統指的是從市電變壓器、發電機組之后，包括ATS自動切換開關、配電系統、UPS、供電電纜等環節，如圖3-13所示。

供電系統應由高低壓供配電管理系統、UPS供電系統及后備電源系統組成。它們相互之間的配置是否合理決定了整個供電系統的可靠性。科學合理的供電系統，可確保數據中心長期高效地運行。

主要供電子系統和部件的故障率和修復率數據如表3-4所示。

根據表3-4中數據，由公式可計算出主要供電子系統和部件的可用度，如表3-5所示。

根據表3-5的數據及相關供電子系統可靠性模型，可計算供電子系統相關子系統可用度。

1）配電子系統可用度

配電系統可靠性模型如圖3-14所示。

這是個串聯模型，并從表3-5查得：

A1=0.999999834738

A2=0.999999121013

因而配電系統的可用度為：

A=A1×A2×A1×A2×A1=0.999997746241

2）電網可用度

220V/380V電網（數據中心市電電源）系統可靠性模型如圖3-15所示。

這是個串聯模型，根據國家電力公司電力可靠性管理中心數據，2007年10kV電網的可用度為0.998817，及由表3-5查得：

A1=0.998817

A2=0.999999834738

A3=0.999999121013

A4=0.999800004444

因而220V/380V電網電源系統的可用度為：

A=A1×A2×A3×A2×A4×A2×A3×A2=0.998814583841

數據中心供電系統由市電電源、備用電源（備用市電、備用發電機）、低壓配電系統、UPS系統（包含電池）、機柜專用配電等子系統構成。根據上面的分析，各級數據中心供電系統可用度如下。

3）C級數據中心供電系統可用度

國標C級數據中心供電系統（基本配置為N）可用度框圖如圖3-16所示，包括單路市電電源、低壓配電系統、無冗余UPS系統、機柜專用配電系統組成了最簡單的數據中心供電系統。

供電系統可用度為：

A=[1-（1-A1×A2）×（1-A3）]×A4×A5

其中，電網可用度A1=0.998814583841。

配電系統可用度A2=A5=0.999997746241。

根據表3-5，UPS主機可用度：A3=0.999948839291。

UPS電池可用度：A4=0.999983030881。

計算得可用度：A=0.999941506652。

4）B級數據中心供電系統可用度

國標B級數據中心供電系統（冗余配置級為N+1）可用度框圖如圖3-17所示，包含市電電源、備用電源（柴油發電機）、低壓配電系統、UPS冗余并機系統、專用機柜分配電系統。

供電系統可用度為：

A=A1.2×A6.1×A7

其中，UPS輸入電源的可用度為：

A1.2=[1-（1-A1.1）×（1-A5）]

交流輸入電源的可用度為：

A1.1=[1-（1-A1）×（1-A2）]×A3×A4

UPS“1+1”冗余并機系統的可用度為：

A6.1=[1-（1-A6）2]

其中，電網可用度：A1=0.998814583841。

配電系統可用度：A4=A7=0.999997746241。

根據表3-5，柴油發電機可用度：A2=0.999932020398。

ATS可用度：A3=0.999943780437。

UPS主機可用度：A5=0.999948839291。

UPS電池可用度：A6=0.999983030881。

計算得可用度：

A1.1=0.999941446225

A1.2=0.999999999006

A6.1=0.999999997383

A=0.999997742630

5）A級數據中心供電系統可用度

國標A級數據中心供電系統（容錯配置為2（N+1））可用度框圖如圖3-18所示，包含兩路市電電源、備用電源、兩套低壓配電系統、冗余UPS系統、兩路專用機柜分配電系統，組成了兩套冗余配置的數據中心供電系統。

雙電源關鍵負載的供電系統可用度為：

A=A1.2×[1-（1-A6.2）2]

單電源關鍵負載的供電系統可用度為：

A′=A1.2×[1-（1-A6.2）2]×A8

其中，UPS輸入電源的可用度為：

A1.2=[1-（1-A1.1）×（1-A5）]

交流輸入電源的可用度為：

A1.1=[1-（1-A1）×（1-A2）]×A3×A4

UPS“1+1”冗余并機系統的可用度為：

A6.1=[1-（1-A6）2]

一條母線供電系統的可用度為：

A6.2=A6.1×A7

其中，電網可用度A1=0.998814583841。

配電系統可用度A4=A7=0.999997746241。

根據表3-6，柴油發電機可用度：A2=0.999932020398。

ATS可用度：A3=0.999943780437。

UPS主機可用度：A5=0.999948839291。

UPS電池可用度：A6=0.999983030881。

計算得可用度：

A1.1=0.999941446225

A1.2=0.999999999006

A6.1=0.999999997383

A6.2=0.999997743624

雙電源關鍵負載的供電可用度為：

A=0.999999999001

根據表3-5，STS的可用度：A8=0.999993605157。

單電源關鍵負載的供電可用度為：

A′=0.999993604158

3. 空氣調節子系統的可靠性模型

數據中心空氣調節系統由市電電源、備用電源（備用市電、備用發電機）、低壓配電系統、機房專用空調系統、機柜系統構成。根據國標《電子信息系統機房設計規范》（GB 50174—2008），不同的冗余配置對應不同的可靠度要求的數據中心。

根據國標《電子信息系統機房設計規范》（GB 50174—2008），冷凍機組、冷凍和冷卻水泵的配置與機房專用空調相同：C級為N、B級為N+1、A級為N+X（X=1～N）。因此，風冷型、冷凍水型、水冷型、乙二醇型等機房空調的可靠性模型可統一為一種類型。雙冷源型機房空調采用雙冷源，其可靠性高于前述幾種類型機房空調，但應用較前述幾種類型機房空調的少。在空氣調節系統可靠性模型分析中，機房專用空調系統可靠性采用風冷型、冷凍水型、水冷型、乙二醇型等機房空調的可靠性模型。

根據目前業界主流機房空調品牌的各類機房空調的應用，機房空調的MTBF大約為15萬h，MTTR大約為4h。根據公式，可計算機房空調系統的可用度為A=0.999973334044。

機房空調系統有多種送風方式，如地板下送風、風道上送風、風帽上送風等。地板下送風方式為機房空調將冷風送入地板下的靜壓箱，從防靜電地板送入機柜，冷卻后機柜內設備后，經機房送回空調機組；上送風方式為機房空調將冷風送入機房內機柜，冷卻后機柜內設備后，經機房送回空調機組。機柜及防靜電地板為機械結構設備，失效率低，可靠性高且易更換，可用度非常高。根據應用經驗可認為機柜及防靜電地板合成的機柜系統的可用度為1。

根據上一節分析結果，可得空氣調節子系統和部件的可用度的數據如表3-6所示。

根據表3-6中數據及相關空氣調節子系統可靠性模型，可計算各個等級數據中心空氣調節子系統可用度。

1）C級數據中心空氣調節系統可用度

國標C級數據中心空氣調節系統（基本配置為N）可用度框圖如圖3-19所示。單路市電電源、低壓配電系統、無備份機房專用空調系統、機柜系統組成了最簡單的數據中心空氣調節系統。

空氣調節系統可用度為：

A=A1×A2×A3×A4

根據表3-6，電網可用度：A1=0.998814583841。

配電系統可用度：A2=0.999997746241。

機房空調系統可用度：A3=0.999973334044。

機柜系統可用度：A4=1。

計算得可用度：

A=0.998785698469

2）B級數據中心空氣調節系統可用度

國標B級數據中心空氣調節系統（冗余配置級為N+1）可用度框圖如圖3-20所示。

兩路市電電源、備用電源、低壓配電系統、有冗余備份機房專用系統、機柜系統組成了冗余配置的數據中心空氣調節系統。

空氣調節系統可用度為：

A=A1.1×A5.1×A6

其中，交流輸入電源的可用度為：

A1.1=[1-（1-A1）×（1-A2）]×A3×A4

“1+1”冗余備份機房空調系統的可用度為：

A5.1=[1-（1-A5）2]

根據表3-6，電網可用度：A1=0.998814583841。

柴油發電機系統可用度：A2=0.999932020398。

ATS系統可用度：A3=0.999943780437。

配電系統可用度：A4= 0.999997746241。

機房空調系統可用度：A5=0.999973334044。

機柜系統可用度：A6=1。

計算得可用度：

A1.1=0.999941446225

A5.1=0.999999999289

A= 0.999941445514

3）A級數據中心空氣調節系統可用度

國標A級數據中心空氣調節系統（容錯配置為N+N）可用度框圖如圖3-21所示。兩路市電電源、備用電源、兩套低壓配電系統、N+N冗余機房專用空調系統、機柜系統組成了兩套冗余配置的數據中心空氣調節系統。

關鍵負載的空氣調節系統可用度為：

A=[1-（1-A1.1×A5）2]×A6

每套機房空調系統交流輸入電源的可用度為：

A1.1=[1-（1-A1）×（1-A2）]×A3×A4

根據表3-6，電網可用度：A1=0.998814583841。

柴油發電機系統可用度：A2=0.999932020398。

ATS系統可用度：A3=0.999943780437。

配電系統可用度：A4=0.999997746241。

機房空調系統可用度：A5=0.999973334044。

機柜系統可用度：A6=1。

計算得可用度：

A1.1=0.999941446225

A=0.999999992738

4. 網絡布線子系統的可靠性

數據中心的網絡布線子系統主要包括連接和管理IT設備的網絡接入、綜合布線系統，KVM等管理系統，保證了數據中心網絡的可靠穩定運行。

因為網絡布線子系統可靠性模型復雜，業界研究較少，所以多采用工程方法確保網絡布線子系統的可靠工作。

數據中心的設計者、用戶可以根據中國國標《電子信息系統機房設計規范》（GB 50174—2008）、參照美國標準《Telecom Infrastructure Standard of Data Center》（TIA942-2005）及相關標準與廠家推薦方案，采用不同冗余配置實現數據中心網絡布線子系統的不同等級的可靠度要求，有關內容詳見本書相關章節。