計算機機房設計與施工的優劣,直接關系到機房內計算機系統是否能夠穩定可靠地運行,是否能夠保證各類信息通暢無阻。
計算機機房既要保障機房設備安全可靠地運行,延長計算機系統使用壽命,又能為系統管理員創造一個舒適的環境。能夠滿足系統管理員對溫度,濕度,潔凈度,安全防護,電源配電,和防雷接地的要求,所以一個現代化的機房是一個高度可靠性,舒適實用,節能高效和具有可擴展性的機房。
1.1 設計原則
數據中心是數據信息計算、交換和存儲的中心,出現在企業及Internet網絡中數據交換最集中的地方。它應具備豐富的帶寬資源、安全可靠的機房設施、高水平的網絡管理和完備的增值服務。因此數據中心的設計必須滿足當前網絡的各項需求,又需要滿足面向未來快速增長的發展需求,因此必須是高質量的、靈活的、開放的。根據我公司對數據中心基礎設施建設的基本原則和經驗,結合IT設施現狀和需求,對數據中心進行了規劃,在規劃時遵循以下設計原則:
(1)安全可靠性
高可靠性是數據中心運營成功的關鍵,是所有用戶選擇數據中心的基本原則。因此決不能出現單點故障,要對數據中心的布局、結構設計、設備選型、日常維護等各個方面進行可靠性的設計和建設。在關鍵設備采用硬件備份、冗余等可靠性技術的基礎上,采用相關的軟件技術提供較強的管理機制、控制手段和事故監控與安全保密等技術措施提高機房的安全性。針對數據中心的網絡方案,其可靠性設計包括:鏈路冗余、關鍵設備冗余和重要業務模塊冗余。
(2)可擴展性
數據中心應可按需建設,分步實施,并且可以根據需求,按照不同負荷和不同應用獨立設計,獨立運行,同時降低機房的復雜性,降低建設和運營成本。應避免全部基礎設施一次性全部投入建設運行,造成資源、資金的極大浪費。
(3)標準化
在數據中心機房系統結構設計時,基于國家頒布的有關標準,包括各種建筑、機房設計標準,電力電氣保障標準,計算機局域網、廣域網標準,消防及安防系統標準,堅持統一規范的原則,從而為未來的業務發展、設備增容奠定基礎。
在數據中心機房產品生產、建設過程中,應避免出現定制化現象的出現,而應以便于零部件維修、采購、更換為原則。
(4)靈活性
模塊化設計,可根據數據中心不同需求進行取舍,特別是后臺管理平臺設計思想,使得數據中心可實現對于不同用戶的定制服務,如在后臺管理平臺中的用戶數據備份中心、數據中心客戶中心、數據中心維護中心,使得數據中心用戶可以方便地進行對其應用的控制與更新。
(5)可管理性
在建設數據中心時,隨著業務的不斷發展,管理的任務必定會日益繁重。所以在數據中心的設計中,必須建立一套全面、完善的管理和監控系統。所選用的設備應具有智能化,可管理的功能,同時采用先進的管理監控系統,實現先進的集中管理監控,實時監控、監測整個中心機房的運行狀況,實時燈光、語音報警,實時事件記錄,這樣可以迅速確定故障,提高運行性能的可靠性,簡化數據中心管理人員的維護工作,從而為數據中心安全、可靠的運行提供最有力的保障。
1.2 設計依據
客戶的建設需求;
GB 50174-2017《數據中心設計規范》;
GB50462-2008《電子信息系統機房施工及驗收規范》;
TIA-942國際電信聯合會數據中心建設標準;
YD/T 1095-2000《信息技術設備用不間斷電源通用技術條件》;
GB2887-2000《計算機場地技術條件》;
GB50052-95《供配電系統設計規范》;
GB50054-95《低壓配電設計規范》;
GB7450-87《電子設備雷擊保護導則》;
CECS72:97 《建筑與建筑群綜合布線系統工程設計規范》;
CECS89:97《建筑與建筑群綜合布線系統工程施工及驗收規范》;
GB50019-2003采暖通風與空氣調節設計規范 ;
GB 50243-2002通風與空調工程施工及驗收規范 ;
《Telecommunications Infrastructure Standard for Data Centers》(TIA-942);
《視頻安防監控系統技術要求》(GA/T367-2001);
《火災自動報警系統設計規范》(GB50116-98);
《火災自動報警系統安裝使用規范》(中國工程標準化協會標準);
《電子設備雷擊保護導則》(GB7450-87);
《電磁輻射防護規定》(GB8702-88);
《環境電磁衛生標準》(GB9175-88)。
2 方案架構與設計
2.1 項目背景及需求概況
由于發展的需要,XXXX計劃對辦公大樓1樓園區監控及消控室改造成1個新建數據中心,新數據中心整體面積約120m2,新數據中心建成后,將包含1個一體化數據中心機房、1個操作室和1個消控室。
目前,該數據中心目前已鋪有石膏板吊頂天花和防滑玻化磚,天花與地磚之間凈高約3.4 m。
圖2.1 機房現狀平面圖
本方案將為XXX 新建機房部署數據中心所需要的UPS子系統、蓄電池組子系統、配電子系統、制冷子系統、監控子系統、機架子系統、布線子系統以及消防子系統,計劃部署2組一體化機房,共計 26架42U標準機架。
2.2 一體化機房與傳統機房的對比
(1)過度建設與靈活擴展
按照傳統機房的建設辦法,在機房規劃初期,就需要考慮對整個數據中心的環境進行設計,以本機房為例,傳統機房對各個子系統的設計都是針對整個機房以及未來5年(一般規劃)IT設備規劃甚至按照整個機房滿配置IT設備的情況來進行設計,然而我們知道,數據中心的建設都是按需發展的,前期的設備容量部署一般會遠低于未來的擴展,如果一開始就按照滿負載的情況必然導致很長一段時間的過度建設;而且由于機房用的電子產品多為精密電子產品,精密電子元器件的壽命為5-8年,過早建設也會導致后期使用也將面臨設備的老化與更替的問題,造成一定程度的浪費。
而一體化機房以模塊為單元,涵蓋1個數據中心所需要的各個系統,每個模塊都可以視為一個中小規模的獨立數據中心,因此可靈活的根據客戶的需要來進行按需擴展,以本方案為例,如果客戶前期的設備量較少,則可以先部署1個模塊,到后期業務發展起來后,再復制1個模塊(只需要引入1條強電輸入線和1條弱電輸入線),即可滿足設備擴容的發展需要,因此這種一體化機房的模式更貼近客戶的使用需求,更節省成本的投入。
(2)提高機柜利用率,節省空間投入
采用一體化機房的設計方案,通過部署封閉式冷通道,在模塊內配置行間空調,讓冷源接近熱源,讓冷氣流組織只在有限的空間內提供集中供冷,使得機房的制冷效果整體提升,因此,一體化機房的機柜的熱功耗可從傳統機房的1~3kW低密型提高到3~9kW的中高密度,對于相同的設備功率需求,一體化機房所需要的機柜數更少,機房的空間利用率更高。
(3)降低數據中心的整體能耗
由于傳統機房沒有對冷氣流進行有效組織以及沒有進行保冷設計,機房的整體能耗較高,加上廈門沿海的氣溫常年偏熱,數據中心的PUE甚至可達2.0以上,IT設備耗電量僅占總耗電量的45%。
圖2.2 PUE對比說明
從上圖可以看出,傳統數據中心所采用的精密空調制冷,制冷部分耗電量占比很高,是數據中心能耗損耗的最大源頭。而采用模塊化機房后,制冷部分耗電量占比大幅降低,整體PUE可達1.5。
基于部署相同的設備前提下,按照目前行業內對傳統機房和一體化機房的PUE標準,傳統機房與一體化機房在運營成本(以電費為主)的對比如下表:
序號 |
類別 |
傳統機房 |
一體化機房 |
傳統機房-一體化機房 |
結論 |
1.基礎數據 |
(1) |
IT設備總耗電(kW) |
130.00 |
130.00 |
|
|
(2) |
全年PUE(機房總設備功耗/IT設備功耗) |
2.50 |
1.50 |
|
一體化機房的能耗更低 |
(3) |
每機架配電容量(kW) |
3.00 |
5.00 |
|
|
(4) |
本期工程共需機架數(IT柜) |
43 |
26 |
|
一體化機房機柜密度高,更節省空間利用 |
(5) |
每度(kWh)電費(元) |
1.20 |
1.20 |
|
|
2.運營成本 |
(1) |
機房總設備功耗(kW) |
325.00 |
195.00 |
|
PUE越低,能耗越少 |
(3) |
機房每月耗電度數(度) |
234,000.00 |
140,400.00 |
93,600.00 |
|
(4) |
機房第1月電費(萬元) |
28.08 |
16.85 |
11.23 |
|
(5) |
機房全年耗電度數(度) |
2,847,000.00 |
1,708,200.00 |
1,138,800.00 |
能耗減少,用電成本隨之降低 |
(6) |
機房1年電費(萬元) |
341.64 |
204.98 |
136.66 |
每年可節省電費130多萬元 |
(3)其他方面的對比
傳統機房 |
一體化機房 |
建設周期長,工程量大,一般需要 6 個月~1 年的 |
建設周期短,現場工程少,從商務合同期起,30天交付,1~2周內完成安裝 |
建設成本高,PUE 值在 1.8-2.3 之間,IDC為局部熱交換,效率不高,能耗高 |
建設成本較低,PUE 值在 1.2-1.5之間,冷通道和熱通道為獨立封閉;熱交換效率高, 耗電量比傳統機房少 30%-50%左右,比較節能 |
傳統的房間型精密空調機組制冷,24小時不間斷運作 |
就近熱源的行間空調設計,支持風冷/冷凍水/水冷/雙冷源/自然冷卻等多種節能制冷模式 |
機房建設,裝修成本高 |
在工廠就提前預裝,以模組的方式到現場是安裝
調試,不需要額外的吊裝設備 |
遷移成本高,機房外圍需重新建設,遷移成本高 |
低,機房移動性較好,比較靈活 |
每個機架的密度為3kW,高于 5kW 的密度時,冷源不能有效給設備提供制冷 |
機柜是精準送冷,冷通道和熱通道為獨立封閉,每個機架的密度為 3KW-30KW,大大的提高機房使用利率,環保和節能 |
擴容性不好,前期投入也比較大,投資回報率較低 |
投資回報較高,擴容性良好 |
后期運維成本高,維護成本及人員,電費投入高 |
后期運維成本低,維護較為簡單,電費投入低 |
因此本方案建議采用一體化機房解決方案取代傳統機房。
考慮該數據中心的重要性,本項目應嚴格從高穩定性、安全性、可靠性等方面進行考慮,按照五年的發展規劃原則以及業務擴容的需要,本數據中心應同時具備靈活擴容等特點。
模塊化數據中心是一種力圖實現數據中心基礎設施及其關鍵設備的最大限度的模塊化,同時,新型的綠色模塊化數據中心在提高資源利用率,節約投資成本方面相比傳統機房具有較大的優勢,能較好的滿足廈門同安現代服務業基地I6地塊消控中心新建數據中心的建設要求。
為保證數據中心的可靠運行,機房建設應為計算機和網絡系統提供合乎規范的環境條件和工作條件,以滿足數據中心內設備對溫度、濕度、潔凈度、電性能、防火性、防靜電能力、抗干擾能力、防雷、接地等各項指標的要求。
2.3 總體設計概況
為滿足現代機房快速建設、功能齊全、靈活擴展、方便管理的需求,建議采用IDM數據中心產品解決方案。各系統采用模塊化、標準化設計,既相互獨立又密切配合,能夠全方位的滿足您的需求!
本方案一體化機房的總體規劃如下:
名稱 |
數量 |
單位 |
說明 |
一體化機房 |
2 |
套 |
封閉式冷通道遏制解決方案,6000W×3600D×2000H,mm |
機柜 |
26 |
臺 |
19英寸標準機柜,提供雙供電回路設計,每個機柜內配置2條PDU,5kW/機柜 |
列間空調 |
6 |
臺 |
制冷量25.5kW/臺,前送風后回風,恒溫恒濕,2+1冗余 |
配電列頭柜 |
2 |
臺 |
提供模塊內UPS配電和市電配電 |
UPS |
2 |
套 |
配置模塊化UPS,系統容量為200kVA,當前單臺配置容量為80kVA,4+1冗余 |
蓄電池 |
144 |
只 |
每臺UPS配置2組36節120AH 12V蓄電池 |
電池柜 |
4 |
臺 |
安裝在冷通道內 |
監控系統 |
1 |
套 |
提供模塊內及配電間的動力與環境監控 |
2.3.1 數據中心平面布局圖
本方案整體布局規劃如下圖所示:
2.3.2 土建及電氣裝修要求
本方案對現有數據中心的基本土建及電氣要求:
表2.1 土建及電氣要求
樓內通道滿足大型設備進入 |
機房位置遠離電磁干擾源 |
² 機房內預留供水口、排水口或者地漏(盡量靠近墻面) |
機房地面水平度低于20mm@5m |
² 梁下/天花板下凈高大于2.35米 |
² 樓層底板承重能力大于7.2kPa(0.735噸/平方米) |
² 樓層天花板懸掛能力大于2.4kPa(0.245噸/平方米)(若有) |
天花是否被密封,無縫隙、孔洞 |
天花已經做減少灰塵處理 |
照明度在水平面上@1米高大于500勒克斯 |
照明度在垂直面上@1米高大于200勒克斯 |
照明供電線路獨立于設備供電線路 |
照明無調光開關 |
所有門寬大于1.00米 |
所有門高大于2.13米 |
所有門無門檻 |
所有門無中央立柱或可拆卸 |
樓層滿足當地抗震能力 |
按方案要求提供走線槽、架,規范強、弱電布線 |
2.3.3 數據中心電氣系統設計
《數據中心設計規范》GB50174-2017可將我國數據機房劃分為三個等級如下:
等級 |
A級 |
B級 |
C級 |
經濟性 |
電子信息系統運行中斷將造成重大的經濟損失; |
電子信息系統運行中斷將造成較大的經濟損失 |
不屬于A 級或B 級的電子信息系統機房應為C 級 |
安全性 |
電子信息系統運行中斷將造成公共場所秩序嚴重混亂。 |
電子信息系統運行中斷將造成公共場所秩序混亂 |
|
基礎設施的基本要求 |
應按容錯配置 |
應按冗余配置 |
應按基本要求配置 |
供電電源 |
兩回路供電,并且兩個電源不應同時損壞 |
兩回路供電 |
|
不間斷電源系統配置 |
2N或M(N+1)冗余 |
N+X冗余 |
N |
不間斷電源系統電池備用時間 |
15分鐘(當有柴發作為后備電源時) |
根據實際需要確定 |
|
本方案參照GB50174規范B級機房要求來建設。UPS系統采用模塊間N+1冗余設計,制冷系統采用N+1冗余設計。
2.3.4 低壓配電系統
2.3.4.1低壓配電系統設計
本方案低壓配電系統以模塊為單元,將低壓配電輸入至機柜配電統一部署在冷通道內精密配電列頭柜內。
本項目機房的供電采用380/220V電壓、50HZ頻率和三相五線制(即TN-S系統)的配線方式供電。
配電總體設計方案為:用戶提供1路專用市電至模塊內列頭柜的市電配電單元輸入側,為UPS和配電間精密空調、一體化機房提供市電輸入;UPS輸出經由UPS輸出配電開關到達一體化服務器機柜,為末端的機柜提供雙路UPS供電,每個通道內系統總UPS配電能力達到80kVA;一體化機房內精密空調,由列頭柜市電配電模塊供電。
(1)市電配電單元
市電輸入模塊作為機房供電的總輸入配電,包括對UPS、精密空調、照明等設備的電力供應,本方案市電輸入采用1路市電輸入(也可根據客戶需要定制為雙路輸入)。為方便未來擴容或接入其他設備,配電柜設計容量450A,配置有:
l 市電輸入模塊:450A/3P;
l 市電輸出模塊:
Ø 250A/3P:1路,UPS輸入
Ø 200A/3P:1路,UPS維修旁路輸入
Ø 63A/3P:4路,模塊內精密空調輸入(3用1備)
Ø 其他備用開關
l 防雷模塊:采用B級防雷組件
(2)UPS輸出配電模塊
UPS輸出配電模塊為每個機柜提供2路UPS輸入
l UPS輸出回路A:輸入:32A/1P×13
l UPS輸出回路B:輸入:32A/1P×13
l 備用開關:32A/1P×2
l 天窗控制盒:16A/1P×1
l 監控主機:16A/1P×1
(3)監控模塊
配置7英寸觸控屏,對配電柜內主路與支路實現監控。
本方案配電系統圖如下:
在保證電源運行時滿足三相基本平衡,設計時將單相負荷均勻分配在各相上。計算機機房內的插座應分兩種,它們是:不間斷電源(UPS)供電的設備用標準插座和市電直接供電的設備用標準插座。為防止閃電雷擊及操作過電壓對設備造成的危害,機房專用動力配電柜進線處裝設過壓保護裝置,以消除線路上產生的瞬時高壓尖峰脈沖。保證計算機設備穩定運行,不受損壞。
機房的動力設備如精密空調、新風換氣機由市電供電,其它計算機設備如服務器、交換機等由UPS進行供電。
配電柜開關等主要配件須采用施耐德、ABB。配電柜中設有電流表、電壓表,供檢查電源電壓、電流及三相間平衡的關系,三相電分別設有電源指標燈,以監控三相電的供電情況,并且備有斷電自動切換開關,完全滿足機房的需要。
2.3.4.2精密配電柜介紹
本項目配電柜采用科士達精密配電柜??剖窟_精密配電柜,針對智能化數據機房的需求研發而來。精密配電柜既具備普通配電柜電力分配、基本報警、一般監控的功能,還具備故障歷史記錄、支路開關狀態監測、7寸彩色液晶觸摸屏、高精度測量、數字化通訊等功能。
(1)應用范圍
主要應用于金融、政府、企業等行業的中小型數據中心,網絡機房,以及電信運營上的通信基站的電源分配、管理。
(2)產品特點
l 配置7寸彩色液晶觸摸屏,可顯示主回路及支路全電量信息,支持記錄歷史故障數據,提供完善可靠的電源管理
l 可選固定式或支路插拔式開關,其中插拔式開關支持在線換相和更換開關
l 支持支路電壓監測及電力故障聲光報警功能
l 可提供通信協議,支持動環監控的兼容
l 可靠防護措施,最大限度確保操作安全
l 高品質電氣元件,空開品牌可選施耐德、ABB、等其他品牌可選。
l 可選配B級或C級防雷器,確保配電柜穩定運行
(3)產品技術參數
產品型號 |
GG-IC或GG-UC |
輸入方式 |
單路、雙路可選 |
操作方式 |
手動、自動可選 |
系統接線方式 |
三相五線制(TN-S) |
額定工作電壓 |
AC400V |
額定頻率 |
50Hz |
額定絕緣電壓 |
AC 690V |
尺寸(WXDXH) |
600x1200x2000(mm)/800x1200x2000(mm) |
輸出回路 |
根據項目編寫 |
監測功能 |
三相電流、電壓,有功功率,無功功率,視在功率,電度,頻率,負載百分比,主回路全電量,32支路電流和開關量和防雷器狀態,故障報警和記錄功能 |
保護功能 |
短路瞬時,短路短延時,過載長延時,缺相,防雷 |
告警功能 |
短路,過載,低電壓,高電壓,防雷故障(可選配消防脫扣,環境監控,)聲光報警 |
顯示界面 |
7寸彩色觸摸屏 |
通訊接口 |
標配RS232,選配RS485或SNMP接口 |
防護等級 |
IP20/30/40/42/54可選 |
防雷功能 |
選配B級或C級防雷保護 |
2.3.5 UPS及蓄電池
2.3.5.1UPS系統設計
UPS系統能夠為您解決的問題:
依據GB50174規范B級機房要求,本著機房建設安全、經濟、節能的原則,本項目UPS方案采用模塊間并機冗余。
模塊間并機系統
如圖所示:YMK系列UPS為模塊化設計,整機采用集中監控,每個模塊間并機運行,且每個模塊集成旁路、整流、逆變單元。模塊間可以任意設置主用模塊數和備用模塊數,例如整機配置10個模塊,可配置為主用8個模塊,備用2個模塊。
系統優點:減少初期投資,自由靈活配置。
按照GB-50174-2017《數據中心設計規范》中B類機房設計要求,本方案 UPS采用雙機并機方案進行配置,本方案配置4臺60kVA三進三出高頻在線式UPS,系統整體容量達到120kVA。
目前單個模塊內機房規劃機柜數量為13個,每個機柜按照5kW配電容量考慮,則UPS總負荷P為
P=13×3kW=65kW
則UPS的視載功率S:
S=P/0.9=65000/0.9=72kVA
(注:0.9為YMK系列UPS的功率因素)
因此,我們推薦采用科士達YMK系列模塊化UPS,整機最大容量為200kVA,本方案配置5個20kVA UPS熱插拔模塊,采用4+1冗余,本期UPS容量為80kVA,采用本模塊化UPS的供電可靠性可達99.999%,可滿足本方案的建設需求。
2.3.5.2后備電池系統設計
UPS配套電池組承擔了在市電斷電的情況下為UPS提供電源的工作,保障在市電斷電的情況下機房內的計算機系統仍能在一定時間內正常工作,因此,電池組在UPS系統中充當著非常重要的角色。
由于用戶考慮采用柴油發電機組做為機房市電的后備電源,因此UPS電源單機按照65kW設備滿載后備30分鐘計算。
考慮本方案配套電池柜每個電池柜最大配置容量為36節120AH (或以內)蓄電池,因此本方案建議蓄電池單組數量為36節。
電池計算公式:(恒功率法)
電池恒定放電功率=負載功率÷(n×單組電池數量×h)
h-逆變效率 n-電池單體格數,12V蓄電池為6。
65KW負載后備30分鐘電池組計算:
電池恒定放電功率=65000/(6×36×0.95)=316W/Cell
12V120Ah蓄電池恒功率放電時間表
由上表,參考終止電壓為1.75V,放電時間為2小時的放電率為187W,2組為374W>316W,因此本方案采用2組36只12V120Ah蓄電池,能夠滿足UPS后備30分鐘的需求。
電池開關由公式:
I=P/U=S×功率因素/(N×6×1.75×逆變器系數),逆變器系數取0.95
則I=65000/(36×6×1.75×0.95)=181A,故電池的輸入選用不低于181A的空氣開關。