建筑电气设计丨数据中心供配电系统的典型结构和设计案例

  数据中心的供配电系统可用性、经济性、可维护性等方面出发,探讨数据中心领域的供配电系统架构方案,并以国内某大型数据中心的实际应用案例为基础,对数据中心变配电系统、240V直流与市电直供系统结构、2NUPS系统机构、模块化不间断电源应用、数据中心制冷系统供电系统结构等,进行详细的探讨和分析。

  随着信息技术、网络技术的迅速发展,信息系统的市场应用愈来愈普遍,信息和数据量呈几何级增长,数据中心的需求日益增加,对数据中心的要求逐步的提升。众多行业也都在建设各种不同用途、规模、等级的数据中心,数据中心在政府机构以及电信、银行、证券、保险、互联网等行业中不断地提升个人的驱动力。数据中心作为一种物理载体在企业未来的发展和运营中的作用越来越突出。

  数据中心供配电系统作为数据中心基础设施最重要组成部分,已成为数据中心等级判定的主要参考标准。数据中心供配电系统架构,最重要的包含市电引入(10kV、110kV引入等)、高压变配电系统、后备柴油发电机系统(10kV、400V发电机组等)、市电/备用电源自动转换系统(中压切换、低压切换等)、低压配电系统(低压配电、楼层配电单元等)、不间断电源系统(UPS、240V、48V系统等)、列头配电系统、机架配电系统,和电气照明、防雷及接地系统等。

  数据中心从物理属性看,是IT设备的载体;从商业属性看,是为其服务的对象,即数据中心为各类用户的设备或信息提供保障服务。数据中心供配电系统架构选择,主要考虑到用户设备类型、相关设备保障等级要求、有关标准及规范要求、绿色数据中心PUE指标要求、节能减排要求、数据中心选址区域自然条件特点、建设与经营成本的平衡等多种因素。

  以通信行业数据中心为例,数据中心主要有自有数据中心和商用数据中心两大类。针对通信类,主要设备有传输类设备(国际传输干线、省际传输干线)、数据类设备(存储系统、云平台)、支撑类设备(计费系统、信息系统)等,相关设备供配电系统结构,主要考虑相关国家对通信系统建设及运维标准要求;商用数据中心最重要的包含政府、银行、企业等用户设备,其数据中心供配电系统及供电保障等级主要按照每个客户具体实际的要求、客户设备规模、客户设备的租赁形式等来总体确定。

  数据中心主流的各类供配电建设标准及规范,以及用户对供配电结构的要求,主要是对供配电保障提出要求。针对保障要求,从实施方面出发,能够提出多种不同的供配电结构、系统架构的总体规划与决策,对后期供配电可靠性、可用性有决定性的影响。在规划与决策阶段,一方面要针对不一样系统结构的特征、投资总额、经营成本、系统优缺点等做充分的分析论证,另一方面也要考虑供配电系统逻辑关系的复杂度、对运维的要求、系统可扩展性等因素。

  数据中心供配电架构应该同数据中心全生命周期一样,从概念、系统规划、决策、工程建设、交付运营等方面,是一个动态的、与时俱进的过程。现在行业有一种认识,认为供配电系统可靠性从供配电系统图上,计算结果越优,就越能提高可靠性。真实的情况并非如此,而是数据中心架构的可实施性、可维护性等对设备供电连续性保障有很大影响。

  供配电系统的实现与落地,必须要经过建设与施工,因此供配电系统带有较为显著的工程属性;供配电系统可靠性最终是在投入运营后,集中体现在系统运维阶段。供配电架构的设计与选择,一方面一定要考虑工程项目施工过程的可实施性,如电缆布放距离、多层叠放、交****处理、各类油电水气管路隔离措施、隐蔽工程处理等,另一方面还应该要考虑运维可行性,如电气设备物理位置与电气逻辑关系匹配、巡检路由规划、应急操作接口预留设置等。

  目前,数据中心行业有比较全面的可供参考的有关技术规范,政府、行业、企业都根据各自领域数据中心的特点,发布了相关的规范、标准或指导意见。目前,数据中心主要参考的规范有工程建设国家标准《GB50174-2008电子信息系统机房设计规范》以及美国国家标准学会(ANSI)2005年批准颁布的《TIA-942数据中心电信基础设施标准》。

  前者是我国针对于数据中心建设设计的主要标准规范,同时,为适应电子信息技术发展,新的国家标准正在编制;后者是目前国际数据中心参考的主要标准,该标准包含的条款也是随建筑技术和电信技术的进步在不断修改和更新。

  从相关标准的应用场景范围看,国际上参考TIA-942将数据中心等级从低到高分为Tier I、Tier II、Tier III、Tier IV等四个级别,在国内参考GB50174将数据中心等级从低到高分为C、B和A三个等级,为了达到不一样的等级,供电系统中采用不一样的供配电方式。依据相关条文,不同标准的供配电系统结构特点如表1所示。

  根据相关国际国内标准,规定了不同数据中心等级下,对应供电系统的原则及方式的演变,特定等级的系统,只规定了应满足的最低要求。

  上述三种典型供配电结构及特点,主要是从系统市电引入到所有末端设备供电的供电逻辑特点进行总体阐述,并不表示某种结构的优劣性。如对于保障等级要求不高的IT设备,基本型供配电结构完全满足供电保障需求,其系统结构在投资所需成本、电力设备空间、节约能源的效果等方面,都明显优于其他两种结构;在保障等级较高的数据中心,也存在较低保障等级IT设备用电情况。

  该数据中心供配电架构的总体特点:深入结合基础建筑设施布局,总体设计,分期投入;

  园区自建110kV变电站,引入两路独立110kV市电,站内配置两台110kV/10kV变压器,每台容量50000kVA,两路常供。变电站两路110kV进线kV中压系统采用单母线分段接线,设母分;数据中心每栋配置一套独立中压系统,采用单母线分段接线,不设母分;每套中压系统分别从变电站两段10kV母线kV市电电源,两路常供。

  当前,大型数据中心IT设备在积极采用新型供电方式,逐步降低供电损耗。由于高压直流供电系统,在投资所需成本、系统效率、占地空间等方面,较交流UPS具有更大的优势,已得到较大规模的推广和应用。

  目前,240V直流供电技术的可行性已得到较好验证,相应的理论分析和实践经验也在不断研究和总结中。240V直流供电技术已成为行业热点,并在不断改变传统数据中心供电以交流UPS为主的格局。其中,基于240V直流技术衍生的“240V直流+市电直供”供电架构,逐步提升供电效率,节约能源的效果更为显著。

  上述三种240V直流+市电直供供电结构,从供电等级看,均属于可维护型供电结构。系统结构的演进及优化,通过采用增加较小投资所需成本,实现较大幅度提高系统可用性的目标。通过在不同位置增加双电源切换装置,增加部分设备双路由供电,一方面提高系统的可维护性,另一方面提高系统中部分设备的故障应急抢修、计划性停电维护期间的供电连续性。

  由于UPS设备结构较为复杂,因此自身易发生故障,设备冗余能大大的提升可用性,UPS系统便有了N、N+X等多种供电架构。较高等级数据中心供电结构中,为了消除单点故障,对重要保障负荷采用2N冗余系统。

  2N冗余系统是由两套或多套UPS系统组成的冗余系统,每套UPS系统有N台UPS,设备的总容量为系统的基本容量。该系统从交流输入经UPS设备直到双电源输入负载,完全是彼此隔离的两条供电线路。也就是说,在供电的整个路径中,所有环节和设备都是冗余配置的。正常运行时,每套UPS系统仅承担总负荷的一部分。这种多电源系统冗余的供电方式,克服了单电源系统存在的单点故障瓶颈,保证其供电可靠性,采用2N冗余供电系统,其可用性得到明显提高。

  信息产业园2N UPS系中,UPS主机系统选择模块化UPS。与传统塔式机相比较,模块化UPS优势显著:单机实现模块并机冗余控制,可用性高;模块化UPS可以在一定程度上完成随需扩容,降低建设初期投资;UPS功率模块、静态旁路模块实现在线热插拔操作,具有较高维护性;UPS功率模块在高效运行,降低整机系统损耗。UPS模块化是数据中心不间断电源供电技术未来发展趋势之一。

  图6所示为传统模式下该制冷系统供电结构。从传统制冷系统供电结构上看,制冷系统主设备尽管冗余设置,但所有独立系统均取自一套低压供电系统,且取自同一面配电柜;相互独立的水系统用电设备,供电系统未独立设置;当一套配电系统或某个配电单元发生故障,引起制冷系统整体停机;供电系统未配置UPS,两路市电不正常的情况下,不能保障连续制冷要求

  图7所示为产业园制冷系统实际采用的供电结构,该供电结构基于各套制冷系统冗余工作模式,为每套制冷系统提供完全独立的供电模式;制冷系统重要等级低的用电设备,均采用双电源切换装置,双电源切换柜配置手动旁路;制冷系统用电设备ATS主/备一致对应,避免市电切换影响系统运行;制冷系统中冷冻水循环泵、群控系统、主机控制柜等设备,采用独立单机UPS系统供电模式,保障数据中心持续供冷。采用该形式供电结构,保证了制冷系统在水循环、供电结构、逻辑控制等方面完全独立,进一步提升数据中心制冷系统可靠性、可用性、可维护性。

  从国际、国内标准或规范来看,数据中心保障等级、可靠性与供电结构的复杂度息息相关,但系统可用性、易维护性并没有随着系统保障等级变高,在部分供配电结构中,反而因为系统复杂度上升影响了系统的维护性。传统数据中心为保证可靠性提高,采用复杂的供配电结构,对于部分系统自动化控制不足的数据中心,复杂的供配电架构其实对运维人员技术能力、素质水平都有非常高的要求。

  从IT负载特点看,随着网络技术的发展,云计算、云存储、虚拟化技术的应用,现代数据中心的设备负载与传统数据中心相比,负载属性有了质的变化,不同保障等级的设备占比,也有极大的变化,更多的设备可用通过“240V+市电直供”“UPS+市电直供”等简单模式代替传统的“2N UPS”等系统结构。系统结构复杂度降低、供配电结构可靠性提高,都对供配电系统的可用性、维护性等提出更高的要求。

  一方面,从建设成本及空间利用率方面出发,未来一定要通过逐步优化供配电系统结构,努力提高供配电系统智能控制水平,节省不必要冗余设备投资,减少电力系统空间占地面积,提高数据中心IT设备可装机架能力。随着高密度IT设备的要求,供配电系统设备本身也要通过提高技术水平、优化设备柜体结构、措施,提高其单位占地面积的供电能力。