您的位置: 网界网 > 数据中心 > 正文

SuperNAP数据中心揭秘

2014年12月12日 09:47:44 | 作者:腾讯数据中心架构师 李典林 | 来源:cnw.com.cn | 查看本文手机版

摘要:SuperNAP数据中心于2009年首次亮相,让Switch通信公司名声大震。在其近100万平方英尺的数据中心内,SuperNAP提供了前所未有的规模,并支持极端的功率密度功能。其数据中心承载了当今世界许多领先技术公司的服务器和存储设备,总...

标签
数据中心
SuperNAP

【网络世界独家约稿】

SuperNAP数据中心于2009年首次亮相,让Switch通信公司名声大震。在其近100万平方英尺的数据中心内,SuperNAP提供了前所未有的规模,并支持极端的功率密度功能。其数据中心承载了当今世界许多领先技术公司的服务器和存储设备,总计高达几百上千个客户。该公司的最新创作,被称为SuperNAP 8,建立在其基础上的是一些创新且可靠的冷却散热。该项目刚刚成为首个获得T4(应该是某模块)等级建筑设施认证的多租户数据中心。而该认证是国际正常运行时间协会(Uptime Institute)对于关键任务可靠性评级的最高等级。

SuperNAP 8数据中心位于拉斯维加斯,占地超过40.7万平方英尺,能够为企业和组织提供了各类关键业务的数据存储服务,行业涉及政府、卫生保健、银行和零售商。在SuperNAP8,Switch通信集团拥有一个250兆伏安的变电站和一幢拥有140兆伏安柴油发电能力的建筑,更为夸张的是,号称在沙漠气候中实现了年均PUE达到1.18的超低水平。

作为业界colo机房的杰出典范和优秀代表,下面本文作者根据其网站图片及相关公开资料做简单猜测粗浅剖析,不对数据准确性负责,更多只是个人猜测,仅供大家学习交流用。

图1 投产数据中心内部的热通道及设备

首先SuperNAP 8有什么不同呢?整个数据中心的年均PUE达到惊人的1.18的优秀水平,这个对于多租户的colo机房实属不易,因为对于Google(PUE约为1.12)或者Facebook(PUE约为1.07)等可以将服务器送风温度设置在27摄氏度,而switch通信的送风温度只能设在21摄氏度,且需要控制湿度在40%左右,因此沙漠里达到1.18的这个PUE水平更为不容易。

图2 沙漠中数据中心的建设过程照片

上图是其位于拉斯维加斯的沙漠中数据中心的建设过程照片,从图片可以看到是机房建筑本身也是全模块化设计,平整土地之后,采用工厂预制的水泥板,顶部大跨度钢结构顶棚,现场吊装快速建设,投产一批机房模块再建设新一批的模式不断复制扩张。三四个月即可完成整个数据中心大楼外壳的建设,比目前国内长达一两年的园区及楼宇建设速度快了很多。

图3则提供了其已完工的SuperNAP 7数据中心设施完成后的一个截面图,显示出了数据中心发电机、UPS供电室、电力柱及配电柜,数据大厅和微模块整列,以及冷却设备的机房切面图等说明。基本建筑都是单层框架结构,机电布局方面左电右水,通道也非常清晰。

图3 SuperNAP 7数据中心的截面图

据图4的SuperNAP 7数据中心的俯视图(约50MVA的电力容量),整个机房由四个大机房模块构成,每个机房模块约10MW的供电容量,由6台(5+1)2000KW的柴发作为停电备份,每个大机房模块由3组6台UPS系统2N供电,总计共18套约600KVA的UPS(也可能9套1200KVA的UPS);UPS上方约为18套500KW的UPS输出PDU配电柜走廊,配电柜和UPS分为红、蓝、灰三种颜色分别对应不同的供配电路由。配电走廊之上为IT机房模块,每个机房模块内有11排4列由18个机柜构成的IT微模块(类似腾讯的R18微模块),总计约792个IT机柜。由于UPS采用DELTA型DR拓扑供电,总容量约为18*600*2/3=7200KW,因此每个机柜平均功率约为9KW左右。在建筑的最上方,每个机房模块对应9个(8+1)AHU空调模块,每个AHU模块标称具有1000KW的散热能力,考虑1台冗余,约8000KW的散热能力,基本满足7200KWIT设备发热和其他环境热负荷等。此外,两个大机房模块中间的白色区域是中压配电间、拆包卸货及运维值班室等功能间。下侧白色斜坡则是人流物流的主出入口,且整体机房基础做了抬高设计,防止雨水浸入等。

图4 SuperNAP 7数据中心的俯视图

图5是更大规模容量的SuperNAP 8数据中心布局图,整个数据中心用电容量高达100MVA,由6个大机房模块构成,每个机房模块占地47000平方英尺,整个数据中心总计多达7000个高密度机柜。这种布局下,柴油发电机和AHU空调都放在机房的外围同侧,UPS供电模块化置于IT机房两侧,整个建筑中间的水平通道为主供配电走廊,采用了APC的UPS,DELTA三角型2N供电、Squre D公司的配电及ATS,Pelco公司的视频监测仪等,整个数据中心建筑总占地高达407000平方英尺的总面积,总共50套2.8MW的柴发,总计140MW的功率,这相当于10000户美国家庭用电功率。

机房中低压方面的模型据猜测,基本上是每条13.2KV的中压输入,带5个3000KVA的变压器,每个变压器对应一个2800KVA的中压柴油发电机组,投切后变压器将13.2KV中压降压到480V,每个变压器带3套600KVA的UPS,以及约6个AHU空调模块等模型。

图5 SuperNAP 8数据中心的布局图

从前面的两种不同数据中心布局介绍上看,不管采用哪种模型,switch通信的数据中心采用了全模块化的设计思路。每个大模块约一条中压市电容量,约10MVA左右的电力容量,整个数据中心由三到四个大机房模块构成。每个大机房模块内还包括柴发模块、制冷模块、UPS供配电模块、机房内的IT微模块等,这些模块化单元按需建设,灵活配置,快速满足业务和客户的各种需求。

一、IT微模块

前面介绍了switch通信数据中心的总体设计思路,下面再介绍其数据中心内核心的IT微模块,根据图6所示的IT微模块示意及相关专利介绍,我们了解到其每个微模块由18个机柜构成,以及两侧不同供电路由的两个列头柜和一个综合配线柜。switch通信微模块采用了热通道封闭方式,机柜顶部采用了模块化的封闭通道组件和标准化的强弱电桥架构成。根据微模块机柜数及前面机柜平均功率推测,每个微模块总功率平均约为160-180KW。其无架空地板设计,以及微模块框架设计,可以支持普通机柜或者整机柜上架,单机柜功率允许范围较宽,可灵活满足用户的各种需求。

图6 SuperNAP 数据中心的微模块

switch通信在微模块的结构件方面也花了很多心思,即便是机柜顶部封闭通道的建设,也采用了工厂预制的模块化标准组件400和转角组件450等实现快速搭建封闭通道,以及标识为500的线槽支撑件及标识为600的线缆托架实现强弱电桥架在现场快速安装。通过这些标准化组件的设计,实现结构件方面的产品化和标准化,满足了现场快速建设的标准化需求。

图7 SuperNAP 数据中心的标准化热通道组件及桥架

二、供电方面

SuperNAP8数据中心的供电方面,switch通信选择了Symmetra MW II不间断电源系统( UPS )所提供的较高效率和冗余性设计,APC总计为SuperNAP提供了84兆伏安的功率,从而确保了SuperNAP百分之百的持续正常运行时间。此外,7000多台NetShelter SX机架和数千个APC机架式配电单元( PDU)还使SuperNAP即便在全负荷运转的情况下也可以实现整个数据中心的高效管理。另外,APC还协助SuperNAP设计建设了三个冗余电源配电系统,该系统配备了三个包含颜色编码设备的网格。颜色编码系统确保每个人都可以清楚地看到整个数据中心的电力分配状况。红色、蓝色和灰色代表了三个相互独立的冗余配电来源,同时从变压器输出到各个机架都涂有与各个冗余配电系统相匹配的标示颜色。这样,客户可以选择多种电力来源为自己的设备供电,运营人员能随时知晓设备的正常运行情况。

图8 SuperNAP 数据中心内不同颜色UPS

图9是供电线路图示意,每个IT微模块来自两个不同的PDU供电,三套PDU总共给12个微模块来供电,实现UPS的DELTA型2N供电架构,这样在保证了2N供电可靠性的基础上减少了UPS的安装容量,减少了设备投资的同时,也提升UPS的带载率和效率提升。

图9 SuperNAP数据中心的供电示意图

图10是switch通信数据中心内部的专用配电走廊,参观通道和运维通道隔离开来,来自不同UPS的不同PDU也采用了不同的对应颜色,运维人员一目了然非常显眼。在庞大的数据中心建筑内部,这个参观走廊非常壮观,比如仅仅在SuperNAP 8建筑中间长达1100英尺过道(约335米长)的供电走廊里,总共就装了多达260套的500KW PDU 配电柜。

图10 SuperNAP数据中心的参观走廊及配电PDU

三、室内散热方面

在散热方面,与我们常见的传统数据中心中心不同,SuperNAP没有采用传统的架高地板和精密空调冷却系统来冷却设备的方式,而是选择了室外模块化AHU和室内热通道吊顶及风管送风的设计,能够提供每平方英尺多达1500瓦的冷却量,而这一数字是行业标准的3倍之多。图11是室内侧switch通信专利的热通道封闭方案,及两侧送风风管的示意图。

图11 SuperNAP数据中心的散热风管及热吊顶设计

12
[责任编辑:周源 zhou_yuan@cnw.com.cn]