您的位置: 网界网 > 数据中心 > 正文

探秘Google数据中心微模块

2014年02月27日 09:20:20 | 作者:李典林 | 来源:TechTarget | 查看本文手机版

摘要:2005年后,google不再采用大体量大颗粒度的室外型集装箱,而改用了室内型更小颗粒度更为灵活的微模块技术打造其庞大的基础设施。针对这种变化,本系列文章根据google的模块化数据中心冷却技术的一个专利(已于2012年公开),以及...

标签
微模块
数据中心
Google

2005年后,Google不再采用大体量大颗粒度的室外型集装箱,而改用了室内型更小颗粒度更为灵活的微模块技术打造其庞大的基础设施。针对这种变化,本系列文章根据google的模块化数据中心冷却技术的一个专利(已于2012年公开),以及在2012年google发布的一系列数据中心照片和北卡数据中心的街景视频,探索Google数据中心微模块。

《连线》杂志的记者Connie Zhou在2012年发布了一系列的google数据中心照片,这也是google第一次对外公布其数据中心的详细信息,从下图可以看到庞大的数据中心内密布着一排又一排的机柜,机房层高很高,周边是宽阔的运输通道,顶部是横竖交错的母线排和消防照明等管路,服务器状态灯蓝光闪烁,总体非常简洁清爽。

大家会发现这个机房和传统意义上的数据中心有明显的不同,既没有送风地板,也没有空调吊顶风管或者空调间等,那么数据中心内部非常核心的散热空调在哪里?又是如何散热的呢?一排排机柜顶部的多个“烟囱”以及“烟囱”底下的厚厚空调盘管,这才是google数据中心散热的秘密武器。

Google在发布这些图片的时候肯定卖了个关子,在偌大的机房内选择了这样的一个角度,如第一排机柜上方隐藏的空调,点但不破,还有第二排机柜列右侧的那些机柜空缺位置蓝色布帘及其背后隐藏的秘密――我们后面会发现其机柜的部署及建设方式和传统的机房也有很大的差异,那么google到底如何做的呢?让我们开启google数据中心微模块探秘之旅!

Google数据中心微模块原理介绍

这些谜底始于2012年公布的google模块化数据中心冷却的一个专利。下图是google数据中心微模块的一个模型,图中标签为200的整个微模块由标签为204和206的两组连体三联柜,以及机柜列间通道顶部的空调盘管212和风扇阵列202构成。从这个专利我们可以看到google的数据中心机柜是以连体三联柜为最小的建设颗粒度,或者以6个机柜和置顶空调构成的的微模块为最小颗粒度来建设的。前面提到的机柜空缺位置蓝色帘子,那里就是摆放连体三联柜的机柜位,只是暂时机柜还没就位,先用布帘子(或者白铁皮)先挡住防止热气流外泄。

连体三联柜朝外侧为冷通道,内侧即空调下方为热通道,这样背靠背的两侧服务器机柜散发出来的热空气在机柜间的密闭热通道内聚集并自然上升,被顶部的空调盘管制冷后,再经盘管顶部的6个高效率EC大风扇带走,飘散到整个机房大环境中,然后冷空气自然下沉重新回到机柜的冷通道侧被服务器吸入,重新开始整个循环。整个过程中气流组织非常短而高效,几乎没有多少冷量传递损失,且符合热空气上升冷空气下沉的自然对流法则。热通道完全封闭后,空调送回风温差deltaT非常高,因此需要的空调风量较小,风机的转速较低,损耗也可以很小,真正实现了高效散热的目的。

还有之前我们可以看到三联柜的每个机柜深度都很浅(应该不超过700mm),但内部宽度很宽(柜内净宽度应该达到530mm),这种宽而短的服务器散热效率也非常高,很容易实现高温服务器的设计,服务器自身风扇的能耗也可以很小。三联柜内密布着服务器,机柜顶部还用于安放TOR交换机。这些机柜、服务器和网络设备从工厂完成全部布线、建设和测试,以整机柜的方式通过机柜底部滚轮搬运到空缺的三联柜泊位,并和列间顶部空调锁固,再插上电和光纤就可以快速投入生产,真正实现快速建设部署,低能耗高效率投产的目的。

解密Google数据中心制冷模块

上文我们介绍了Google数据中心微模块原理 ,下图是整个微模块空调部分的示意图,其中左边是挪走三联柜后(或者前面图中蓝色帘子)空调盘管的正视图,右边是从机柜尾端部看整排机柜的侧视图。这些图更有助于大家看到其气流组织,如下图箭头所示。当然这里采用了迎风面积更大、制冷能力更强的V型盘管,和前面图中所示的顶部一字型水平盘管原理一样,都是将机柜尾部散发出来的热量通过盘管内流动的冷冻水带走热量,然后通过顶部的大风扇将制冷后的冷空气重新循环回到机柜服务器的入口。

这些图清晰地展示了google置顶空调盘管及其支撑支架等细节,整个制冷模块宽度大约是6英尺或者72英寸的长度,刚好相当于3个外宽为24英寸标准600mm宽的机柜宽度。每个模块最下面有标签为104的叉车预留槽位,用于叉车搬运和定位,以及底部标签为110的支撑,不但可以提供盘管的固定(盘管检修时候只需从支撑上将盘管拆卸下来更换即可),还预留出底部的气流通道用于盘管两侧之间气流的流通。这个抬高设计既可作为两边热通道的通道共享或者冗余,在两边三联柜的热负荷不一样的情况下还可以重新分配气流。地板底下的冷冻水供水管314,可以从带毛刷的112出口分出多路支管连接到116的盘管接口(采用快接头),给上方的空调盘管提供冷量。当然如果不想做架空地板的话,也是可以把供水水管放在V型盘管下方的左右两个通道内,减少架空地板的建设费用。google相关人士表示架空地板建设投资只占不到5%的机房建设成本,但可以规避带来的漏水风险,并带来检修便捷性等,这些考虑最终让google还是选择了架空地板的方案。

微模块顶部标签为120的是空调风扇阵列,由6个独立的标签为122风扇构成,其中124是风扇驱动控制器。这些风扇采用高效率的EC风机,加上V型盘管较大的迎风面,以及deltaT很高,因此风扇的转速很低压差很小,运行起来就非常节能。此外顶部风扇阵列周边的四根标签为128的支撑柱上面,可以安装网线布线等托架,用于机柜顶部的弱电信号等布线使用,充分利用了顶部空间还减少了专门架设布线桥架的投资。还有空调顶部突出标签为118的L型导轨横条用于机柜和空调之间的紧固,既固定了机柜,又密封了热通道。

12
[责任编辑:周源 zhou_yuan@cnw.com.cn]