传统数据中心供电架构(采用了集中式UPS)下,从电网到服务器主板有高达21%到27%的能源被浪费,同时也为运维带来了不稳定因素,因此许多数据中心运营商试图实现新的突破。
阿里巴巴在服务器内部嵌入锂电池BBU(Battery Backup Unit),并在阿里数据中心进行部署,来支持双十一的业务运行。服务器内部一般有两个PSU(Power Supply Unit)对电压进行转换。重构后的服务器只会保留一个PSU,另一个PSU的位置将会插入一块锂电池BBU,当所有服务器内部均有一块锂电池BBU后,会形成数据中心分布式锂电池BBU系统。
在电力方面,绝大多数数据中心备用电源系统都是集中式UPS再加上铅酸电池,而巨型互联网公司开始转向分布式锂电池BBU,尤以Google、阿里巴巴、微软为代表。
一:单台UPS设备故障会导致后端数十甚至数千个服务器机架断电,故障影响范围广。
二:UPS电能转换次数多,供电效率低。
三:UPS投资运营成本高,系统通常需要按照最大负载配置铜排、配电柜、断路器开关等配电设备,而大部分情况下服务器负载较低,造成基础设施配电线路浪费。
四:运维不方便,铅酸电池具有记忆特性,因此每年要人工对UPS做数次充放电测试检查电池老化程度,占用太多时间和人力成
按照阿里巴巴的设计,外部供电一旦断电,安装在服务器内部的12V锂电池可以立即工作,为服务器提供12V电源支持,效率高达99%,接近理论最优值。对比传统UPS或者240V高压直流还需要做二次电压转换,效率提升8%以上,进而有效降低PUE达10%-15%。所以对于海量计算的数据中心这个省电容量是巨大的。
和UPS集中式部署不同的是,锂电池BBU最大一个好处是可以和服务器一起按需采购和建设,避免了传统UPS空置和利用率低,减少资金成本,能够提升15%数据中心整体交付时间。
按照阿里的预计,以10KW级的数据中心为例,此前每年支出的数千万元UPS运营成本、UPS+配电设备的前期投资也将全部节省掉。此外锂电池的使用寿命达10-15年,对比铅酸电池4-6年的寿命,会节约近一半的成本投入。
传统数据中心供电架构(采用了集中式UPS)下,从电网到服务器主板有高达21%到27%的能源被浪费,而facebook数据中心采用了分布式市电直供技术,只有7.5%的能源损耗掉(含服务器电源损耗),还节省了大量的初期设备投资。
facebook第一代数据中心供电和传统UPS供电效率对比
图2就是facebook第一代数据中心供电架构的实拍照片,数据中心内部不再有传统的UPS,而是每6个IT机柜配一套48V电池用于市电停电保护。所有服务器都是市电直供到机柜,只有
图2 facebook第一代数据中心实际落地实际照片
市电异常或者停电的情况下,这些48V电池才短时备份,直到柴油发电机起来继续带载。针对不同类型和不同功率的服务器,备份电池容量有56KW和85KW两种规格,5组48V电池并联,电池备份时间为90秒。电池柜内有3个2KW白金版48V电源模块给电池充电,兼给TOR交换机供电。在服务器内,facebook还定制了450W的277Vac和48Vdc双输入电源,当市电停电后10ms内切换到48V DC/DC电源供电。每个服务器机柜内有30台1.5U高的服务器总计30个电源模块,机柜内空间得到充分利用。但采用机架式服务器,每个服务器自带电源和风扇等成本高效率低,且部署密度和建设交付速度不够,因此OCP紧接着就发布了其整机柜的open rack架构。
在电池BBU方面Open rack V2采用了业界成熟很高的18650锂电池,这种电池自动化生产(+本站微信networkworldweixin),大规模一致性好、标准化高、供应商多、价格相对较低,在特斯拉汽车、笔记本电脑和电动工具等行业有成熟广泛应用。这里选择了某品牌2000mAh,30A最大放电能力的大倍率功率型锂电池,电芯资料如图7有简单介绍。电池BBU模块和PWR电源模块的外形尺寸一致,不到1.5U高420mm深。每个BBU模块内部采用了13串4并的两组电池,双层两排叠放。浮充电压为52.5V,电池放电截至电压为 34V,每个BBU模块最大输出能力达到3.6KW,重量达到10斤重左右。每个BBU内部做了BMS,以及可选的散热风扇,提高了运行的可靠性。