在雙十一節頻頻創下全球最高銷售紀錄的阿里巴巴集團,首度公開最新建立的千島湖資料中心,成為繼美國、新加坡及中國本地 5 座資料中心之後,最新的第 8 座資料中心,也是中國首座使用湖水冷卻進行冷卻節能的綠能資料中心,更是展現自主研發科技的示範資料中心,並將投入今年雙十一節的銷售活動。
本文目錄
資料中心將逐水、逐風、逐光 追求綠能節耗無止盡
千島湖位於浙江杭州淳安縣,湖水容量為 17.8 立方公里,是當地著名的觀光景點。那麼,阿里雲為何要在觀光景點旁建立資料中心呢?
「資料中心是一種非常能源集中的設施,過去我們只談電力的應用,除了伺服器運轉所需要的電力,還包括散熱所需要的冷卻用電力,」阿里巴巴技術長王堅表示:「但最新的資料中心設計,必須要考慮多種新能源的使用,以千島湖資料中心為例,正是充分利用水力的代表作。透過引進千島湖湖水冷卻的設計,讓千島湖資料中心的年平均 PUE 達到 1.3,甚至最低可達 1.17 的程度。」

而位於浙江杭州千島湖旁的千島湖資料中心,是阿里巴巴與華通雲數據、淳安縣政府三方通力合作的成果,阿里巴巴提供資料中心的建置技術與設備,由華通雲數據負責建造資料中心主體大樓與機電工程,並與淳安縣政府達成協議,免費使用千島湖的湖水,並將散熱用廢熱水回饋給當地青溪新市鎮的居民,以及市政的景觀用水使用。
中國自主設計機櫃標準 專為大規模運算而生
根據阿里巴巴技術保障伺服器(服務器)高級專家武鵬說明,千島湖資料中心是阿里巴巴集團單體建築伺服器容量最高的資料中心,可容納 5 萬台伺服器,歸功於千島湖資料中心的大樓設計,符合阿里巴巴於去年提出的 AliRack 整機櫃設計,和傳統的機櫃設計相比,能再次提升資料中心的每地坪伺服器密度。
簡單來說,AliRack 是一套基於由阿里巴巴、騰訊與百度共同參加的天蠍計畫所訂定的機櫃設計,是為了大規模高密度運算所最佳化的機櫃設計。去年 7 月第一次亮相後,阿里雲隨即在今年提出 AliRack 2.0 設計,並率先部署在千島湖資料中心。阿里巴巴技術保障資深總監曲海峰表示,阿里雲分佈全球共 8 個資料中心,AliRack 2.0 的部署率約 10-20%,之所以無法大規模進行部署,主要是因為舊有的資料中心建築與機電設計,無法符合 AliRack 2.0 的需要。

與傳統標準機櫃相比,AliRack 機櫃的寬度拓寬至 21 吋,高度則從 1.9 公尺調整為 2.1 公尺與 2.35 公尺兩種款式。
「AliRack 是為了規模化運算而設計,」曲海峰解釋道:「因此將寬度調整為 21 吋,搭配客製化伺服器主機,每個 1U 高度可容納到 12 顆硬碟,最高密度可達 18 顆硬碟。全機櫃的運算與儲存密度將比傳統機櫃更高。」
因此,曲海峰也明白表示,一般企業的資料中心,並不需要這種專為大規模運算而設計的機櫃,目前也並未打算將天蠍計畫提出的機櫃設計草案推廣成業界標準,而是讓中國各家雲端平台公司相互提供工程人力支援設計適合自己使用的機櫃與模組。
曲海峰進一步表示千島湖資料中心將是阿里雲在杭州所建立的「最後一座」資料中心,未來建立新的資料中心,將優先考慮有助於散熱與發電的地形,來選擇新建資料中心的位置。「過去營運商希望將資料中心建立在客戶的附近,以便於維運。現在隨著光纖技術的改進與綠能環保的要求,反而會將資料中心遷移到能源產生處,來降低資料中心的運作成本。」
「未來,阿里雲將在河北省張北縣建造一座大規模使用太陽能與風力發電的資料中心園區,該園區預計將有四座資料中心,並大規模部署 AliRack 機櫃,將取代舊有的資料中心,達到綠能減碳保護環境的要求。」
綠能資料中心設計挑戰 遠超過傳統想像
王堅也表示千島湖資料中心的規模並非阿里巴巴現有 8 座資料中心之最,但建立千島湖資料中心的目的,是為了挑戰中國自主研發建置綠能資料中心的技術,包括節電、節水,以及讓每台伺服器達到最高的能耗效率表現。
「使用湖水進行資料中心冷卻,並不如外界想像的容易,」王堅非常開心談到千島湖資料中心的建置挑戰,「抽取湖水並不難,多設計一套冷卻系統也不難,困難的是如何處理各種意外故障。例如冷卻用的湖水是從水面下 60 公尺處抽取,流經 1.5 公里的管道,進入千島湖資料中心。若是因為任何意外導致抽水電力中斷,那麼 60 公尺高管道中數噸的湖水,將會瞬間掉落衝擊損壞湖底的抽水馬達設備,這是建立傳統資料中心所根本想像不到的挑戰。」
最後,阿里巴巴在中國尋找到專利技術,解決了上述問題,才有機會催生中國首座湖水冷卻的資料中心。阿里巴巴 IDC 專家陳炎昌表示千島湖資料中心有 90% 的時間使用湖水冷卻,能耗節省超過 8 成,年平均水資源使用效率 ( Water Usage Effectiveness, WUE) 打破 Facebook Oregon 資料中心所創下的年平均 WUE 0.28 的紀錄,達到 WUE 0.197 。
不過,可惜的是,千島湖資料中心年平均電力使用率 (Power Usage Effectiveness, PUE) 雖已達到世界級水準的 PUE 1.3 ,全年可節電數千萬度,減少萬餘噸碳排放量,但仍無法打破 Facebook Oregon 資料中心所創下的 PUE 1.07 紀錄,顯然阿里巴巴資料中心的下一個挑戰,將是如何進一步再降低 PUE 。
阿里巴巴首度公開資料中心 均溫 12 度湖水常年冷卻資料中心

千島湖資料中心為阿里巴巴首度開放參觀的資料中心,在開幕前已試營運了 4 個月,預計將投入今年雙十一節活動的運作。該資料中心大樓共有 11 層樓,除了一樓的冷卻與發機電室之外,奇數層 3 、 5 、 7 、 9 與部分 11 樓面積為伺服器用,偶數層 2 、 4 、 6 、 8 、 10 樓為機電設施用。除此之外,千島湖資料中心的頂樓設有太陽能板,可小幅度供應伺服器之用,其餘部分用電來自千島湖的水力發電,大部分還是使用市力發電。

千島湖資料中心的大樓量體由華通雲數據公司負責建造,因此大樓入口處僅見華通雲數據的標誌。



大樓外設有兩座湖水處理器,從 1.5 公里外的千島湖水面下 60 公尺抽取均溫 12 至 17 度的湖水,過濾雜質後輸送到地底下的兩個大型蓄水槽存放,經過一樓的冷卻室將低溫湖水輸送至各樓層進行散熱。

一樓為冷卻機房,負責交換輸送散熱用的低溫湖水與使用過的高溫湖水。高溫湖水將優先供應大樓內暖氣與附近青溪新市鎮的居民使用,再排入長達 2.5 公里的青溪新城中軸溪,潔淨處理過後回到千島湖。
綠色管線為冷湖水管、黃色管線為熱湖水管、藍色管線為機械製冷之冷水管、紅色管線為機械製冷回水熱管。

資料中心伺服器樓層採用 AliRack 2.0 與阿里巴巴資料中心模組 (Alibaba Data Center Module, ADM) 設計,冷/熱通道獨立封閉,避免冷熱空氣混合對流。機櫃供電採交流電/直流電雙電路供應,電力轉換效率可達 97% 。
微模組設計的目的,是希望能夠快速部署資料中心機櫃,因此可相容標準機櫃與 AliRack 機櫃。伺服器機櫃、冷卻機櫃與電源機櫃組合為一個單元,每個微模組左右兩面各可容納 8 個單元,因此每個微模組可安裝 16 個 AliRack 機櫃,每機櫃供電 8000 千瓦,依照用途不同可容納 24 到 48 台伺服器。
微模組設計的好處,可降低 8%-10% 的功耗,並透過「場外製造、場內施工」的模式,縮短機櫃部署的時間,從工廠生產到部署完畢只需約 45 天時間,比傳統工法約需 4 個月時間相比可說是急速完工。

4 comments
陳哲
2015-09-11 at 08:27:36
千島湖⋯⋯
網路資訊雜誌
2015-09-11 at 12:59:11
其實當地很漂亮呢,但這趟過去果然沒有碰到什麼台灣人(倒)
陳哲
2015-09-11 at 12:59:37
沒特別意思,只是想到賭神 2 而已~
網路資訊雜誌
2015-09-11 at 13:00:33
賭神 2 也是玩同一個梗哪…… ^.^