NEDOは、2008年度に開始したグリーンITプロジェクトにおける成果の一つとして、省エネ技術を結集した次世代モジュール型データセンターを構築しました。これまで開発してきた省エネ基盤技術である、高電圧直流電源技術、サーバー液冷技術、グリーンクラウド運用技術、データセンターモデリング・評価技術に、今回新たに開発した外気導入技術（特許出願中）を組み合わせ、エネルギー利用効率を最適化し、本事業の目標とした総消費電力を従来に比べ30%削減（比較のために構築した従来モジュール型データセンターの総消費電力28kWが次世代型で19.6kW以下に）できることを検証します。また、商用電力の供給量が制限された際に、制限内で効率良くデータセンターの運用が行える運用技術も開発します。
クラウドコンピューティングの普及とともに震災以降需要の高まるデータセンターにおいて、省電力は必須の技術となっています。技術開発を進めていくことで引き続き持続可能な社会の実現に貢献することが期待されます。
 |
次世代モジュール型グリーンデータセンターの構成図 |
近年、情報流通の核となるデータセンターおよび、それを構成するIT機器の消費電力が急増しており、問題となっています。また、2011年に発生した東日本大震災の影響により、電力の使用制限が発動されるなど、広く節電の要請がなされています。一方で、情報システムのクラウドコンピューティング化やソーシャル・ネットワーキング・サービス（SNS）、ビッグデータといった新しいデータの活用にともない、データセンターの増設は続く状況にあります。持続可能な社会の実現に向けて、データセンターにおける消費電力を大幅に削減することが必須となっています。
従来、データセンターの建設では、IT機器、空調設備、電源設備、建物が、それぞれ異なる事業者によって異なる目標が設定され設計・製作・構築されてきました。そのため、データセンター全体としてエネルギーを効率良く利用できていませんでした。例えばIT機器設計者は、少ない空間により多くの能力を集約するために高密度な実装を行い、空気が流れる空間を十分にとれない点をカバーするため強力なファンを内蔵し大量の空気を吸い込む設計を行っていました。また、設備設計者は、サーバーの熱暴走による障害発生を危惧するあまり、余裕をもった空調設備の設計を行うことが多くありました。一方で各事業者において、省電力の必要性は認識されつつあり、個別の技術としてはエネルギー効率の高い製品の実現が進んでいますが、データセンター全体として見ると消費電力を削減できる余地が多く残っています。
省エネ技術を結集したことで大幅に消費電力を削減でき、かつ、節電運用が可能な次世代モジュール型データセンターを産業技術総合研究所（産総研）つくばセンター内に構築しました。開発したモジュール型データセンターは以下のような特長をもっています。
（1）液冷を用いたファンレスサーバー
データセンターにおけるサーバーの集積密度は年々増加傾向にあり、数年前は2 kVA～6 kVAだったラックあたりの消費電力は、近年では8 kVA～20 kVAにもなろうとしています。サーバー内で発生した熱は、通常サーバー内のファンによってサーバー外に排熱されます。ラックあたりのサーバー集積度が上がるとデータセンターのサーバー室内に排出される熱は非常に膨大となり、空気中に分散した熱をデータセンター外に排出するには強力な空冷装置が必要となります。そこで、空気よりも熱伝導率が高い液体を用いて、熱をサーバー室内に排出せずに効率的に除去する手法を採用しました。
今回、株式会社SOHKiがNEDOグリーンITプロジェクトの一環として開発した液冷ジャケットを既成品サーバーに装着し、大部分の熱を冷却液によりサーバーから除去することとしました（図1）。
 |
図1 既製品サーバーと液冷ファンレスサーバー |
サーバーを収納したモジュール内の床下から、ラックを通してサーバーへ冷却液を循環させ、クーリングタワーで冷却された水と熱交換する仕組みを構築しました。これによりモジュール内の空気に放出される熱はわずかとなります。また、少ない風量でサーバー内の熱を除去することができるため、サーバー内蔵ファンの多くが不要となり、消費電力を削減できます。
（2）外気導入によるエアコンレスデータセンター
液冷システムを導入したことにより、サーバーからモジュール内に排出される熱量はわずかとなりました。この熱をモジュールの外に排出するために、外気を利用することとし、産総研とNTTファシリティーズは、グリーンユニットと呼ぶ外気導入装置を設計しました（図2）。モジュール内に大型ファンで空気を送り込み、気圧の差によって空気が流れるように設計されています。グリーンユニットは、内部に気化冷却器、熱交換器、除湿加湿器をとりつけ、外気の環境条件に応じてサーバーに必要な温度・湿度・風量の空気を送ることを可能にした装置です。夏は、外気を気化冷却により温度を下げて供給し、サーバーからの熱を含んだ空気を直接外部へ放出します。冬は、サーバーからの排気を循環させてサーバーに給気するとともに、グリーンユニット内で、外気と熱交換を行います。春秋は、夏と冬の運転方法を組み合わせた混合モードで動かします。この装置により日本における四季の変化を含めたほとんどの外気条件下において、エアコン（空調機）を使わずにサーバーを冷却でき、また、大型ファンで動作させるため、冷却にかかる電力を大幅に削減することが可能です。
 |
図2 グリーンユニットのイメージ図と空気の流れ |
（3）直流電源供給と電源アダプティブ制御技術（運転台数制御）
従来のデータセンターでは、無停電電源装置（ＵＰＳ）を通じてIT機器へ給電する交流電源システムが主流となっていますが、ＵＰＳは停電時のバックアップとして蓄電池を用いるため、交流と直流の変換を繰り返す必要があります。またIT機器には交流で給電されていますが、IT機器内のＣＰＵなどは直流で駆動するため、電源ユニット（PSU）で交流から直流の変換が必要となります。このように交流電源システムは変換段数が多いことから、電力損失が大きくなっています（図3の丸付き数字が変換を行なっている箇所）。さらに、電源システムの給電量は、余裕をもたせるためIT機器に比べて大きくとる必要がありますが、実際のIT機器は最大消費電力よりも低い電力で稼働しているため、電源システムは効率の悪い給電量領域で運用しています。
今回NTTファシリティーズと三菱電機、長崎大学は、電源システムの直流化によりシステム全体の変換段数を削減するとともに、約380 Ｖの高電圧化により電源システムの効率を向上させました。さらに、IT機器の消費電力に応じて電源ユニットの運転台数を最適制御する電源アダプティブ制御技術を確立し、常に運転効率の高い状態を維持することを実現しました（図4）。この制御技術は直流給電システムとの親和性が高く、IT機器の稼働状況に応じて安定した運用をしつつ最大の省エネ効果を得ることが可能です。
 |
図3 交流電源システムと直流電源システムの変換段数 |
 |
図4 電源アダプティブ制御技術 |
（4）データセンターの省電力運用と節電対策
従来のデータセンターでは、ユーザーへのサービスレベルの低下を避けるために、ユーザーのアクセスが少ない場合でも、すべてのIT機器の電源を常時オンにしていました。しかし、近年の消費電力を削減する社会情勢や、大震災後の節電要求に対応するためには、不必要なIT機器の電源を落として省電力を図ることも必要となりました。
今回開発したデータセンターは、分散ストレージを多数のサーバーで構成し、相互にデータのレプリカをもち、ユーザーからのアクセスに応えるサービスを提供しています。ユーザーからのアクセスが多い場合には、レプリカをもつサーバーすべてを起動させ性能を維持しますが、アクセスが少なくなった場合には、必要最低限のサーバーを残し、残りのサーバーの電源を落とします。停止中のサーバーのデータ更新は、再び電源を入れた際に、データの更新情報を同期することで行います。
また、震災後は、電力の供給量が10-15%削減されることがあり、ユーザーからのアクセス数によらず、消費電力を下げる努力を求められる場合があります。そこで、日本電気とNTTファシリティーズは、電力会社からの電力供給情報に基づき、モジュール内の蓄電池を活用し、節電要請に応える電力でIT機器を稼働させる運用技術を開発しました（図5）。ユーザーからのアクセス数が多い場合には、止む無くサービスレベルを下げることになりますが、サービスを停止せずに継続した運用を可能とします。
 |
図5 アクセス負荷や節電要請に応じたデータセンター運用 |
（5）次世代モジュール型データセンターの構築と評価実験
今回、エネルギー利用を最適化するデータセンターとして、ビル型のデータセンターではなく、モジュール型のデータセンターを選択しました。震災後、迅速な立ち上げと需要に応じた増強が要請され、モジュール型のデータセンターの需要が高まっているためです。また、小さい空間で機能をもたせることで、空調装置、電源装置、IT機器それぞれの効率が把握しやすいためです。
モジュール型の限られたスペースの中で、上記（1）から（4）の特長をもち、エネルギー効率、特に熱の流れと電力効率に注目して、エネルギー利用を最適化するモジュール型データセンターを設計・構築しました。また、今回構築した次世代モジュール型データセンターに加えて、従来の設計方法によるモジュール型データセンターも構築しました。これにより、同じ情報処理能力をもつデータセンターとして消費電力の直接比較が可能です。
両モジュール型データセンターは、一部機能を除いて構築を完了し、今後消費電力の評価実験を行います。目標であるデータセンターにおける全消費電力の30%以上削減を達成できることを検証していきます。
今回のデータセンターでは、クラウドサービスやWebサービスを提供する運用をした場合を前提にして評価を行います。現時点では、従来モジュール型データセンターの場合の総消費電力は平均で28kW程度と予測しています。これを次世代モジュール型データセンターの場合、30%減として平均19.6kW以下となることを検証していきます。
データセンターの省電力性を評価する指標としては、測定が比較的容易であることからPUEが広く知られており、多くの事業者がPUEを用いてデータセンターの省電力性をアピールしています。しかし、PUEはデータセンター全体の消費電力をIT機器による消費電力で割ったものであり、設備のエネルギー効率を表現しているため、IT機器の省電力性や運用による省電力効果を評価することはできません。例えばIT機器であるサーバーの省電力性は日々向上していますが、PUEの計算式(図6)にあてはめると、省電力性を低めたように見えてしまいます。今回構築したモジュール型データセンターでは、従来型がPUE=1.33、次世代型がPUE=1.16と試験的な数値が出ています。改善率は12.8%程度であり、PUEで見るとあまり大きな改善には見えません。
 |
図6 PUEの計算式 |
産総研では、データセンター全体の省電力化の効果を評価するため、図7に示す新しい指標の考え方を提案します。ここではIT機器や空調装置、電源装置など、装置単位に測定された消費電力を用いるのではなく、電力供給、冷却、情報処理といった機能別の消費電力を評価します。例えばIT機器に内蔵されたファンは抜熱のために使われるので、情報処理機能ではなく空調装置と同じ冷却機能の消費電力として加算し、IT機器のPSUは電力を供給するために使われるので、情報処理機能ではなく電源装置と同じ電力供給機能の消費電力として加算します。この指標を用いることにより、必要な情報処理の実行のために他の機能で消費する電力を知ることができ、省電力化を図る余地がある部分を見つけ出し、データセンター全体でもっとも効率のいい省電力化設計の判断に役立てることができます。
 |
図7 消費電力を機能単位で分解して評価するデータセンターの省電力指標 |
PUEにこの考え方を適用したものを機能型PUEとして定義すると、図8のように書くことができます。この機能型PUEを用いると、従来型は機能型PUE=1.56、次世代型は機能型PUE=1.16で、改善率は26%となり、より正当な評価が可能です。
 |
図8 機能型PUEの計算式 |
今後、目標となる削減量30%を検証するにあたって、提案する指標を使用し、全消費電力の比較だけでなく、どの省電力化技術がどれだけ有効であるかを評価していきます。
今回構築したデータセンターでクラウドサービスやWebサービスなどをつくば市で1年以上運用し、実際的な運用状態において消費電力削減の効果を評価します。また、1年間運用することで、つくばにおける外気環境条件での動作および削減効果評価を行うとともに、つくばでは自然に形成されないさまざまな外気環境下での評価も行います。さらに、運用のガイドライン開発やノウハウの蓄積などを進めます。