独立行政法人 産業技術総合研究所【理事長 吉川 弘之】（以下「産総研」という）グリッド研究センター【センター長 関口 智嗣】は、超大規模データを複数拠点で協調して解析するグリッド技術「グリッドデータファーム」の開発に取り組んでいます。本日（日本時間：2002/11/21未明、現地時間：2002/11/20 AM11:00 ）、米国ボルチモアで開催されている国際会議SC2002（会期：2002/11/16-2002/11/22）において、日米の7拠点を高速ネットワークで接続し構築したグリッド環境を用いて、本グリッドデータファームによる大規模データ解析の実証実験に世界で初めて成功しました。
本成果は、日米の6研究機関（産総研、高エネルギー加速器研究機構、東京工業大学、東京大学、米国インディアナ大学、米国サンディエゴ・スーパーコンピュータ・センター）の協力の下、利用するネットワークとして、つくばWAN、APAN、MAFFINのサポートを得て、SC2002会場を含む7拠点に分散配置された計190台のパソコンからなるPCクラスタ 7システムをグリッドデータファームにより統合し、18TB（テラバイト：1TBは1兆文字、18TBはCD 3万枚相当）の大容量データを高速処理できるグリッド環境の構築に世界で初めて成功したものです。さらに、拠点間の高速データ複製により1万km離れた日米間で707Mbps（1.毎秒8838万文字、2.CD 1枚分のデータを5.7秒で転送できる速度）の実効データ転送速度を初めて達成しました。なお、18TBの大容量ストレージは、特別な装置を利用することなくパソコンが備えるハードディスクにより実現し、データアクセスの局所性を活用することにより6600MB/s（CD 1枚を0.1秒で読み書きする速度）の高速アクセスをも実現しました。
なお、本研究開発の一部は、経済産業省において実施している平成14年度重点分野研究開発委託費「ネットワークコンピューティング技術の開発事業［研究開発責任者 関口 智嗣］」の支援により行われている。
各拠点のネットワーク地図とＰＣクラスタ
今回の実験においては、日本国内の高速広域ネットワークに つくばWAN と SuperSINET 、日米間はAPAN / TransPACと NII-ESnet HEP PVC 、米国内は主にAbilene や Esnet 等の高速広域ネットワークおよび会場内のSCinetを利用しました。
日米の協力機関は、このグリッド環境によるグリッドデータファームを用いて、素粒子実験を模擬する大規模データを主に東京工業大学の大規模PCクラスタで生成し、他拠点のPCクラスタに数百GB（ギガバイト）規模の複製を作成し、複数PCクラスタによるTB規模の超大規模データ処理の実証実験に成功しました。（複製はPCクラスタのノードが故障した場合やネットワークが不通になった場合などのためのバックアップとして、また、複数のPCクラスタに処理を分散させて効率よく処理するために利用されます。）
複製作成に必要なデータ転送では、日米間で理論的なネットワーク性能の7割に相当する707Mbps、米国内で1Gbpsの転送性能を達成し、併せて1.7Gbpsを達成しました。日米間は1万km離れており、光ケーブルによる通信遅延は往復で0.2秒にもなります。通常インターネットで利用されている通信方式では、これくらいの遅延があるとデータ転送速度は2Mbps程度に落ちてしまいます。グリッドデータファームでは、多数存在するパソコンのハードディスクから別のパソコンのハードディスクへと数百という数の並列データ転送を行うことにより、従来では考えられないデータ転送速度を達成しています。また、特に今回の実験ではTransPACの2本の日米ネットワークを効率的に利用することにより、通常の理論ネットワーク性能の2倍のネットワーク性能を達成しています。日米間で一つのアプリケーションによって707Mbpsの転送速度を達成したことはこれまでに例がありません。
本実験にあたり、産総研はグリッドデータファームのソフトウェア開発および実証実験環境の調整を、高エネルギー加速器研究機構は素粒子実験シミュレーションのプログラム開発を行いました。また、東京工業大学の大規模PCクラスタにより計算資源を必要とする実験シミュレーションデータを生成しました。インディアナ大学およびサンディエゴ・スーパーコンピュータ・センターはPRAGMA（環太平洋におけるグリッドアプリケーションに関するコラボレーション）による共同研究として議論を重ねるとともに、計算資源、ネットワーク資源、ディスク資源の提供および環境構築を行いました。
本実験で構築したグリッド環境のネットワーク論理図
グリッドデータファームは、TBあるいはPB（ペタバイト：TBの1000倍）規模の超大規模データに対する高速処理を、多くの人々が安全に共有することを目指したグリッド技術です。より高速なネットワークを用い、装置の規模を拡大することにより、今後必要とされる今回の実験の10倍の高速データ転送、100倍の大規模データに対する高速処理にも対応できます。今後は、欧州も含めた世界規模のグリッド環境により、さらに大規模な実証実験を進めていく予定です。
グリッドデータファームは、1.年間数PBの実験データの解析が必要な素粒子物理学や、2.天文学における全天多波長の観測データの解析、3.生命情報学の遺伝子解析など大規模データ解析、4.大規模データシミュレーションを必要とする理論・実験科学だけではなく、5.電子政府・電子商取引などビジネス分野における大量のデータ処理や、地理的に離れた拠点間の高速データ複製による冗長性の確保と負荷分散を、行うことができます。世界規模のデータベースなど大規模データの高速処理を、多くの人々が安全に共有するための基礎技術として非常に有効であり、幅広い産業応用が考えられます。