Introduction to Grid Computing 東京工業大学 学術国際情報センタ / 数 理・ 計算科学専攻 /JST 松岡 聡 matsu@is.titech.ac.jp
従来の高性能計算 (HPC) ベク ト ル ( 並列 ) スパコ ン � ベク ト ル ( 並列 ) スパコ ン � � 単一の計算機を多人数で共有 単一の計算機を多人数で共有 � 極少数のユーザ � 極少数のユーザ � 特殊なテクノ ロジ・ アーキテクチャ � 特殊なテクノ ロジ・ アーキテクチャ � � 大変高価 大変高価 ( 一台数億円～数百億円 ) ( 一台数億円～数百億円 ) 使いにく い ( 近年は Unix も � 使いにく い ( 近年は Unix も � ) ) バッ チシステム � バッ チシステム � 物理シミ ュ レ ーショ ンが主流 � 物理シミ ュ レ ーショ ンが主流 � � 構造計算・ 構造計算・ 流体・ 流体・ 他の PDE 他の PDE ・ ・ QCD QCD � Sparse CG, Monte Carlo, etc.etc. Sparse CG, Monte Carlo, etc.etc.
新し い高性能計算の潮流 新し い高性能計算の潮流 （ ） （ New HPC Paradigms ） New HPC Paradigms � 「 コモディ ティ 化 ] � ク ラ ス タ 計算 (Cluster Computing) � グローバル計算 (Grid Computing) � 両者と も 、 HPC を遼に安価、 汎用、 普及の可能性 � 21 世紀には HPC の主流に � 広範囲な HPC の普及へ � 大規模問題の世界記録の達成、 未解決問題の解決 � 例 : OR における NUG30 問題 � 複雑なアルゴリ ズムの実応用・ 科学技術への適用 � Economic Simulation, Biochemistry, Architecture, Control Theory, Architecture Simulation, Planning
イ ン タ ーネッ ト の利用法 通信媒体 � � 電子メ ール、 遠隔会議、 CSCW 、 など 広域データ ベース � � Web 、 Gopher, ftp アーカイブ、 netnews 、 など 計算力の資源 (?) � � Applet など 「 計算」 に関する標準的な基盤はまだない � ⇒グローバルコ ン ピ ュ ーティ ング、 “ The Grid ”
グローバルコ ン ピ ュ ーティ ング ( G r i d ) へ � イ ン タ ーネッ ト 上の超分散並列 「 仮想並列コ ン ピ ュ ー タ 」 による計算資源の共用 � 計算イ ン フ ラ ・ DB イ ン フ ラ ・ UI イ ン フ ラ ベクタ/ / MPP ベクタ MPP M y r i n e t A T M 複数のネット F a s t E t h e r n e t ワークボード ( ( 超並列計算機) 超並列計算機 ) MPI_SEND(...) エンドユーザ エンドユーザ 高速ネットワークによる 高速ネットワークによる MPI_ISEND(...) 大容量 ディスク MPI_RECEIVE(...) ワークステーションクラスタ ワークステーションクラスタ Intranet+ Intranet+ Internet Internet
グローバルコ ン ピ ュ ーティ ング へ( 2 ) � 広域のネッ ト ワーク 上の高性能 分散計算 � High-Performance Distributed Computing 「 超広域高性能計算」 � 仮想的な大規模並列計算機 Grid book picture here � Metacomputing[Smarr87] � “ The GRID ” [Foster ら 98] � 次世代のイ ン タ ーネッ ト の 計算にまつわるソ フ ト ウェ ア基盤 � 既存のソ フ ト 基盤の上位レ イ ヤ � サービスと プ ロ ト コ ルの提供・ 標準 化
グローバルコ ン ピ ュ ーティ ングの 応用分野 あら ゆる科学技術の分野 � � 計算物理、 計算化学、 生物情報、 医療情報、 宇 宙科学、 材料系、 原子力、 機械工学、 オペレーショ ンズリ サーチ、 などなどなど � 大規模並列計算、 大容量リ モート データ 処理、 リ モート センシングの融合 � エンジニアリ ング用の専用並列計算機の置き換 え � “ E-Science ” , “ TeleScience ”
The Grid: The Web on Steroids http: / / Web: Uniform access to HTML documents http: / / Software catalogs Grid: Flexible, Com puters high-perf access Sensor to all significant nets resources Colleagues Data archives On-demand creation Virtual Computing Systems Medium for Virtual Organizations
App. Example Large-scale Quadratic Assignment Problem w/MW � Exact solution of “ nug30 ” quadratic assignment problem on June 16, 2000 � 14,5,28,24,1,3,16,15,10,9,21,2,4,29,25,22,13 ,26,17,30,6,20,19,8,18,7,27,12,11,23 � Used “ MW ” framework that maps branch and bound problem to master-worker structure � Condor-G delivered 3.46E8 CPU seconds in 7 days (peak 1009 processors), using parallel computers, workstations, and clusters MetaNEOS: Argonne, Northwestern, Wisconson
NUG30 の Grid 上での実行 � Condor システム � Grid 上で、 空いている CPU 資源を 提供 � MW ラ イ ブ ラ リ � Condor を 用い , 大規模 Master-Worker, Branch-and-Bound 計 算を 行う � 世界規模で MPP スパコ ンから ク ラ ス タ 、 机上の 未使用の Workstation まで活用 � 対故障性と リ カ バリ が鍵
従来分散コ ン ピ ュ ーティ ング技術 と Grid � 従来の分散コ ン ピ ュ ーティ ング技術 � telnet, rlogin など � 分散 OS 技術 � Message Passing - PVM, MPI � WWW 技術 - HTTP/HTML/CGI � ORB (Object-Request Broker)- CORBA, DCOM, Java RMI � Agent 技術 (Plangent, Aglets, Voyager など ) � などなど � どれも ( そのままでは )Grid( グローバルコ ン ピ ュ ーティ ン グ ) には適し ていない � 部分には使えるが。 。 。
グローバルコ ン ピ ュ ーティ ングの 技術的要請 � 高性能 � 拡張性 � HPC, HTC � セキュ リ テ ィ � 高バンド 幅高レーテンシ対 応 � 不特定ユーザ � サイ ト の独立性 � モービルコード � root 権限なし � 対故障性 � スケーラ ビ リ テ ィ � あら ゆる � 世界規模へ � 資源配分 Heterogeneity � 言語、 OS 、 ハード ウェ � 計算資源、 リ モート センサー など ア、 管理ポリ シ
世界の現状 : 各種 Grid プロジェ ク ト � 80 年代 - 分散コンピューティ ン グ � 90 年代初期 - ギガビッ ト テスト ベッ ド � 主にネッ ト ワーキングの研究 � I-Way 1995 � アプリ ケーショ ンの feasibility が主 � Alliance (NCSA) Virtual Machine Room � PACIs (NCSA/SDSC NSF National Technology Grid) 1998 ～ � NASA Information Power Grid 1999~ � ASCI DISCOM 1999~ � GriPhyN (Grid Physics Network), PPDG, 2000~ � eGrid (European Grid), (EU/CERN) DataGrid, 2000~ � ApGrid (Asia-Pacific Grid) 2000~ � NCSA-SDSC Distributed Terascale System 2001~ , IDVGL (Distributed Virtual Grid Lab) 2001~
GUSTO Computational Grid
Emerging Production Grids NSF National Technology Grid NPACI (SDSC), Alliance (NCSA) NASA Information Power Grid
NPACI プロジェ ク ト � 主に大学、 および NCSA,SDSC, 30+ の大学 � 5 年ないし は 10 年の大規模プロ ジェ ク ト � SDSC の 50% のリ ソ ースは NPACI へ � CS+ アプリ ケーショ ン � 本物の作成 � ネッ ト ワーク は通常ネッ ト ワーク � NGI - vBNS (Internet2) � Avelin (OC192) San Diego Supercomputing Center
NPACI プロジェ ク ト ( ２ ) � ソ フ ト ウェ ア イ ン フ ラ : Globus+ Legion+ NWS など � アプリ ケーショ ン � neural science: Mark Ellisman USCD � earth systems: Berneard Minster (SIO) � molecular structure: Russ NPACI の技術 VIP の一人の Altman (Stanford) SDSC Regan Moore 氏と � engineering: Tensley Oden HPSS storage パネル (UTexas)
NPACI プロジェ ク ト (3) � Digital Sky Survey � metacomputing, parallel tools, data intensive computing, remote interaction � Globus, Legion � Kelp (Scott Baden, UCSD) � Scalable dynamic data structures (Utexas, Jim Brown) � Chaos (Joel Saltz, Maryland) � Parallelizing Compiler (Kathy Yellick, UCB)
Emerging User Communities � NSF Network for Earthquake Engineering Simulation (NEES) � Integrated instrumentation, collaboration, simulation � Grid Physics Network (GriPhyN) � ATLAS, CMS, LIGO, SDSS � World-wide distributed analysis of Petascale data � Access Grid: supporting group based collaboration
Grid 用のソ フ ト ウェ ア、 ツ ール � GridRPC � Toolkits, Framework � Globus, Legion, AppLes � Ninf, Netsolve, Nimrod � Message Passing � Desktop access to Grid � MPICH-G2 resources � Distributed collaboration � Commodity Grid Toolkits (CoG Kits) � CAVERNsoft, Access Grid � Performance Monitoring � High-throughput computing � Condor-G, Nimrod-G � NWS � Distributed data � Commercial management & analysis � United Devices � Data Grid toolkits � Entropia � Platform Computing � Parabon
The Need for Grid Services Collaboration Data Mgmt Distributed . . . Tools Tools simulation Information Resource Fault . . . services mgmt detection Remote access Remote monitor net
Recommend
More recommend
