計算資源
ABCI 3.0は、6,128基のNVIDIA H200 GPUアクセラレーターを備えた766台の計算ノード(H)、合算で75PBの物理容量を有する共有ファイルシステム及びオブジェクトストレージ、これらを相互接続する高速なInfiniBandネットワーク、ファイアウォールなどからなります。
ABCI 2.0の計算資源については、計算資源(ABCI 2.0)をご確認ください。
ABCIシステム概要
特長
計算ノード(H)
- 計算ノード(H)は、8基のNVIDIA H200 GPUアクセラレーターと2基の第3世代Intel Xeonスケーラブルプロセッサー(開発コード: Emerald Rapids) 、NVMe SSD 2基、2TB DDR5メモリを備えます。
- 計算ノード(H)の単体性能は、8,122 AI-TFLOPSで人工知能研究の機械学習に必要とされる半精度浮動小数点の演算を1秒間に8千兆回行う能力を有します。科学技術計算で必要とされる倍精度浮動小数点演算おいては、計算ノード単体で542 TFLOPSの性能を有します。
- 全計算ノード(H)の合算性能は6.2 AI-EFLOPS(半精度)、415 PFLOPS(倍精度)です。
HPE Cray XD670 (1 server in 5U)
CPU | Intel Xeon Platinum 8558 Processor (260 MB Cache, 2.1 GHz, 48 Cores, 96 Threads) ×2 |
---|---|
GPU | NVIDIA H200 SXM5 141GB HBM3e ×8 |
Memory | 2TB DDR5-4800/5600 |
Local Storage | 7.68TB NVMe SSD ×2 |
Interconnect | InfiniBand NDR200 (200Gbps) ×8 |
Storage Interconnect | InfiniBand HDR (200Gbps) ×1 |
ストレージシステム
人工知能やビッグデータ応用に用いる大容量データを格納するためのストレージシステムを計17基備えており、これらを用いて共有ファイルシステム及びオブジェクトストレージを提供しています。共有ファイルシステムは、Lustreを用いて、高速分散ファイルシステムとして構成されており、約73PBの実効容量を有します。オブジェクトストレージは、Amazon Simple Storage Service (Amazon S3) 互換インターフェースを備えたオブジェクトストレージサービスであり、約1PBの実効容量を有します。
高速なインターコネクト
計算ノード(H)、共有ファイルシステム、オブジェクトストレージは、高速なInfiniBandネットワークにより相互接続されます。計算ノード(H)は全ノードがフルバイセクションバンド幅で相互接続されます。
外部接続ネットワーク
ABCIシステムはSINET6(400Gbps)に接続しているため、インターネットを経由してABCIシステムに接続できます。ネットワークの経路には高性能なファイアウォール装置を配し、安全なネットワーク接続を実現するとともに、アクセスサーバによる2段階の認証を経ることでセキュアな接続を確保します。