計算資源
ABCIシステムは、960基のNVIDIA A100 GPUアクセラレーターを備えた120台の計算ノード(A)、4,352基のNVIDIA V100 GPUアクセラレーターを備えた1,088台の計算ノード(V)、合算で約47PBの容量を有する共有ファイルシステム及びABCIクラウドストレージ、これらを相互接続する高速なInfiniBandネットワーク、ファイアウォールなどからなります。
ABCIシステム概要
特長
計算ノード(A)
- 計算ノード(A)は、8基のNVIDIA A100 GPUアクセラレーターと2基の第3世代Intel Xeonスケーラブルプロセッサー(開発コード: Ice Lake) 、NVMe SSD 2基、512GiB DDR4メモリを備えます。
- 計算ノード(A)の単体性能は、2506 AI-TFLOPSで人工知能研究の機械学習に必要とされる半精度浮動小数点の演算を1秒間に2506兆回行う能力を有します。科学技術計算で必要とされる倍精度浮動小数点演算おいては、計算ノード単体で161 TFLOPSの性能を有します。
- 全計算ノード(A)の合算性能は300 AI-PFOPS（半精度）、19 PFLOPS（倍精度）です。
FUJITSU PRIMERGY GX2570 M6 (1 server in 4U)
| CPU | Intel Xeon Platinum 8360Y Processor (54 MB Cache, 2.4 GHz, 36 Cores, 72 Threads) ×2 |
|---|---|
| GPU | NVIDIA A100 for NVLink 40GiB HBM2 ×8 |
| Memory | 512GiB DDR4 3200MHz RDIMM |
| Local Storage | 2.0TB NVMe SSD (Intel SSD DC P4510 u.2) ×2 |
| Interconnect | InfiniBand HDR (200Gbps) ×4 |
計算ノード(V)
- 計算ノード(V)は、4基のNVIDIA V100 GPUアクセラレーターと2基のIntel Xeon Gold 6148、NVMe SSD 1基、384GiB DDR4メモリを備えます。
- 計算ノード(V)の単体性能は、506 AI-TFLOPSで、人工知能研究の機械学習に必要とされる半精度浮動小数点の演算を1秒間に506兆回行う能力を有します。科学技術計算で必要とされる倍精度浮動小数点演算おいては、計算ノード単体で34.2 TFLOPSの性能を有します。
- 全計算ノード(V)の合算性能は550 AI-PFLOPS（半精度）、37 PFLOPS（倍精度）です。
FUJITSU PRIMERGY CX2570 M4 (2 servers in 2U)
| CPU | Intel Xeon Gold 6148 Processor（27.5 MB L3 Cache, 2.40 GHz, 20 Cores, 40 Threads）×2 |
|---|---|
| GPU | NVIDIA V100 SXM2 (16GiB HBM2)×4 |
| Memory | 384GiB DDR4 2666MHz RDIMM |
| Local Storage | 1.6TB NVMe SSD（Intel SSD DC P4600 u.2）×1 |
| Interconnect | InfiniBand EDR (100Gbps) ×2 |
ストレージシステム
人工知能やビッグデータ応用に用いる大容量データを格納するためのストレージシステムを計5基備えており、これらを用いて共有ファイルシステム及びABCIクラウドストレージを提供しています。共有ファイルシステムは、Lustreを用いて、高速分散ファイルシステムとして構成されており、約34PBの実効容量を有します。ABCIクラウドストレージは、Amazon Simple Storage Service (Amazon S3) 互換インターフェースを備えたオブジェクトストレージサービスであり、17PBの物理容量・約13PBの実効容量を有します。
高速なインターコネクト
計算ノード(A)、計算ノード(V)、共有ファイルシステム、ABCIクラウドストレージは、高速なInfiniBandネットワークにより相互接続されます。計算ノード(A)は全ノードがフルバイセクションバンド幅、計算ノード(V)はラック内の全ノード34台がフルバイセクションバンド幅、で相互接続されます。
外部接続ネットワーク
ABCIシステムはSINET6（400Gbps）に接続しているため、インターネットを経由してABCIシステムに接続できます。ネットワークの経路には高性能なファイアウォール装置 FortiGate 1500Dを配し、安全なネットワーク接続を実現するとともに、アクセスサーバによる2段階の認証を経ることでセキュアな接続を確保します。