ABCIグランドチャレンジ2020で採択された課題は次の通りです。
| クラス | 所属機関名 | 代表者名 | 課題名 | 研究の概要 | |
|---|---|---|---|---|---|
| 第3回 | Large | 富士通研究所 | 小川雅俊 | GPUシミュレーションとマルチGPU学習の融合による設計回路性能を即時予測する大規模AIの構築 | 2020-3-L-1 |
| 第2回 | Large | 富士通研究所 | 福本尚人 | MLPerf-HPCの分散並列深層学習 | 2020-2-L-1 |
| 第2回 | Large | 東京工業大学 | 秋山 泰 | 大規模REUSシミュレーションと機械学習の融合による創薬向け環状ペプチド100件以上の細胞膜透過性予測 | 2020-2-L-2 |
| 第2回 | Medium | 東京工業大学 | 横田理央 | 深層学習の理論研究に資する情報行列データベースの幅広いデータセット・モデルへの拡張 | 2020-2-M-1 |
| 第1回 | Medium | 東京工業大学 | 横田理央 | 深層学習の原理解明に向けたDNNモデルと情報行列の大規模データベース構築 | 2020-1-M-1 |
研究概要：本研究では、GPUシミュレーションとマルチGPU学習を組み合わせた、電磁波予測AIの大規模学習システムの構築を行う。具体的には、電子回路から放射される電磁ノイズ(EMI)を予測するGPUシミュレーションにより，回路パターンとEMIの関係に関する 100万件の学習データを生成する。生成された約 25TB に及ぶ大規模学習データを、ABCI全システムを用いた深層学習で学習する。構築されたAIは、様々なパターンを含む複雑な電子回路からのEMIの予測をすることで、設計者がシミュレーションをバイパスし、設計回路の性能を即時評価することを可能にする。本研究により、設計プロセスのフロントローディングを実現し、設計プロセスの革新を目指す。
研究概要：深層学習のベンチマーク標準であるMLPerfに今年、HPCシステム向けベンチマークが追加される。内容は、基礎科学を題材としたAI計算である。スパコン/HPCを念頭に、大規模データと大規模演算を前提として作られたベンチマークであり、分散並列実行時のスケーラビリティが大きな課題となる。 この研究では、HPCハイエンドマシンであるABCIにおいて高いスケーラビリティを実現すべく、演算面についてはResNet-50での大規模学習の知見を活かして大規模ミニバッチを実現する。大規模データの扱いでは、学習データ読み出しと、ノード間、ノード内のデータ転送のいずれもがボトルネックとなる可能性がある。これに対し、システム全体でのスケジュールを最適化することでボトルネックの解消を目指す。これらの技術を実現させ、世界最速学習を狙う。
研究概要：従来の低分子創薬に替わり、製薬企業等で急速に開発が進む“環状ペプチド゙創薬”は、優れた標的結合性と特異性を獲得しやすいという大きな利点の一方で゙、細胞膜の透過能が低いという問題が未解決である。薬剤が細胞膜を透過できることは細胞内の治療標的へ到達するための必須条件であり、細胞膜透過メカニズムの解明と、AIシステム支援による透過能改良技術は、同分野に多大な貢献をもたらす。 本研究では、超並列計算によるAI創薬支援の一貫として、我々が開発してきた分子動力学シミュレーションに基づく膜透過予測法を100件以上の環状ペプチド゙に適用し、 環状ペプチド゙の構造的特徴と膜透過性の関係を探るともに 機械学習モデルの結果と融合して高精度な予測を目指す。 本研究で用いる独自の膜透過予測法は、Amberソフトウェアを利用して実装されており、マルチノード・マルチGPU環境で効率的に動作する。ABCIでは1ペプチド゙あたり ABCI rt_Fを7 node利用して約 1 日で計算できる規模であり、今回のグランドチャレンジは700 node×day 以上に相当する 100 ペプチド゙以上の圧倒的成果創出を目指す。
研究概要：深層学習において汎化性能の向上とハイパーパラメータのチューニングは最も重要な課題であるが、それらに関する理論の構築が不十分であるため、経験的なノウハウに頼っている側面がある。この問題を是正するために行われている理論研究では、ヘッセ行列、フィッシャー行列、共分散行列などの大規模な行列を用いるものが多数あるが、パラメータ数が何億もある最新のニューラルネットでは現実的な時間内それらを計算できないため、対角化などの非常に粗い近似を行っている現状がある。本課題では、これらの情報行列を高速・並列に計算できる独自技術を活かし、理論研究と応用のギャップを埋めることを目指す。また、成果物として情報行列を大規模並列に計算できるPyTorch拡張を公開するだけでは、ABCIのような大規模計算資源を利用できない理論研究者の助けにはならないため、ABCIグランドチャレンジ制度を利用して主要なデータセットとモデルを対象として網羅的に情報行列を計算し、それをデータベースとして提供する。これにより、理論研究者の計算資源格差を是正することを目標とする。
研究概要：ハイパーパラメータのチューニングと汎化性能の向上は深層学習における大きな課題である。最適なハイパーパラメータや汎化性能を予測する理論も存在するが、それらはヘッセ行列やフィッシャー行列などの情報行列の計算を要するため、大規模な深層学習モデルに適用することは困難である。また、一つのモデルやデータセットに特化したチューニングを行い汎化性能の向上を図ることはあまり意味がない。実際に求められているのは様々なモデルとデータセットに対する網羅的な検証である。本課題では、ABCI上で大規模情報行列を高速に計算する独自技術を活かし、ハイパーパラメータや汎化性能の予測に関する理論の有効性を検証する上で必要となる、モデルとデータセットと情報行列の組み合わせを提供する。これにより、大規模計算資源にアクセスできない理論研究者が気軽に参照できるデータベースを構築することを目指す。ただし、巨大なtransformerなどは一つのGPUのメモリに収まらないため、recomputeやout-of-coreの技術を用いた低メモリ消費型の分散並列化を行う必要があり、そのための新たな手法を開発・検証する。