イベント情報

第1回大規模言語モデル分散学習ハッカソン

  • 主催
    • 国立研究開発法人産業技術総合研究所 情報・人間工学領域
  • 共催
    • エヌビディア合同会社
    • ユビー株式会社
    • PCクラスタコンソーシアム　AI・機械学習技術部会
    • TensorFlow User Group

　本ハッカソンでは、ABCI利用者及びABCI利用をご検討中の方またはチーム（1チーム3人程度）を対象に、ABCIを活用した大規模言語モデルの学習（ファインチューニング）を実践していただきます。

参加者が訓練用のデータセットを持ち込み、既存の言語モデルを単一GPU、マルチGPU、またマルチノードで訓練（ファインチューニング）していただきます。最終日には訓練されたモデルの出力や、ハッカソンで得た学び等を共有していただく予定です。ABCIスタッフ（産総研職員）に加えて、深層学習や自然言語処理のスペシャリスト及びGPUのエンジニアがチューターとして参加し、モデルの改善や分散処理等のサポートを行います。

以下の様な方々が参加されることを想定しています。

  1. 既存言語モデルのファインチューニングを試したい方
    • チューター側でサンプルプログラムを用意するので、それをもとにファインチューニングしていただきます。また、コードを書き換え、より高度な手法や効率的な手法にチャレンジしていただきます。
    • データセットの準備が間に合わない方についても、こちらで指定するオープンなデータセットを使って言語モデルの訓練を体験していただくことができます。
  2. 分散訓練をバリバリやりたい方
    • サポートできる範囲は限られますが、独自のスクリプト等を用いてABCIのリソースをフル活用していただくような参加方法も大歓迎です。
      ※ 計算ノード(A)ではなく計算ノード(V)の提供となりますのでご注意ください。

日時・場所

  • 日時
    • 7月6日 10：00 - 7月14日 17:00
  • 場所
    • 産総研臨海副都心センター別館11階会議室
      ※初日と最終日のみ、オンラインとオフラインのハイブリッド開催

対象者・参加資格

以下のすべてを満たす方：

  1. ABCIの利用者もしくは、ABCIの利用に興味がある方
    ※ABCIの未利用者の場合は、日本の法人等(大学法人等を含む)に所属し、日本に居住している方
  2. PyTorch もしくは TensorFlow を用いて基本的な深層学習モデルの構築を自力で行える方
  3. みなし輸出管理における特定類型に該当しない方　※参考：https://abci.ai/ja/link/data/kyojusei.pdf
    • 外国法人等や外国政府等と雇用契約等を締結している
    • 外国政府等から年間所得の25%以上の利益を得ている又は得ることを約束している
    • 日本における行動に関して外国政府等から具体的な指示や依頼を受けている
  4. 大学等からの利用申込の場合、ファカルティーメンバー(教授、准教授、助教等)が「利用責任者」になること

※参加費（計算機利用料を含む）は事前のデータのセッティングを含め無料です。
※実施結果の公開義務はありませんが、メンターが学習データやモデルを見ることを了承してください。
※応募多数の場合は、ABCIアカウントを既に保有されている方、受付順の早い方を優先させて頂きます。

提供資源の詳細

  • 本イベント期間限定で、ABCIポイントを1チーム当たり1000ポイント付与します。その範囲内でVノードをご利用いただけます。
    ※参考：https://abci.ai/ja/how_to_use/tariffs.html
  • イベント終了後にポイントは無効化しますが、アカウントは今年度内は維持します。

1ノードの詳細

  • NVIDIA Tesla V100 (SXM2) x 4
  • Intel Xeon Gold6148 (2.4GHz/20cores) x2
  • 384GiB Memory
  • 1.6TB NVMeSSD

※参加チームには専用のABCI利用グループを作成し、ABCIポイントを無償で付与します。
　また、ABCIアカウントを保有しない方にはABCIアカウントを作成します。

参加申込方法

ABCI利用者ポータルの「利用グループ申請 https://portal.abci.ai/user/project_register_app.php」からお申し込みください。申込期限は6月26日（月）です。
申込にあたり以下の点に留意して申請してください。正しい記載がなされない場合は、受付が受理されない可能性があります。

  • グループ情報入力
    • 利用テーマの冒頭に「[LLMハッカソン] 」と記載すること。
    • 所属する法人等のURLを利用概要へ記載すること。
      ※事務局が法人等の確認に利用します。
    • 利用概要には、なるべく具体的に、取り組むテーマの概要を記載すること。
      ※利用テーマが、安全保障輸出管理や約款で認めている範囲かを、事務局が確認します。
    • 利用期間は申込日からとすること。
    • ABCIポイント数は1000とすること。
  • 利用責任者入力
    • メールアドレスは所属する法人等から発行されたものに限る。
    • 分類は「産総研の研究ユニット（規約）」とし、予算コード、ユニット名、予算一次決済者は以下の通りとすること。
      • 予算コード：AVA50034ABCK6
      • ユニット名：デジタルアーキテクチャ研究センター
      • 予算一次決済者：LLMハッカソン事務局

採択結果は、6月27日（火）までに申し込み時に使用された電子メールにて通知します。
参考：ABCI利用ポータルガイド https://docs.abci.ai/portal/ja/

講習プログラム

1日目 （オンライン・オフラインのハイブリッド）
09：30 - 10：00　受付
10：00 - 10：30　ABCI紹介とログイン
10：30 - 11：00　言語モデル訓練の基礎
11：00 - 12：00　参加者・チーム紹介
12：00 - 13：00　休憩
13：00 - 17：00　実践（適宜自由に休憩）
17：00　終了

2日目〜7日目（オンライン）
10：00 - 17：00　各自実践（チューターのサポートはベストエフォートでの対応となります）

最終日 （オンライン・オフラインのハイブリッド）
10：00 - 15：00　実践（適宜自由に休憩）
15：00 - 17：00　発表会
発表会後、アンケート記入・終了

チューター紹介

  • 太田 満久：ユビー株式会社 / Google Developers Expert (ML)
  • 風間 正弘：ユビー株式会社
  • 藤原 秀平：株式会社ディー・エヌ・エー / Google Developers Expert (ML)
  • 丹 愛彦：エヌビディア合同会社
  • 村上 真奈：エヌビディア合同会社
  • 山崎 和博：エヌビディア合同会社
  • 呉 先超：エヌビディア合同会社
  • 中村 秋海：東京工業大学
  • 木村 昴：東北大学
  • 滝澤 真一朗：産業技術総合研究所
  • 高野 了成：産業技術総合研究所

問い合わせ先

ABCI LLMハッカソン事務局：M-ABCI-LLM-hackathon-ml@aist.go.jp

以上

トップに戻る