本文へスキップ
AWS DAILY
重要度:通常新機能対応不要

Amazon EKS Auto ModeとKarpenterがDynamic Resource Allocation(DRA)をサポート、NVIDIA GPUとEFAデバイスの柔軟な割り当てが可能に

公開
更新

概要

Amazon EKS Auto ModeおよびKarpenterがDynamic Resource Allocation(DRA)に対応し、NVIDIA GPUとElastic Fabric Adapter(EFA)ネットワークデバイスをKubernetesワークロードへ柔軟に割り当てられるようになりました。GPUのPod間共有やトポロジー整合デバイス割り当てが可能になります。

変更内容

  • Amazon EKS Auto ModeとKarpenterがNVIDIA GPUおよびEFAデバイス向けにDRAをサポートしました。
  • ResourceClaimまたはResourceClaimTemplateオブジェクトでモデルやアーキテクチャなどの属性を指定してデバイスを定義できるようになりました。
  • GPUデバイスを複数のPod間で共有できるようになりました。
  • 分散トレーニングや推論向けにPCIeアライメントされたGPUとEFAデバイスをトポロジー整合で割り当てられるようになりました。
  • Amazon EKS Auto ModeではNVIDIA DRAドライバーとEFA DRAドライバー(DRANET)が組み込みで提供されます。
  • Amazon EKS Auto ModeはDRA使用ワークロードとデバイスプラグイン使用ワークロードが同一ノードで動作しないよう自動的に防止します。
  • DRAサポートはKarpenterではすべてのKubernetesバージョンで、Amazon EKS Auto ModeではKubernetesバージョン1.36以降で利用できます。

公式発表で確認できる事実

  • Amazon EKS Auto ModeおよびKarpenterが、NVIDIA GPUとElastic Fabric Adapter(EFA)ネットワークデバイス向けにDynamic Resource Allocation(DRA)をサポートしました。
  • ResourceClaimまたはResourceClaimTemplateオブジェクトを使い、モデル・アーキテクチャなどの属性でGPUやEFAデバイスを定義できます。
  • GPUデバイスを複数のPod間で共有できます。
  • 分散トレーニングや推論実行時に、PCIeアライメントされたGPUとEFAデバイスをトポロジー整合で割り当てられます。
  • KarpenterはDRAオブジェクトの要件に合致する最低コストのインスタンスを自動的に起動します。
  • Amazon EKS Auto ModeではNVIDIA DRAドライバーとEFA DRAドライバー(DRANET)が組み込みで提供されており、追加のドライバーセットアップは不要です。
  • Amazon EKS Auto ModeはDRAを使用するワークロードと同一デバイスタイプのデバイスプラグインを使用するワークロードが同一ノードで動作しないよう自動的に防止し、移行中のサイレントなデバイス過剰サブスクリプションリスクを軽減します。
  • 提供リージョン:AWS GovCloud(US)リージョンおよびChinaリージョンを除くすべてのAWSリージョン。
  • KarpenterではすべてのKubernetesバージョンでDRAサポートが利用可能です。
  • Amazon EKS Auto ModeではKubernetesバージョン1.36以降でDRAサポートが利用可能です。
  • 詳細はAmazon EKS User GuideのDRAドキュメントおよびKarpenterドキュメントを参照してください。

当サイトの考察

DRAはKubernetes標準の仕組みとして、従来のデバイスプラグインよりも柔軟なデバイス管理を実現します。特にGPUクラスターで複数のワークロードがGPUを共有したり、NVLinkやPCIeトポロジーを意識した配置を行いたいケースで有効です。Amazon EKS Auto ModeへのDRAドライバー組み込みは運用負荷の軽減につながりますが、既存のデバイスプラグインベースの構成からDRAへ移行する際は、同一ノードでの混在が自動的に防止される点を考慮した移行計画が必要です。

確認できていない事項

  • 東京リージョン(ap-northeast-1)および大阪リージョン(ap-northeast-3)での提供有無は資料に明記されていません(「AWS GovCloud(US)リージョンおよびChinaリージョンを除くすべてのAWSリージョン」との記載はありますが、リージョンコードは資料に記載がありません)。
  • DRA利用に伴う追加料金の有無は資料に記載がありません。
  • Karpenterの対応バージョン番号は資料に記載がありません。

この記事は、AWS 公式の発表をもとに AI が作成し、自動で公開しています。

既存環境への影響

GPUワークロードを実行するユーザーは、デバイスプラグインに代わりDRAを使ってより細かい粒度でGPUやEFAデバイスを制御できます。分散トレーニングや推論ジョブでPCIeアライメントを活用することで通信性能の最適化が期待できます。Amazon EKS Auto ModeではDRAドライバーが組み込みのため、追加のドライバーインストール作業が不要です。DRAとデバイスプラグインの混在によるデバイスの過剰サブスクリプションリスクは自動的に軽減されます。

対応の必要性

対応不要

既存環境への強制的な変更はありません。DRAを活用したい場合はResourceClaimまたはResourceClaimTemplateオブジェクトを定義して利用を開始できます。Amazon EKS Auto ModeでDRAを使用するにはKubernetesバージョン1.36以降が必要です。

利用可能リージョン

東京(ap-northeast-1)
提供中
大阪(ap-northeast-3)
提供中

公式記事の「all AWS Regions」の記載を、東京と大阪にも当てはめています。個別のリージョン一覧は確認していません。

AWS 公式情報

当サイトの記事は公式情報をもとに編集したものです。正確な内容は必ず AWS 公式情報をご確認ください。

重要度:通常新サービス

AWS Nitro Sandboxesが一般提供開始 — Amazon EKS・ECS・EC2でハードウェア分離されたポッド・タスク・VMを実現

AWS Nitro Sandboxesが、Amazon EKS・ECS・EC2上でハードウェア分離された軽量VMとして利用可能になりました。Nitro Hypervisorが管理する各サンドボックスは、単一インスタンス上で信頼できないワークロードやマルチテナント・規制対象ワークロードを安全に実行できます。