AWS Glue が Apache Spark ジョブの自動バージョンアップグレード機能を発表、手動管理不要で最新ランタイムを維持

公式発表で確認できる事実

• AWS Glue に Apache Spark ジョブの自動バージョンアップグレード機能が追加されました。
• ジョブのバージョン設定を「Auto」にすることで、最新の AWS Glue ランタイムへの自動アップグレードが有効になります。
• アップグレードには以下の複数段階の検証が含まれます。
  • アップグレード先ランタイムとの互換性評価
  • 新バージョンでの実行前にユーザーの同意を取得
  • 各ジョブの確立された出力プロファイル（スキーマ、データ量、レイテンシー、フォーマット）に対する検証
• コード変更が必要と判断されたジョブは現行バージョンで安全に動作し続け、具体的な修正内容を含むアップグレード分析が提供されます。
• Apache Spark アップグレードエージェントを使って修正を直接適用することができます。
• 最新ランタイムへの追従により、最新のセキュリティパッチ、パフォーマンス改善、Apache Iceberg などの進化するテーブルフォーマットのサポートが得られます。
• 有効化方法は AWS Glue Studio または AWS CLI、API、SDK でジョブ作成・更新時に「Auto」を選択するか、AWS Glue スキルで複数ジョブを一括更新します。
• 全 AWS Commercial Regions で利用可能です。

当サイトの考察

従来、Spark ランタイムのアップグレードは互換性検証や各ジョブオーナーとの調整が必要で、大規模環境では数週間を要することもありました。この機能により、プラットフォームチームの運用負荷が大幅に軽減されることが期待されます。

出力プロファイルの検証という仕組みは、アップグレードによるデータ品質の劣化を自動検知するための重要なガードレールです。ただし、出力プロファイルが確立されていない新しいジョブや、出力が非決定的なジョブでは検証の精度に注意が必要です。

確認できていない事項

• 東京リージョン（ap-northeast-1）や大阪リージョン（ap-northeast-3）での具体的な提供状況は資料から確認できません（「全 AWS Commercial Regions」とのみ記載）。
• 自動アップグレード機能の追加料金の有無は資料に記載がありません。
• 「Auto」設定時にアップグレードされる具体的な Glue バージョン番号は資料に記載がありません。
• AWS Glue スキルの具体的な操作方法や提供形態は資料から確認できません。
• 東京（ap-northeast-1）と大阪（ap-northeast-3）での提供は、公式記事からは確認できていません。

この記事は、AWS 公式の発表をもとに AI が作成し、自動で公開しています。