本文へスキップ
AWS DAILY
重要度:通常新機能確認推奨

Amazon MSK、Standard ブローカーから Express ブローカーへのインプレースアップグレードをサポート開始

公開
更新

概要

Amazon MSK Provisioned クラスターで、Standard ブローカーから Express ブローカーへのインプレースアップグレードが可能になりました。新クラスターの作成やアプリケーション変更なしに、フルマネージドのデータ移行でアップグレードできます。

変更内容

  • 既存の MSK Provisioned クラスターを Standard ブローカーから Express ブローカーへインプレースでアップグレードできるようになった。
  • アップグレード中もクラスターエンドポイントが変わらないため、アプリケーションのカットオーバーが不要になった。
  • コンシューマーオフセットが保持されるため、Apache Flink や Kafka Streams などのステートフルアプリケーションが再処理や重複なしに継続できる。
  • トピックの移行は自動または任意のバッチ単位で制御できる。
  • Standard ブローカーはユーザーが廃止を選択するまでクラスターに残り、検証やロールバックが可能。
  • アップグレード自体に追加料金はなく、アップグレード中は Standard と Express の両ブローカー分の料金が発生する。
  • 対象は Apache Kafka バージョン 3.9(KRaft モード)で動作する MSK Provisioned クラスターに限定される。
  • M7g または M8g インスタンスの Express ブローカーへアップグレードでき、M8g は M7g 比で最大 30% のコスト削減が可能。

公式発表で確認できる事実

  • Amazon MSK Provisioned クラスターで、Standard ブローカーから Express ブローカーへのインプレースアップグレードがサポートされました。
  • Express ブローカーは Standard ブローカーと比較して、ブローカーあたり最大 3x のスループット、最大 20x 高速なスケールアップ、最大 90% 高速なリカバリーを実現するよう設計されています。
  • アップグレードはクラスターエンドポイントを変更せず、コンシューマーオフセットも保持されます。
  • トピックの移行は自動または任意のバッチ単位で制御でき、Standard ブローカーはユーザーが廃止を選択するまでクラスターに残ります。
  • ロールバックが必要な場合はアップグレード中に対応可能です。
  • 対象クラスターは Apache Kafka バージョン 3.9(KRaft モード)で動作する MSK Provisioned クラスターです。
  • アップグレード先は M7g または M8g インスタンスの Express ブローカーで、M8g は M7g 比で最大 30% のコスト削減が可能です。
  • アップグレード自体に追加料金はありませんが、アップグレード中は Standard と Express の両ブローカー分の料金が発生します。
  • Express ブローカーが利用可能なすべての AWS リージョンで利用できます。
  • 詳細は Amazon MSK Developer Guide および Migration to Express brokers 製品ページを参照してください。

当サイトの考察

  • 従来は Express ブローカーへの移行に新クラスターの作成とクロスチームでの調整が必要でしたが、インプレースアップグレードによりその障壁が大幅に下がりました。
  • アップグレード中の二重課金は一時的なコスト増となりますが、移行作業の工数削減と比較して許容できるケースが多いと考えられます。
  • Kafka 3.9 KRaft という条件があるため、古いバージョンを使用しているクラスターは先にバージョンアップグレードが必要です。

確認できていない事項

  • Express ブローカーが利用可能な具体的な AWS リージョン(東京・大阪リージョンでの提供有無)は資料から確認できません。
  • アップグレードに要する具体的な時間は「数時間」と記載されていますが、クラスター規模による変動は不明です。
  • 東京(ap-northeast-1)と大阪(ap-northeast-3)での提供は、公式記事からは確認できていません。

この記事は、AWS 公式の発表をもとに AI が作成し、自動で公開しています。

既存環境への影響

既存の Standard ブローカークラスターを利用しているユーザーは、新クラスターの作成やデータ移行の計画なしに Express ブローカーの性能・運用上のメリットを数時間で得られます。アップグレード中は Standard と Express の両ブローカー分の料金が発生するため、コストが一時的に増加します。Apache Kafka バージョン 3.9(KRaft)以外のクラスターはこの機能の対象外です。

対応の必要性

確認推奨

Standard ブローカーを利用中で Express ブローカーへの移行を検討しているユーザーは、インプレースアップグレードを活用することで移行コストと作業負荷を大幅に削減できます。ただし、対象条件(Kafka 3.9 KRaft)を満たしているか事前に確認してください。

利用可能リージョン

東京(ap-northeast-1)
未確認
大阪(ap-northeast-3)
未確認

公式記事に東京(ap-northeast-1)と大阪(ap-northeast-3)の記載がないため、未確認としています。

AWS 公式情報

当サイトの記事は公式情報をもとに編集したものです。正確な内容は必ず AWS 公式情報をご確認ください。

重要度:通常新機能

Amazon MSK Express Brokers が Graviton4 ベースの M8g インスタンスに対応、M7g 比で最大 30% のコスト削減を実現

Amazon MSK の Express Brokers で AWS Graviton4 ベースの M8g インスタンスが一般提供(GA)となりました。M7g と比較してコンピューティングコストが 15% 低下し、P99 プロデュースレイテンシが最大 45% 改善、さらにクロス AZ データ転送コストが 50% 削減されるなど、合計で最大 30% のコスト削減が見込めます。