Lambda の自己管理 Kafka ESM でキュー消費に対応

公式発表で確認できる事実

What's New の投稿日は 2026年11月2日です。RSS の時刻は 2026-11-02 17:00:00 GMT です。

• 対象は、自己管理の Apache Kafka イベントソースです。利用者が自分で動かすクラスターと、Confluent Cloud のようなマネージド提供が含まれます。
• これまではコンシューマーグループで、1 パーティションをグループ内の 1 コンシューマーが担当していました。
• Queue モードは Apache Kafka 4.2 で一般提供された share groups を使います。クラスターで share groups が有効である必要があります。例として Apache Kafka 4.2 以降が挙げられています。
• 複数のイベントポーラーが同じパーティションを同時に読めます。各ポーラーの同時実行は最大 10 です。
• パーティション内の順序は保たれません。順序を必要としない処理向けです。
• 始めるには、自己管理 Kafka のイベントソースを作り、ConsumptionMode を Queue にします。コンソール、Lambda API、CLI、CloudFormation、SAM、CDK が案内されています。既存のマッピングが自動で Queue に変わるとは書いていません。
• 標準の Lambda 料金が適用されます。プロビジョンドモードを設定した場合は Event Poller Unit の利用にも料金がかかると書かれています。金額は発表にありません。
• 利用範囲は、自己管理 Kafka のイベントソースが使えるすべての商用リージョンです。東京と大阪の名前はありません。

開発者ガイドで確認できる事実

開発者ガイドの Queue モードのページと、自己管理 Kafka のパラメータ一覧では、次が確認できます。

• Queue モードは、自己管理 Apache Kafka のイベントソースを作るときに選べます。指定がなければ既定は Stream です。ConsumptionMode は作成時だけ設定できます。
• Stream はコンシューマーグループで、パーティションごとの順序があります。Queue は share groups で、順序の保証はありません。
• share groups 自体は Apache Kafka 4.0 で使えるようになった、と Queue モードのページは書いています。同じページの利用条件は、share groups を有効にした Apache Kafka 4.2 以降です。Kafka Queue Poller も 4.2 以降が必要です。
• Amazon MSK は、現時点では Queue モードに対応していません。MSK が Kafka 4.2 以降と share groups を提供してから追加する、と書かれています。
• 比較表では、各イベントポーラーの同時実行が Queue で最大 10、Stream で最大 5 です。
• Queue では StartingPosition、StartingPositionTimestamp、MaximumBatchingWindowInSeconds は使えません。読み取り位置は share group のコミット位置です。
• プロビジョンドモードは Event Poller Unit の使用量で課金されます。金額は、確認したガイドのページにはありません。

当サイトの運用上の考察

順序を守る処理を Queue へ移す判断は、発表の対象外です。ガイドも Queue を順序保証なしと書いています。クラスターが 4.2 未満、または share groups が無効なら、Lambda 側の設定だけでは有効になりません。Amazon MSK は、開発者ガイドの時点では Queue モードの対象外です。

東京・大阪は未確認のままです。What's New は「自己管理 Kafka のイベントソースがある商用リージョン」という条件付きで、Queue モードの開発者ガイドも両リージョンを挙げていません。EC2 と S3 の「すべての AWS リージョン」と同じ扱いにはしていません。

これは当サイトの読み方であり、AWS が既存環境への移行を推奨したという意味ではありません。

確認できていない事項

• 東京（ap-northeast-1）と大阪（ap-northeast-3）で、自己管理 Kafka のイベントソース自体が使えるか。
• Event Poller Unit の金額。