本文へスキップ
AWS DAILY
重要度:通常新機能対応不要

Amazon Redshift が Apache Iceberg テーブルでマルチステートメントトランザクション・競合解決・タイムトラベルをサポート

公開
更新

概要

Amazon Redshift が Apache Iceberg テーブルに対して、マルチステートメントトランザクション、自動書き込み競合解決、タイムトラベルの3機能を新たにサポートしました。本番規模での Iceberg テーブルへの書き込みや監査が、データウェアハウスと同等のトランザクションセマンティクスで実現できます。

変更内容

  • Apache Iceberg テーブルで BEGIN…COMMIT による複数ステートメントをひとつのアトミックな Iceberg スナップショットとしてコミットできるようになりました。
  • MERGE の後に DELETE を行うような複数ステップのロードを、途中の状態がクエリされることなく一括コミットまたはロールバックできます。
  • ストリーミング挿入とスケジュール削除など、変更が重複しない並行書き込みを自動的に競合解決して同一テーブルへコミットできるようになりました。
  • AS OF TIMESTAMP 構文でテーブルの過去時点のスナップショットをクエリするタイムトラベルが利用可能になりました。
  • タイムトラベルを使ってレポートの再現、変更の監査、誤った書き込みからの復旧が追加コピーなしに行えます。
  • これらの機能はすべての AWS 商用リージョンの Amazon Redshift プロビジョニングクラスターおよびサーバーレスクラスターで利用できます。

公式発表で確認できる事実

  • Amazon Redshift が Apache Iceberg テーブルに対して以下の3機能を追加しました。
    • マルチステートメントトランザクション: BEGIN…COMMIT で複数のステートメントをひとつのアトミックな Iceberg スナップショットとして発行できます。途中の状態はクエリ不可能で、失敗時はクリーンにロールバックされます。
    • 自動書き込み競合解決: 変更範囲が重複しない並行書き込み(例: ストリーミング挿入とスケジュール削除)を失敗・リトライなしに同一テーブルへコミットできます。
    • タイムトラベル: AS OF TIMESTAMP 構文で過去の任意時点のテーブル状態をクエリできます。レポートの再現、変更の監査、誤った書き込みからの復旧に活用できます。
  • 対象は Amazon Redshift のプロビジョニングクラスターおよびサーバーレスクラスターで、Iceberg テーブルへの書き込みまたはクエリを行っている環境です。
  • すべての AWS 商用リージョンで利用可能です。
  • 関連ドキュメントとして以下が公開されています。
    • Resolving concurrent writes for Apache Iceberg tables using Amazon Redshift
    • Multi-statement transactions for Apache Iceberg tables in Amazon Redshift
    • Time travel support for Apache Iceberg

当サイトの考察

  • これまで Iceberg テーブルへの並行書き込みは競合エラーとリトライが必要でしたが、自動競合解決により運用の複雑さが大幅に軽減されます。
  • タイムトラベルは追加のスナップショットコピーを保持する必要がないとされており、ストレージコストを抑えながら監査要件を満たせる点が実用的です。
  • AI エージェントによる自律的なデータ操作が増える中、アトミックなコミットと過去時点クエリの組み合わせはデータ品質の担保に有効です。

確認できていない事項

  • タイムトラベルで遡れる期間の上限(保持期間)は資料に記載がありません。
  • 東京リージョン(ap-northeast-1)や大阪リージョン(ap-northeast-3)での提供については、「すべての AWS 商用リージョン」との記載はありますが、個別のリージョンコードは資料に明示されていません。
  • 各機能の追加料金の有無および金額は資料に記載がありません。
  • 一般提供(GA)の正確な開始日は資料に記載がありません。
  • 東京(ap-northeast-1)と大阪(ap-northeast-3)での提供は、公式記事からは確認できていません。

この記事は、AWS 公式の発表をもとに AI が作成し、自動で公開しています。

既存環境への影響

バッチジョブは複数ステップにわたるオールオアナッシングのコミットが保証されるため、データの整合性が向上します。ストリーミングジョブとスケジュールジョブが同一の Iceberg テーブルに同時書き込みできるようになり、リトライによる運用コストが削減されます。アナリスト、監査担当者、AI エージェントは任意の過去時点のテーブル状態をクエリできるため、監査や障害復旧の手順が簡素化されます。

対応の必要性

対応不要

既存の Redshift 環境への強制的な変更はなく、新機能を利用する場合のみ対応が必要です。利用を開始するには公式ドキュメントを参照してください。

利用可能リージョン

東京(ap-northeast-1)
未確認
大阪(ap-northeast-3)
未確認

公式記事に東京(ap-northeast-1)と大阪(ap-northeast-3)の記載がないため、未確認としています。

AWS 公式情報

当サイトの記事は公式情報をもとに編集したものです。正確な内容は必ず AWS 公式情報をご確認ください。

重要度:通常新機能

AWS Quick がカスタム権限で構造化データソースの種類ごとに作成・更新・共有を制限できるようになりました

AWS Quick がカスタム権限プロファイルを通じた構造化データコネクタの制限機能を一般提供(GA)開始しました。管理者はデータソースの種類ごとに作成・更新・共有の権限を個別に設定でき、セルフサービス分析を維持しながらデータガバナンスを強化できます。