Amazon Redshift が Apache Iceberg テーブルでマルチステートメントトランザクション・競合解決・タイムトラベルをサポート
- 要約
- Amazon Redshift が Apache Iceberg テーブルに対して、マルチステートメントトランザクション、自動書き込み競合解決、タイムトラベルの3機能を新たにサポートしました。本番規模での Iceberg テーブルへの書き込みや監査が、データウェアハウスと同等のトランザクションセマンティクスで実現できます。
- 何が変わったか
- Apache Iceberg テーブルで BEGIN…COMMIT による複数ステートメントをひとつのアトミックな Iceberg スナップショットとしてコミットできるようになりました。
- MERGE の後に DELETE を行うような複数ステップのロードを、途中の状態がクエリされることなく一括コミットまたはロールバックできます。
- ストリーミング挿入とスケジュール削除など、変更が重複しない並行書き込みを自動的に競合解決して同一テーブルへコミットできるようになりました。
- AS OF TIMESTAMP 構文でテーブルの過去時点のスナップショットをクエリするタイムトラベルが利用可能になりました。
- タイムトラベルを使ってレポートの再現、変更の監査、誤った書き込みからの復旧が追加コピーなしに行えます。
- これらの機能はすべての AWS 商用リージョンの Amazon Redshift プロビジョニングクラスターおよびサーバーレスクラスターで利用できます。
- 既存環境への影響
- バッチジョブは複数ステップにわたるオールオアナッシングのコミットが保証されるため、データの整合性が向上します。ストリーミングジョブとスケジュールジョブが同一の Iceberg テーブルに同時書き込みできるようになり、リトライによる運用コストが削減されます。アナリスト、監査担当者、AI エージェントは任意の過去時点のテーブル状態をクエリできるため、監査や障害復旧の手順が簡素化されます。
- 利用可能リージョン
- 東京(ap-northeast-1)
- 未確認
- 大阪(ap-northeast-3)
- 未確認
公式記事に東京(ap-northeast-1)と大阪(ap-northeast-3)の記載がないため、未確認としています。
- 対応が必要か
- 対応不要既存の Redshift 環境への強制的な変更はなく、新機能を利用する場合のみ対応が必要です。利用を開始するには公式ドキュメントを参照してください。