本文へスキップ
AWS DAILY
重要度:通常新機能対応不要

Amazon Athena がシステムテーブルを導入——クエリ実行履歴をIcebergテーブルとして自動収集し、可観測性・監査・利用分析に活用可能

公開
更新

概要

Amazon Athena にシステムテーブル機能が追加され、クエリ実行データが自動的に Amazon S3 Tables 上の Iceberg テーブルとして保存されるようになりました。カスタムパイプラインを構築せずに SQL でコスト配分ダッシュボードや利用分析が行えます。

変更内容

  • クエリ完了後、数分以内に利用データが system tables として利用可能になります。
  • 利用データは Amazon S3 Tables 上にサービス管理・読み取り専用の Iceberg テーブルとして保存されます。
  • スキーマ定義、パーティショニング、コンパクション、スナップショット管理は AWS が自動で行います。
  • 保持期間は設定可能です。
  • query_executions テーブルを SQL で直接クエリし、ワークグループ・ユーザー・テーブル単位のコスト配分ダッシュボードを構築できます。
  • AWS Agent Toolkit がシステムテーブルをクエリして利用パターンや最適化推奨を提示するスキルを提供します。
  • データは Apache Iceberg 形式で保存されるため、DuckDB、Amazon Redshift、Amazon EMR など Iceberg 互換エンジンからも参照できます。
  • Athena コンソールまたは API からシステムテーブルを有効化できます。

公式発表で確認できる事実

  • Amazon Athena にシステムテーブル機能が追加されました。
  • クエリ完了後、数分以内に利用データがシステムテーブルとして利用可能になります。
  • データはワークグループをまたいで収集され、Amazon S3 Tables 上にサービス管理・読み取り専用の Apache Iceberg テーブルとして保存されます。
  • 保持期間は設定可能です。
  • スキーマ定義、パーティショニング、コンパクション、スナップショット管理はすべて AWS が管理し、運用負荷はゼロです。
  • query_executions テーブルを SQL で直接クエリでき、ワークグループ・ユーザー・テーブル単位のコスト配分ダッシュボードをカスタム ETL なしで構築できます。
  • AWS Agent Toolkit がシステムテーブルをクエリして利用パターンや最適化推奨を提示するスキルを提供します。
  • データは Apache Iceberg 形式で保存されるため、DuckDB、Amazon Redshift、Amazon EMR など Iceberg 互換エンジンからも参照できます。
  • Athena と Amazon S3 Tables が利用可能なすべての AWS リージョンで提供されます。
  • Athena コンソールまたは API からシステムテーブルを有効化できます。

当サイトの考察

これまで Athena の利用状況を分析するには GetQueryExecution API を繰り返し呼び出してデータを蓄積するか、CloudTrail ログを別途加工するカスタムパイプラインが必要でした。システムテーブルはその手間を完全に排除し、SQL 一本でコスト分析・監査・最適化が行えるようになります。

データが Apache Iceberg 形式で S3 Tables に保存される点も重要で、Athena に限らず組織内で使用している他の分析エンジンとシームレスに連携できます。大規模なマルチワークグループ環境を運用するプラットフォームチームにとって、特に恩恵が大きい機能です。

確認できていない事項

  • 東京リージョン(ap-northeast-1)および大阪リージョン(ap-northeast-3)での提供有無は資料から確認できません。
  • システムテーブルの利用に伴う追加料金の有無や金額は資料に記載がありません。
  • 保持期間の最大値・最小値・デフォルト値は資料から確認できません。
  • 一般提供(GA)の正確な開始日は資料に記載がありません。
  • 東京(ap-northeast-1)と大阪(ap-northeast-3)での提供は、公式記事からは確認できていません。

この記事は、AWS 公式の発表をもとに AI が作成し、自動で公開しています。

既存環境への影響

プラットフォームチームはカスタム ETL パイプラインを構築・維持することなく、SQL だけでクエリコストの配分分析や監査ログの検索が行えるようになります。既存の GetQueryExecution API、CloudWatch メトリクス、CloudTrail ログに加えて、より柔軟な分析手段が増えます。Iceberg 形式での保存により、Athena 以外のエンジンとのデータ共有も容易になります。

対応の必要性

対応不要

既存の Athena 環境への強制的な変更はなく、システムテーブルはオプトイン機能です。利用する場合は Athena コンソールまたは API から有効化してください。

利用可能リージョン

東京(ap-northeast-1)
未確認
大阪(ap-northeast-3)
未確認

公式記事に東京(ap-northeast-1)と大阪(ap-northeast-3)の記載がないため、未確認としています。

AWS 公式情報

当サイトの記事は公式情報をもとに編集したものです。正確な内容は必ず AWS 公式情報をご確認ください。