本文へスキップ
AWS DAILY
重要度:通常新機能対応不要

AWS Glue Data Catalog がカタログ・データベース単位のデータ品質モニタリングを提供開始

公開
更新

概要

AWS Glue Data Catalog に AWS Glue Data Quality を活用したデータ品質モニタリング機能が追加されました。カタログ、データベース、またはテーブル単位で品質チェックを一度設定するだけで、対象範囲内のすべてのテーブルを自動的に評価できます。

変更内容

  • カタログまたはデータベース単位でデータ品質チェックを一度定義すれば、対象テーブル全体に適用されるようになった
  • 後から追加されたテーブルも自動的に評価対象に含まれる
  • スケジュール実行またはテーブルメタデータ変更時(Apache Iceberg のコミットを含む)をトリガーとした自動評価が可能になった
  • AWS Glue が提供する組み込みプロファイリングオプション、またはカスタム DQDL ルールセットを利用できる
  • 3 回の実行後に期待範囲を外れた統計値を異常として自動フラグ付けする機能が追加された
  • 評価結果を既存の AWS Glue Data Quality API、AWS Glue Data Catalog 内の Apache Iceberg テーブル、または Amazon S3 に書き出せるようになった
  • Amazon SageMaker Unified Studio のカタログページからプロファイリングを有効化できるようになった

公式発表で確認できる事実

  • AWS Glue Data Catalog に、AWS Glue Data Quality を活用したデータ品質モニタリング機能が追加されました。
  • カタログ、データベース、または単一テーブルの単位でデータ品質チェックを定義でき、対象範囲内のすべてのテーブルが評価されます。
  • 設定後に追加されたテーブルも自動的に評価対象に含まれます。
  • 評価の実行タイミングは、設定作成時の一度きり、スケジュール、またはテーブルメタデータの変更時(Apache Iceberg のコミットを含む)から選択できます。
  • AWS Glue が提供する組み込みプロファイリングオプション、またはアナライザー・ルール・その両方を含むカスタム Data Quality Definition Language (DQDL) ルールセットを利用できます。
  • テーブルに対して 3 回実行した後、期待範囲を外れた統計値を異常として自動的にフラグ付けします。これにより、ルールで定義されていない変化も検出できます。
  • 評価結果は既存の AWS Glue Data Quality API から取得できます。オプトインにより、AWS Glue Data Catalog 内の Apache Iceberg テーブルまたは Amazon S3 への書き出しも可能です。
  • AWS CLI、API、または SDK を使用してデータ品質設定を作成できます。
  • Amazon SageMaker Unified Studio のカタログページから、カタログまたはデータベースのプロファイリングを有効化できます。
  • 本機能はすべての AWS Commercial リージョン、AWS GovCloud (US)、および AWS China リージョンで利用可能です。

当サイトの考察

これまでテーブルごとに個別設定が必要だったデータ品質チェックを、カタログやデータベース単位でまとめて管理できるようになりました。データレイクの規模が大きくなるほど運用負荷の削減効果が高く、Apache Iceberg を活用しているチームにとってはコミット単位でのトリガー実行が特に有用です。異常検知機能はルールを事前に定義しなくても機能するため、想定外のデータ変化への対応力も向上します。

確認できていない事項

  • 東京リージョンおよび大阪リージョンでの具体的な提供状況(資料には「すべての AWS Commercial リージョン」とのみ記載)
  • 本機能の利用に伴う具体的な料金
  • 東京(ap-northeast-1)と大阪(ap-northeast-3)での提供は、公式記事からは確認できていません。

この記事は、AWS 公式の発表をもとに AI が作成し、自動で公開しています。

既存環境への影響

テーブルごとの個別設定や手動実行が不要になり、カタログ規模でのデータ品質管理が効率化されます。新たに追加されたテーブルも自動的に評価対象となるため、品質チェックの漏れを防ぎやすくなります。ルールで定義されていない変化も異常検知によって検出できるため、ダウンストリームへの不良データの流入リスクを低減できます。

対応の必要性

対応不要

既存環境への強制的な変更はありません。新機能を活用する場合は AWS CLI、API、または SDK でデータ品質設定を作成してください。

利用可能リージョン

東京(ap-northeast-1)
未確認
大阪(ap-northeast-3)
未確認

公式記事に東京(ap-northeast-1)と大阪(ap-northeast-3)の記載がないため、未確認としています。

AWS 公式情報

当サイトの記事は公式情報をもとに編集したものです。正確な内容は必ず AWS 公式情報をご確認ください。

重要度:通常新機能

AWS Glue が Apache Spark ジョブの自動バージョンアップグレード機能を発表、手動管理不要で最新ランタイムを維持

AWS Glue に Apache Spark ジョブのバージョンを自動的に最新ランタイムへアップグレードする機能が追加されました。互換性チェックや出力プロファイルの検証など複数段階のガードレールを備え、安全にアップグレードを自動化できます。