本文へスキップ
AWS DAILY
AWS Glue のアイコン
分析

AWS Glue

サーバーレスでデータの統合・準備・変換を実現

最終更新
関連ニュース
3 件

サービス概要

AWS Glue はサーバーレスのデータ統合サービスで、分析・機械学習・アプリケーション開発のためにデータの検出・準備・移動・統合を簡単に行えます。100以上の多様なデータソースへの接続、一元化されたデータカタログによる管理、そしてETLパイプラインの視覚的な作成・実行・監視を提供します。インフラの管理が不要なサーバーレス構成で、ギガバイトからペタバイトまで自動的にスケールし、使用したリソース分だけ秒単位で課金されます。Amazon Athena、Amazon EMR、Amazon Redshift、Amazon SageMaker とシームレスに統合されており、データレイク・データウェアハウス・レイクハウスへのデータ投入を一つのサービスで実現します。

主な特徴

  • 01

    一元化されたデータカタログ

    AWS Glue Data Catalog でメタデータを集中管理し、クローラーによる自動スキーマ検出でデータソースの情報を自動的に取り込みます。Amazon Athena や Amazon Redshift Spectrum からカタログ済みデータをすぐに検索・クエリできます。

  • 02

    ビジュアルETLとSpark宣言型パイプライン

    AWS Glue Studio のグラフィカルなジョブキャンバスでETLプロセスを定義し、コードを自動生成できます。Spark Declarative Pipelines を使うと、実行順序・依存関係・エラー処理・チェックポイントをエンジンが自動的に処理します。

  • 03

    幅広いデータソースへの接続

    オンプレミスとAWS上の100以上の多様なデータソースに接続できます。オープンソースの Apache Spark、Python、Scala でETLジョブを構築でき、Spark が動作する環境であればどこでもコードを実行できます。

  • 04

    最新のオープンデータ標準への対応

    Apache Spark 4.1.1、Python 3.12、Scala 2.13 をベースに構築されており、Iceberg 1.10.0、Hudi 1.1.1、Delta Lake 4.0.0 を同時にサポートします。Apache Iceberg v3 の完全サポートにより、空間分析向けのジオメトリ型やナノ秒精度のタイムスタンプなども利用できます。

  • 05

    機械学習・AIへのデータ準備

    AWS Glue はMLモデルやAIエージェントに対してクリーンで構造化されたデータを提供するデータ準備・統合の基盤として機能します。Amazon SageMaker と組み合わせることでエンドツーエンドのMLワークフローを構築できます。

  • 06

    ストリーミングデータの処理

    ストリーミングデータをリアルタイムで取り込み、クリーニング・変換してターゲットデータストアに数秒で利用可能にします。ETL・ELT・ストリーミングのすべてのワークロードを一つのサービスで対応します。

主なユースケース

  1. 1

    データレイクへのデータ投入

    100以上のソースから最新のオープンデータ標準を使ってデータレイクにデータを取り込みます。Iceberg v3 サポートにより、IoTや金融データ向けのナノ秒タイムスタンプ、空間ワークロード向けのジオメトリ型など、スキーマ進化を柔軟に扱えます。

  2. 2

    ETLパイプラインの近代化

    Spark Declarative Pipelines を使って手動でオーケストレーションされた脆弱なパイプラインを置き換えます。生成AIを活用してレガシーな Spark ジョブを近代化し、最小限の手間で AWS Glue へ移行できます。

  3. 3

    MLデータ準備

    MLモデルやAIエージェントにクリーンで構造化されたデータを供給するスケーラブルなデータ準備パイプラインを構築します。VARIANT Shredding により、半構造化されたトレーニングデータをフラット化や重複コピーなしに高速処理できます。

  4. 4

    データ品質とガバナンス

    Glue Data Catalog でメタデータを一元管理し、クローラーでスキーマ検出を自動化し、Lake Formation との統合でガバナンスを適用します。Schema Registry は AVRO、JSON、Protocol Buffers をサポートしています。

最近のアップデート

  1. 重要度:通常

    AWS Glue Data Catalog が Apache Iceberg REST カタログフェデレーションでカタログベンドクレデンシャルをサポート

    • Glue Data Catalog が外部 Iceberg REST カタログのベンドクレデンシャルを使った接続方式を新たにサポートしました。
    • 外部 Iceberg カタログが Amazon S3 ストレージプレフィックスにスコープされた一時的なセキュリティクレデンシャルを発行し、アクセス制御を行えるようになりました。

    詳細記事

利用可能リージョン

東京リージョン

ap-northeast-1

提供中

大阪リージョン

ap-northeast-3

提供中

AWS 公式のサービスエンドポイント一覧で確認しました。東京(ap-northeast-1)と大阪(ap-northeast-3)が載っています。個別の機能が各リージョンで使えるかは、この一覧だけでは確認できません。

確認日時:2026/11/11 06:01 AWS リージョン別のサービス一覧

公式情報で確認できない場合は「未確認」と表示し、推測による補完は行っていません。

公式ドキュメント