本文へスキップ
AWS DAILY
重要度:通常新機能対応不要

Amazon OpenSearch Serverlessがインジェストパイプラインをサポート、別途前処理インフラ不要でドキュメントの変換・ベクトル化が可能に

公開
更新

概要

Amazon OpenSearch Serverlessがインジェストパイプラインをサポートし、インデックス時にドキュメントのクリーニング、エンリッチメント、ベクトル化をコレクション内で直接実行できるようになりました。LambdaやETLジョブによる前処理コードをパイプラインの変換処理に置き換えることができます。

変更内容

  • Amazon OpenSearch Serverlessでインジェストパイプラインが利用可能になりました。
  • copy、date、lowercase、rename、trimなど多数のプロセッサでデータの正規化・クリーニングができます。
  • text_chunkingプロセッサで長いテキストをチャンク分割し、text_embedding・text_image_embedding・sparse_encodingプロセッサでインデックス時に埋め込みを生成できます。
  • ml_inferenceプロセッサで接続済みの任意のモデルを呼び出し、入出力フィールドを自分でマッピングできます。
  • 標準のOpenSearch _ingest/pipeline APIでパイプラインを作成・管理できます。
  • _simulate APIでサンプルドキュメントに対してパイプラインをテストしてから本番トラフィックに適用できます。
  • パイプラインはインデックスのデフォルトパイプラインとして、または個別のインデックス・バルクリクエストに適用できます。
  • パイプライン処理はコレクションのインデックス用OpenSearch Compute Units(OCUs)を使用し、通常のインデックスアクティビティと同じ方法で課金されます。

公式発表で確認できる事実

  • Amazon OpenSearch Serverlessでインジェストパイプラインがサポートされました。
  • パイプラインを使用することで、ドキュメントのインデックス時にコレクション内でクリーニング・エンリッチメント・ベクトル化を実行できます。
  • 利用可能なプロセッサ:copy、date、dot_expander、join、lowercase、uppercase、remove、rename、set、trim(データ正規化・クリーニング用)。
  • セマンティック・AI検索向けプロセッサ:text_chunking(テキストのチャンク分割)、text_embedding・text_image_embedding・sparse_encoding(埋め込み生成)。
  • ml_inferenceプロセッサで接続済みの任意のモデルを呼び出し、入出力フィールドを自由にマッピングできます。
  • パイプラインの作成・管理には標準の OpenSearch _ingest/pipeline APIを使用します。
  • _simulate APIでサンプルドキュメントに対してパイプラインの動作をテストできます。
  • パイプラインはインデックスのデフォルトパイプラインとして設定するか、個別のインデックスリクエストやバルクリクエストに指定して適用できます。
  • パイプライン処理はコレクションのインデックス用OCUsを消費し、通常のインデックスアクティビティと同じ課金方式が適用されます。
  • リモートモデルをMLプロセッサで使用する場合、推論コストはモデルプロバイダーから別途請求されます。
  • Amazon OpenSearch Serverlessが利用可能なすべてのAWSリージョンで利用できます。
  • 詳細はAmazon OpenSearch Service Developer GuideのIngest pipelines in Amazon OpenSearch Serverlessを参照してください。

当サイトの考察

この機能追加により、OpenSearch Serverlessを使った生成AIアプリケーションの構築がよりシンプルになります。これまでテキストの埋め込みベクトル生成には別途Lambda関数やETLパイプラインを用意する必要がありましたが、インジェストパイプラインを使えばOpenSearch側で一元管理できます。特にRAG(Retrieval-Augmented Generation)構成を採用するチームにとって、インデックス時の自動チャンク分割と埋め込み生成は運用コスト削減につながる改善です。ただし、リモートモデルを使用する場合の推論コストは別途発生するため、コスト試算の際には注意が必要です。

確認できていない事項

  • 東京リージョン(ap-northeast-1)および大阪リージョン(ap-northeast-3)での提供有無は資料から確認できません。
  • 具体的なOCU消費量や追加コストの金額は資料に記載されていません。
  • 利用可能なリモートモデルの具体的な種類や接続方法の詳細は資料から確認できません。
  • 東京(ap-northeast-1)と大阪(ap-northeast-3)での提供は、公式記事からは確認できていません。

この記事は、AWS 公式の発表をもとに AI が作成し、自動で公開しています。

既存環境への影響

検索、ログ分析、生成AIアプリケーションを構築するチームは、LambdaやETLジョブに記述していたデータ前処理コードをインジェストパイプラインに置き換えることができます。すべてのドキュメントに一貫した変換が適用されるため、インジェスト経路に依存しない均一なデータ品質が確保されます。セマンティック検索やAI検索向けに、インデックス時に自動で埋め込みを生成できるため、別途ベクトル化インフラを維持する必要がなくなります。リモートモデルをMLプロセッサで使用する場合は、モデルプロバイダーから推論コストが別途請求される点に注意が必要です。

対応の必要性

対応不要

既存の環境に対して必須の対応はありません。前処理インフラを簡素化したい場合や、セマンティック検索機能を追加したい場合に任意で導入を検討できます。

利用可能リージョン

東京(ap-northeast-1)
未確認
大阪(ap-northeast-3)
未確認

公式記事に東京(ap-northeast-1)と大阪(ap-northeast-3)の記載がないため、未確認としています。

AWS 公式情報

当サイトの記事は公式情報をもとに編集したものです。正確な内容は必ず AWS 公式情報をご確認ください。

重要度:通常新機能

Amazon OpenSearch Service がマネージドなクロスリージョンディザスタリカバリを発表、RPO 1分未満・RTO 20分未満を実現

Amazon OpenSearch Service がマネージドなクロスリージョンディザスタリカバリ機能を提供開始しました。2つのリージョンにドメインを作成し、1回の API 呼び出しまたは AWS Management Console の数ステップでペアリングでき、RPO 1分未満・RTO 20分未満を達成します。

重要度:通常新機能

Amazon OpenSearch Service最適化エンジンがエージェントトレースとOpenTelemetryトレースをサポート開始

Amazon OpenSearch Serviceの最適化エンジンがエージェントトレースおよびOpenTelemetryトレースのサポートを追加しました。トレースとログを同一の場所で管理でき、リクエストやエージェントセッションをエンドツーエンドで追跡できます。