本文へスキップ
AWS DAILY
重要度:通常新機能対応不要

Amazon SageMaker がAIデータ準備機能を提供開始——合成データ生成・自動ラベリング・品質評価をサポート

公開
更新

概要

Amazon SageMaker に、テキストベースのモデルカスタマイズや従来型MLに向けた高品質なトレーニング・評価データセットを構築するためのAIデータ準備機能が追加されました。合成データ生成、自動ラベリング、人間によるレビュー、データ品質評価、データ変換の各機能を提供します。

変更内容

  • 自社ドキュメントを根拠にトレーニング・評価・テストデータを生成する合成データ生成機能が利用可能になりました。
  • 分類、固有表現認識、抽出型QA、順序評価、要約などの組み込みタスクタイプとカスタムタスクに対応した大規模自動ラベリング機能が追加されました。
  • 信頼スコアが閾値を下回ったレコードをSageMaker AI Studio内のLabel Studio Community Editionの人間レビューキューに送る仕組みが導入されました。
  • 重複検出やトーン・多様性不足などの問題を品質メトリクスとルールで検出するデータ品質評価機能が追加されました。
  • dedupe・filter・フォーマット変換などのオペレーターを使ってデータをクリーニング・整形するデータ変換機能が利用可能になりました。
  • Amazon S3・Amazon Athena・AWS Glue Data Catalogに保存された既存データや少数のサンプルから開始できます。
  • SageMaker Python SDK APIおよびAgent Toolkit for AWSの最新版AWS AI-MLスキルを通じた自然言語でのアクセスが可能になりました。
  • ソースデータ・生成データセット・ラベルはユーザーが管理するIAMロールで制御された自身のAmazon S3バケットに保持されます。

公式発表で確認できる事実

  • Amazon SageMaker に、テキストベースのモデルカスタマイズおよび従来型MLに向けたAIデータ準備機能が追加されました。
  • 合成データ生成: 自社ドキュメントを根拠とした仕様からトレーニング・評価・テストデータを生成できます。
  • 自動ラベリング: 分類、固有表現認識(NER)、抽出型QA、順序評価、要約の組み込みタスクタイプとカスタムタスクに対応し、信頼スコア付きで大規模にラベリングを実行します。
  • 人間レビュー: 信頼スコアが設定した閾値を下回ったレコードは、SageMaker AI Studio内のLabel Studio Community Editionの人間レビューキューに自動的に送られます。
  • データ品質評価: 重複検出のほか、トーンや多様性不足などの問題を品質メトリクスとルールで検出します。
  • データ変換: dedupe・filter・フォーマット変換などのオペレーターを使い、選択したトレーニングまたは評価手法に合わせてデータをクリーニング・整形します。
  • 入力データとして、少数のサンプル、プロダクショントレース、またはAmazon S3・Amazon Athena・AWS Glue Data Catalogに保存された既存データを利用できます。
  • SageMaker Python SDK APIから直接アクセスできるほか、Agent Toolkit for AWSの最新版に含まれるAWS AI-MLスキルを通じて自然言語でも操作できます。
  • ソースデータ、生成されたデータセット、ラベルはすべてユーザーが管理するIAMロールで制御された自身のAmazon S3バケットに保持されます。
  • 提供リージョンはUS East (N. Virginia) (us-east-1) およびUS West (Oregon) (us-west-2) です。

当サイトの考察

今回の機能追加により、MLパイプラインにおけるデータ準備フェーズをSageMaker内で一貫して完結させやすくなります。特に、信頼スコアに基づく自動ルーティングとLabel Studio Community Editionとの統合は、完全自動化と人間の判断を組み合わせたハイブリッドなラベリングワークフローを構築する際に有効です。

データが自身のS3バケットに留まる設計は、機密性の高いデータを扱う企業にとってデータ主権の観点から重要なポイントです。現時点では us-east-1 と us-west-2 のみの提供であるため、他リージョンでの利用を検討している場合は今後の拡張を待つ必要があります。

確認できていない事項

  • 東京リージョン(ap-northeast-1)や大阪リージョン(ap-northeast-3)での提供有無は資料に記載がありません。
  • 各機能の利用に伴う追加料金の有無および金額は資料に記載がありません。
  • Label Studio Community Editionのバージョンは資料に記載がありません。
  • Agent Toolkit for AWSの具体的なバージョン番号は資料に記載がありません。
  • 東京(ap-northeast-1)と大阪(ap-northeast-3)での提供は、公式記事からは確認できていません。

この記事は、AWS 公式の発表をもとに AI が作成し、自動で公開しています。

既存環境への影響

データサイエンティストやMLエンジニアは、従来数週間かかっていた手動ラベリングやデータクリーニングの工数を削減できます。少数のサンプルや既存データから高品質なトレーニングデータセットを効率的に構築できるようになります。データはユーザー自身のAmazon S3バケットに保持されるため、データガバナンスの観点でも管理しやすい設計です。

対応の必要性

対応不要

新機能の追加であり、既存環境への強制的な変更はありません。新機能を活用したい場合はSageMaker Python SDKまたはAgent Toolkit for AWSから利用を開始できます。

利用可能リージョン

東京(ap-northeast-1)
未確認
大阪(ap-northeast-3)
未確認

公式情報に記載のリージョン:us-east-1, us-west-2

公式記事に東京(ap-northeast-1)と大阪(ap-northeast-3)の記載がないため、未確認としています。

AWS 公式情報

当サイトの記事は公式情報をもとに編集したものです。正確な内容は必ず AWS 公式情報をご確認ください。

重要度:通常新機能

Amazon SageMaker Unified Studio がレイアウトカスタマイズに対応、designation ごとに表示ツールを制御可能に

Amazon SageMaker Unified Studio にレイアウトカスタマイズ機能が追加され、ドメイン管理者が designation ごとに左ナビゲーションの表示項目を制御できるようになりました。データエンジニアリング、アナリティクス、機械学習チームが同一プラットフォームを利用する組織で、役割に応じた UI の提供とガバナンス強化が可能です。

重要度:参考新機能

DeepReinforce AIのOrnith-1.0-9BおよびOrnith-1.0-35BモデルがAmazon SageMaker JumpStartで利用可能に

DeepReinforce AIのオープンソースエージェントコーディングモデル「Ornith-1.0-9B」と「Ornith-1.0-35B」がAmazon SageMaker JumpStartで利用可能になりました。両モデルはMITライセンスで提供され、Terminal-Bench 2.1やSWE-Benchなどのコーディングベンチマークで同規模のオープンソースモデル中で最高水準の性能を達成しています。