本文へスキップ
AWS DAILY
重要度:通常新機能対応不要

Amazon Redshift の SUPER データ型が最大 16 million バイトの文字列をサポート、オプトインで有効化

公開
更新

概要

Amazon Redshift の SUPER データ型で扱える個別文字列の上限が、従来の 65,535 バイトから 16 million バイトに拡張されました。データベースパラメータでオプトインすることで、JSON・PARQUET・TEXT・CSV からの取り込みや ELT 処理に適用されます。

変更内容

  • SUPER データ型内の個別文字列の上限が 65,535 バイトから 16 million バイトに拡張された。
  • データベースパラメータによるオプトインで機能が有効になる。
  • JSON、PARQUET、TEXT、CSV ソースファイルからの取り込み時に適用される。
  • ELT プロセスでのデータ変換時にも適用される。
  • JSON_PARSE、CONCAT、LISTAGG などの関数が最大 16 million バイトの入出力文字列を扱えるようになった。
  • 利用規約や契約書などの大きな文字列を事前変換なしに直接取り込み、SQL でクエリできるようになった。
  • 本機能は Amazon Redshift が利用可能なすべての AWS リージョン(AWS GovCloud (US) リージョンを含む)で利用できる。

公式発表で確認できる事実

  • Amazon Redshift の SUPER データ型内で扱える個別文字列の上限が、従来の 65,535 バイトから 16 million バイトに拡張されました。
  • この機能はデータベースパラメータによるオプトインで有効になります。
  • 対応するソース形式は JSON、PARQUET、TEXT、CSV です。
  • ELT(extract load and transform)プロセスでのデータ変換時にも適用されます。
  • JSON_PARSE、CONCAT、LISTAGG などの関数が最大 16 million バイトの入出力文字列を処理できるようになりました。
  • 利用規約や契約書などの長文ドキュメントを、追加の前処理なしに直接取り込んで SQL でクエリできます。
  • データ取り込み後は PartiQL を使ったデータ探索や、文字列関数によるデータ変換が可能です。
  • Amazon Redshift が利用可能なすべての AWS リージョン(AWS GovCloud (US) リージョンを含む)で利用できます。

当サイトの考察

従来は 65,535 バイトを超える文字列を Redshift に格納するには、データを分割したり VARCHAR カラムに変換したりといった前処理が必要でした。今回の拡張により、そのような回避策が不要になり、データパイプラインの設計をシンプルに保てます。オプトイン方式を採用しているため、既存のワークロードへの影響を避けながら段階的に移行できる点も実用的です。

確認できていない事項

  • 東京リージョン(ap-northeast-1)や大阪リージョン(ap-northeast-3)での具体的な提供状況は資料から確認できません。
  • オプトインに使用する具体的なデータベースパラメータ名は資料に記載されていません。
  • 本機能の利用に追加料金が発生するかどうかは資料から確認できません。

この記事は、AWS 公式の発表をもとに AI が作成し、自動で公開しています。

既存環境への影響

65,535 バイトを超える大きな文字列を SUPER データ型に格納する際に必要だった複雑な事前変換処理が不要になります。利用規約や契約書などの長文ドキュメントを追加処理なしに直接取り込み、SQL でクエリできるようになります。PartiQL を使ったデータ探索や文字列関数によるデータ変換の柔軟性も向上します。

対応の必要性

対応不要

既存環境への強制的な変更はなく、データベースパラメータでオプトインした場合にのみ機能が有効になります。大きな文字列の取り込みが必要なユースケースでは、オプトインを検討することが推奨されます。

利用可能リージョン

東京(ap-northeast-1)
提供中
大阪(ap-northeast-3)
提供中

公式記事の「all AWS Regions」の記載を、東京と大阪にも当てはめています。個別のリージョン一覧は確認していません。

AWS 公式情報

当サイトの記事は公式情報をもとに編集したものです。正確な内容は必ず AWS 公式情報をご確認ください。