AnalyticDB:データレイク分析にOSS外部テーブルを使用する

説明

OSS FDWは、PostgreSQL FDWに基づいて開発されています。 OSS FDWでは、次の操作を実行できます。

• OSSデータをAnalyticDB for PostgreSQLインスタンスの行指向または列指向のテーブルにインポートして、データ分析を高速化します。

• 大量のOSSデータを照会および分析します。

• データ分析のために、OSS外部テーブルをAnalyticDB for PostgreSQLテーブルに結合します。

OSS FDWは、さまざまなビジネスシナリオで次のデータオブジェクトをサポートします。

• 圧縮されていないCSV、TEXT、JSON、およびJSON Linesオブジェクト。

• GZIP-および標準のSnappy-圧縮されたCSVおよびTEXTオブジェクト。

• GZIP圧縮されたJSONおよびJSON Linesオブジェクト。

• ORCバイナリオブジェクト。 ORCとAnalyticDB For PostgreSQL間のデータ型マッピングの詳細については、OSS外部テーブルのデータ型マッピングのトピックの「ORCとAnalyticDB for PostgreSQL間のデータ型マッピング」を参照してください。

• Parquetバイナリオブジェクト。 ParquetとAnalyticDB For PostgreSQL間のデータ型マッピングの詳細については、OSS外部テーブルのデータ型マッピングのトピックの「ParquetとAnalyticDB for PostgreSQL間のデータ型マッピング」を参照してください。

• Arvoバイナリオブジェクト。 ArvoとAnalyticDB For PostgreSQL間のデータ型マッピングの詳細については、OSS外部テーブルのデータ型マッピングのトピックの「AvroとAnalyticDB for PostgreSQL間のデータ型マッピング」を参照してください。

準備

OSSデータの準備

example.csvという名前のサンプルファイルを準備します。

OSSバケット情報の取得

次の手順では、バケット名、オブジェクトパス、エンドポイント、およびバケットドメイン名を取得する方法を示します。

1. OSSコンソール.

2. 左側のナビゲーションウィンドウで、バケツ.

3. バケツページで、バケットの名前をクリックします。

   バケット名は [バケット] ページで取得できます。

4. オブジェクト管理ページでオブジェクトパスを取得します。

5. 左側のナビゲーションウィンドウで、概要.

6. ポートのセクション概要ページを取得し、エンドポイントおよび対応するバケットドメイン名.

   データアクセスには、VPC (内部ネットワーク) 経由のECSからのアクセスのエンドポイントを使用することを推奨します。

AccessKey IDとAccessKey secretの取得

AccessKey IDとAccessKeyシークレットの取得方法については、「AccessKeyペアの作成」をご参照ください。

OSSサーバーの作成

CREATE SERVERステートメントを実行して、OSSサーバーを作成します。 アクセスするOSSサーバーの名前を指定する必要があります。 CREATE SERVERの詳細については、「CREATE SERVER」をご参照ください。

構文

CREATE SERVER server_name
    FOREIGN DATA WRAPPER fdw_name
    [ OPTIONS ( option 'value' [, ... ] ) ]

パラメーター

次の表に、OPTIONSに含まれるパラメーターを示します。

例：

CREATE SERVER oss_serv
    FOREIGN DATA WRAPPER oss_fdw
    OPTIONS (
        endpoint 'oss-cn-********.aliyuncs.com',
        bucket 'adb-pg'
  );

ALTER SERVERステートメントを実行して、OSSサーバーの設定を変更することもできます。 詳細については、「ALTER SERVER」をご参照ください。

OSSサーバーの設定を変更する例:

• パラメーターを変更します。

  ALTER SERVER oss_serv OPTIONS(SET endpoint 'oss-cn-********.aliyuncs.com');

• パラメーターを追加します。

  ALTER SERVER oss_serv OPTIONS(ADD connect_timeout '20');

• パラメータを削除します。

  ALTER SERVER oss_serv OPTIONS(DROP connect_timeout);

DROP SERVERステートメントを実行して、OSSサーバーを削除することもできます。 詳細については、「DROP SERVER」をご参照ください。

OSSサーバーへのユーザーマッピングの作成

OSSサーバーを作成した後、OSSサーバーにアクセスするユーザーを作成する必要があります。 CREATE USER MAPPINGステートメントを実行して、AnalyticDB for PostgreSQLデータベースユーザーとOSSサーバーにアクセスするユーザー間のユーザーマッピングを作成できます。 詳細については、「ユーザーマッピングの作成」をご参照ください。

構文

CREATE USER MAPPING FOR { username | USER | CURRENT_USER | PUBLIC }
    SERVER servername
    [ OPTIONS ( option 'value' [, ... ] ) ]

パラメーター

次の表に、OPTIONSに含まれるパラメーターを示します。

例：

CREATE USER MAPPING FOR PUBLIC
    SERVER oss_serv
    OPTIONS (
        id 'LTAI5t7Ge***************',
        key 'FikziJd2La*******************'
    );

DROP USER MAPPINGステートメントを実行して、ユーザーを削除することもできます。 詳細については、「DROP USER MAPPING」をご参照ください。

OSS外部テーブルの作成

OSSサーバーとサーバーにアクセスするユーザーを作成した後、create FOREIGN TABLEステートメントを実行してOSS外部テーブルを作成できます。 詳細については、「FOREIGN TABLEの作成」をご参照ください。

構文

CREATE FOREIGN TABLE [ IF NOT EXISTS ] table_name ( [
    column_name data_type [ OPTIONS ( option 'value' [, ... ] ) ] [ COLLATE collation ] [ column_constraint [ ... ] ]
      [, ... ]
] )
    SERVER server_name
  [ OPTIONS ( option 'value' [, ... ] ) ]

パラメーター

次の表に、OPTIONSに含まれるパラメーターを示します。

例：

CREATE FOREIGN TABLE ossexample (
    date text,
    time text,
    open float,
    high float,
    low float,
    volume int
) SERVER oss_serv OPTIONS (dir 'dir_oss_adb/', format 'csv');

DROP FOREIGN TABLEステートメントを実行して、OSS外部テーブルを削除することもできます。 詳細については、「DROP FOREIGN TABLE」をご参照ください。

OSSデータの照会と分析

OSS外部テーブルのデータは、AnalyticDB for PostgreSQLテーブルの場合と同じ方法で照会できます。 次のクエリ方法を使用できます。

• キーと値のペアを指定してデータを照会します。

  SELECT * FROM ossexample WHERE volume = 5;

• 集計関数を使用してデータを照会します。

  SELECT count(*) FROM ossexample WHERE volume = 5;

• 列を指定し、GROUP by句とLIMIT句を使用してデータを照会します。

  SELECT low, sum(volume)
    FROM ossexample
   GROUP BY low
   ORDER BY low
   limit 5;

データ分析のためにOSS外部テーブルをAnalyticDB for PostgreSQLテーブルに結合する

1. 結合分析用にexampleという名前のAnalyticDB for PostgreSQLテーブルを作成し、テーブルにデータを挿入します。

   CREATE TABLE example (id int, volume int);
   INSERT INTO example VALUES(1,1), (2,3), (4,5);

2. OSS外部テーブルossexampleを、データクエリ用のAnalyticDB for PostgreSQLテーブルの例に結合します。

   SELECT example.volume, min(high), max(low)
   FROM
   ossexample,
   example
   WHERE ossexample.volume = example.volume
   GROUP BY(example.volume)
   ORDER BY example.volume;

フォールトトレランス

OSS FDWは、log_errorsおよびsegment_reject_limitパラメーターを使用してフォールトトレランス機能を提供し、生データのエラーによってOSS外部テーブルのスキャンが中断されないようにします。

log_errorsおよびsegment_reject_limitパラメーターの詳細については、このトピックの「OSS外部テーブルの作成」をご参照ください。

• フォールトトレランスをサポートするOSS外部テーブルを作成します。

  CREATE FOREIGN TABLE oss_error_sales (id int, value float8, x text)
      SERVER oss_serv
      OPTIONS (log_errors 'true',         -- Record the information of error rows.
               segment_reject_limit '10', -- Specify the threshold to stop scanning. If the number of error rows exceeds 10, the scanning stops. 
               dir 'error_sales/',        -- Specify the OSS object directory that the foreign table matches.
               format 'csv',              -- Specify CSV as the format to parse objects.
               encoding 'utf8');          -- Specify the encoding format.

• エラー行のログを照会します。

  SELECT * FROM gp_read_error_log('oss_error_sales');

• エラー行のログを削除します。

  SELECT gp_truncate_error_log('oss_error_sales');

よくある質問

Q: OSS外部テーブルからデータを削除すると、OSSに保存されているデータも削除できますか?

A: いいえ。OSS外部テーブルからデータを削除すると、OSSに保存されているデータは削除できません。

関連ドキュメント

• パーティション化されたOSS外部テーブルの使用

• OSS外部テーブルを使用したデータのインポートとエクスポート

• OSS外部テーブルで操作を実行するためのベストプラクティス

• OSS外部テーブルのデータ型マッピング