MaxCompute:ORC 外部テーブル

適用範囲

• OSS 外部テーブルはクラスタープロパティをサポートしていません。

• 単一ファイルのサイズは 2 GB を超えることはできません。2 GB を超えるファイルは分割する必要があります。

• MaxCompute と OSS は同じリージョンにある必要があります。

• サポートされているデータ型。

• サポートされている圧縮フォーマット。

• スキーマエボリューションのサポート。

外部テーブルの作成

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name>
(
  <col_name> <data_type>,
  ...
)
[COMMENT <table_comment>]
[PARTITIONED BY (<col_name> <data_type>, ...)]
STORED AS orc
LOCATION '<oss_location>';

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name>
(
  <col_name> <data_type>,
  ...
)
[COMMENT <table_comment>]
[PARTITIONED BY (<col_name> <data_type>, ...)]
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.orc.OrcSerde'
WITH serdeproperties(
    'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole'
)
STORED AS orc 
LOCATION '<oss_location>' 
tblproperties (
    '<xxx>'='<yyy>'
);

データの書き込み

MaxCompute の書き込み構文の詳細については、「書き込み構文」をご参照ください。

クエリ分析

• SELECT 構文の詳細については、「クエリ構文」をご参照ください。

• クエリプランの最適化の詳細については、「クエリの最適化」をご参照ください。

• 述語プッシュダウン (PPD) を有効にすることで、ORC 外部テーブルに対するクエリを最適化できます。そのためには、SQL 文の前に次のパラメーターを追加します：

  PPD パラメーターはネイティブモードで使用する必要があります。つまり、ネイティブスイッチを true に設定する必要があります。

  -- ORC ネイティブリーダーを有効にします。
  SET odps.ext.oss.orc.native-true;
  
  -- ORC PPD を有効にします。
  SET odps.storage.orc.use.predicate.pushdown=true; 

シナリオ例

この例では、SNAPPY 圧縮を使用する ORC 外部テーブルを作成し、そのテーブルからデータを読み書きする方法を示します。

1. 前提条件

   1. MaxCompute プロジェクトを作成済みであること。

   2. OSS バケットと OSS ディレクトリを準備済みであること。詳細については、「バケットの作成」および「フォルダの管理」をご参照ください。

      MaxCompute は特定のリージョンでのみ利用可能なため、リージョン間の接続性の問題が発生する可能性があります。ご利用の MaxCompute プロジェクトと同じリージョンにある OSS バケットを使用することを推奨します。

   3. 権限付与

      1. OSS にアクセスする権限を持っていること。Alibaba Cloud アカウント (プライマリアカウント)、Resource Access Management (RAM) ユーザー、または RAM ロールは、OSS 外部テーブルにアクセスできます。権限付与の詳細については、「OSS の STS モードでの権限付与」をご参照ください。

      2. MaxCompute プロジェクトで CreateTable 権限を持っていること。テーブル操作の権限の詳細については、「MaxCompute の権限」をご参照ください。

2. SNAPPY フォーマットのデータファイルを準備します。

   提供されているサンプルデータを使用して、oss-mc-test バケットにフォルダパス orc_snappy/dt=20250526 を作成します。SNAPPY ファイルを dt=20250526 パーティションフォルダにアップロードします。

3. SNAPPY 圧縮を使用する ORC 外部テーブルを作成します。

   CREATE EXTERNAL TABLE orc_data_type_snappy
   (
       vehicleId INT,
       recordId INT,
       patientId INT,
       calls INT,
       locationLatitute DOUBLE,
       locationLongitude DOUBLE,
       recordTime STRING,
       direction STRING
   )
   PARTITIONED BY (dt STRING )
   ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.orc.OrcSerde'
   WITH serdeproperties (
    'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole'
   ) 
   STORED AS ORC  
   LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/oss-mc-test/orc_snappy/'
   tblproperties (
       'mcfed.orc.compress'='SNAPPY');

4. OSS 外部テーブルがパーティション化されている場合は、次のコマンドを実行して既存のパーティションを追加します。詳細については、「OSS 外部テーブルにパーティションを追加する構文」をご参照ください。

   -- 外部テーブルにパーティションを追加します
   MSCK REPAIR TABLE orc_data_type_snappy ADD PARTITIONS;

5. ORC 外部テーブルからデータを読み取ります。

   SELECT * FROM orc_data_type_snappy WHERE dt=20250526 LIMIT 10;

   クエリは次の結果を返します：

   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
   | vehicleid  | recordid   | patientid  | calls      | locationlatitute | locationlongitude | recordtime     | direction  | dt         |
   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
   | 1          | 12         | 76         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:10 | SW         | 20250526   |
   | 1          | 1          | 51         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | S          | 20250526   |
   | 1          | 2          | 13         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:01 | NE         | 20250526   |
   | 1          | 3          | 48         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:02 | NE         | 20250526   |
   | 1          | 4          | 30         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:03 | W          | 20250526   |
   | 1          | 5          | 47         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:04 | S          | 20250526   |
   | 1          | 6          | 9          | 1          | 46.81006         | -92.08174         | 9/14/2014 0:05 | S          | 20250526   |
   | 1          | 7          | 53         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:06 | N          | 20250526   |
   | 1          | 8          | 63         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:07 | SW         | 20250526   |
   | 1          | 9          | 4          | 1          | 46.81006         | -92.08174         | 9/14/2014 0:08 | NE         | 20250526   |
   | 1          | 10         | 31         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:09 | N          | 20250526   |
   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+

6. ORC 外部テーブルにデータを書き込み、そのデータをクエリします。

   INSERT INTO orc_data_type_snappy PARTITION (dt ='20250526') 
     VALUES (1,16,76,1,46.81006,-92.08174,'9/14/2014 0:10','SW');
   
   -- 新しく挿入されたデータをクエリします
   SELECT * FROM orc_data_type_snappy WHERE dt = '20250526' AND recordid=16;

   クエリは次の結果を返します：

   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
   | vehicleid  | recordid   | patientid  | calls      | locationlatitute | locationlongitude | recordtime     | direction  | dt         |
   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
   | 1          | 16         | 76         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:10 | SW         | 20250526   |
   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+

サポートされているデータ型

MaxCompute のデータ型の詳細については、「データ型バージョン 1.0」および「データ型バージョン 2.0」をご参照ください。

• JNI モード (set odps.ext.oss.orc.native=false;): このモードでは、テーブル読み取り時にネイティブ ORC リーダーを使用しません。読み取りと書き込みの両方の操作をサポートします。

• ネイティブモード (set odps.ext.oss.orc.native=true;): このモードでは、テーブル読み取り時にネイティブ ORC リーダーを使用します。読み取り操作のみをサポートします。

サポートされている圧縮フォーマット

• 圧縮された OSS ファイルを読み書きするには、テーブル作成文に with serdeproperties 構成を追加する必要があります。詳細については、「with serdeproperties のプロパティパラメーター」をご参照ください。

• MaxCompute は、SNAPPY または ZLIB で圧縮された ORC ファイルの読み書きをサポートしています。

スキーマエボリューションのサポート

ORC 外部テーブルは、テーブルスキーマをデータファイル内の列にマッピングするために、位置ベースのマッピングと名前ベースのマッピングの 2 つのメソッドをサポートしています。

• 位置ベースのマッピング: このメソッドを使用するには、'mcfed.orc.schema.resolution'='position' パラメーターを設定するか、省略してデフォルト設定を使用します。システムは位置に基づいて列をマッピングします。したがって、テーブルの列の順序は、ファイル内のフィールドの順序と完全に一致する必要があります。

• 名前ベースのマッピング: このメソッドを使用するには、外部テーブルの作成時に 'mcfed.orc.schema.resolution'='name' パラメーターを設定します。これにより、システムは位置ではなく名前で列をマッピングします。

次の表のデータ互換性の問題では、スキーマエボリューション操作後に外部テーブルがデータを正しく読み取れるかどうかを説明します。これには、変更されたスキーマに準拠する新しいデータと、古いスキーマを使用する既存データの読み取りが含まれます。