MaxCompute：ORC外部表格

適用範圍

• OSS外部表格不支援cluster屬性。

• 單個檔案大小不能超過2GB，如果檔案過大，建議拆分。

• MaxCompute需要與OSS部署在同一地區。

• 支援資料類型。

• 支援壓縮格式。

• 支援Schema Evolution。

建立外部表格

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name>
(
  <col_name> <data_type>,
  ...
)
[COMMENT <table_comment>]
[PARTITIONED BY (<col_name> <data_type>, ...)]
STORED AS orc
LOCATION '<oss_location>';

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name>
(
  <col_name> <data_type>,
  ...
)
[COMMENT <table_comment>]
[PARTITIONED BY (<col_name> <data_type>, ...)]
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.orc.OrcSerde'
WITH serdeproperties(
    'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole'
)
STORED AS orc 
LOCATION '<oss_location>' 
tblproperties (
    '<xxx>'='<yyy>'
);

寫入資料

MaxCompute寫入文法詳情，請參見寫入文法說明。

查詢分析

• SELECT文法詳情，請參見查詢文法說明。

• 最佳化查詢計劃詳情，請參見查詢最佳化。

• ORC外部表格支援通過開啟PPD（即Predicate Push Down）實現查詢最佳化，需要在SQL前加如下參數：

  PPD參數需在Native模式下使用，即Native開關需為true。

  -- 開啟orc native reader。
  SET odps.ext.oss.orc.native-true;
  
  -- 開啟orc ppd。
  SET odps.storage.orc.use.predicate.pushdown=true; 

情境樣本

建立以SNAPPY壓縮的ORC格式外表，並進行資料讀取和寫入操作。

1. 前置準備

   1. 已建立MaxCompute專案。

   2. 已準備好OSS儲存空間（Bucket）、OSS目錄。具體操作請參見建立儲存空間、管理目錄。

      由於MaxCompute只在部分地區部署，跨地區的資料連通性可能存在問題，因此建議Bucket與MaxCompute專案所在地區保持一致。

   3. 授權

      1. 具備訪問OSS的許可權。阿里雲帳號（主帳號）、RAM使用者或RAMRole身份可以訪問OSS外部表格，授權資訊請參見OSS的STS模式授權。

      2. 已具備在MaxCompute專案中建立表（CreateTable）的許可權。表操作的許可權資訊請參見MaxCompute許可權。

2. 準備SNAPPY格式資料檔案。

   在樣本資料的oss-mc-testBucket中建立orc_snappy/dt=20250526目錄層級，並將snappy檔案存放在分區目錄dt=20250526下。

3. 建立SNAPPY壓縮格式的ORC外表。

   CREATE EXTERNAL TABLE orc_data_type_snappy
   (
       vehicleId INT,
       recordId INT,
       patientId INT,
       calls INT,
       locationLatitute DOUBLE,
       locationLongitude DOUBLE,
       recordTime STRING,
       direction STRING
   )
   PARTITIONED BY (dt STRING )
   ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.orc.OrcSerde'
   WITH serdeproperties (
    'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole'
   ) 
   STORED AS ORC  
   LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/oss-mc-test/orc_snappy/'
   tblproperties (
       'mcfed.orc.compress'='SNAPPY');

4. 引入分區資料。當建立的OSS外部表格為分區表時，需要額外執行引入分區資料的操作，詳情請參見補全OSS外部表格分區資料文法。

   -- 引入分區資料
   MSCK REPAIR TABLE orc_data_type_snappy ADD PARTITIONS;

5. 讀取ORC外表資料。

   SELECT * FROM orc_data_type_snappy WHERE dt=20250526 LIMIT 10;

   返回結果如下：

   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
   | vehicleid  | recordid   | patientid  | calls      | locationlatitute | locationlongitude | recordtime     | direction  | dt         |
   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
   | 1          | 12         | 76         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:10 | SW         | 20250526   |
   | 1          | 1          | 51         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | S          | 20250526   |
   | 1          | 2          | 13         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:01 | NE         | 20250526   |
   | 1          | 3          | 48         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:02 | NE         | 20250526   |
   | 1          | 4          | 30         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:03 | W          | 20250526   |
   | 1          | 5          | 47         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:04 | S          | 20250526   |
   | 1          | 6          | 9          | 1          | 46.81006         | -92.08174         | 9/14/2014 0:05 | S          | 20250526   |
   | 1          | 7          | 53         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:06 | N          | 20250526   |
   | 1          | 8          | 63         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:07 | SW         | 20250526   |
   | 1          | 9          | 4          | 1          | 46.81006         | -92.08174         | 9/14/2014 0:08 | NE         | 20250526   |
   | 1          | 10         | 31         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:09 | N          | 20250526   |
   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+

6. 寫入資料至ORC外表，並查詢。

   INSERT INTO orc_data_type_snappy PARTITION (dt ='20250526') 
     VALUES (1,16,76,1,46.81006,-92.08174,'9/14/2014 0:10','SW');
   
   -- 查詢新寫入的資料
   SELECT * FROM orc_data_type_snappy WHERE dt = '20250526' AND recordid=16;

   返回結果如下：

   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
   | vehicleid  | recordid   | patientid  | calls      | locationlatitute | locationlongitude | recordtime     | direction  | dt         |
   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
   | 1          | 16         | 76         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:10 | SW         | 20250526   |
   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+

支援資料類型

MaxCompute資料類型詳情請參見1.0資料類型版本、2.0資料類型版本。

• JNI模式（讀表時不使用Native ORC Reader）：set odps.ext.oss.orc.native=false;，支援讀寫。

• Native模式（讀表時使用Native ORC Reader）：set odps.ext.oss.orc.native=true;，僅支援讀。

支援壓縮格式

• 當讀寫壓縮屬性的OSS檔案時，需要在建表語句中添加with serdeproperties屬性配置，詳情請參見with serdeproperties屬性參數。

• 支援讀寫的資料檔案格式：以SNAPPY、ZLIB方式壓縮的ORC。

支援Schema Evolution

ORC外部表格的schema和檔案列之間有兩種映射關係，按位置映射和按名稱映射。

• 按位置映射：建立外表時配置參數'mcfed.orc.schema.resolution'='position'或者不配置（即預設值），表的列順序必須與檔案中欄位的順序完全一致，系統根據位置或列號來匹配。

• 按名稱映射：建立外表時配置參數'mcfed.orc.schema.resolution'='name'，系統會根據列名自動匹配，不再依賴順序。

下表中的資料相容問題說明是指：已經進行Schema Evolution操作後的外表，針對“符合修改後的Schema結構的資料”是否可以正常讀取；針對於“存量舊Schema資料”（即和修改後schema不匹配的存量資料）是否可以正常讀取。