MaxCompute：Lindorm外部表格（雲原生多模資料庫）

背景資訊

Lindorm是面向物聯網、互連網、車連網等設計和最佳化的雲原生多模超融合資料庫，支援寬表、時序、文本、對象、流、空間等多種資料的統一訪問和融合處理，併兼容SQL、HBase/Cassandra/S3、TSDB、HDFS、Solr、Kafka等多種標準介面，是阿里巴巴核心業務提供支撐的資料庫之一。更多Lindorm資訊請參見Lindorm產品概述。

前提條件

使用限制

• 由於只有華北2（北京）、華東2（上海）、華北3（張家口）、華東1（杭州）、華南1（深圳）、中國香港、華東 2 金融雲（可用性區域F）、日本（東京）、新加坡、馬來西亞（吉隆坡）、印尼（雅加達）、德國（法蘭克福）、美國（矽谷）、美國（維吉尼亞）地區開通了專線直連訪問VPC方案，僅以上地區可以建立Lindorm外部表格，其他地區暫不支援。

• 網路打通時，MaxCompute側僅打通到所填VPC ID的網路連接，如需跨Region訪問或者訪問該Region的其他VPC，請根據云上VPC現有打通方案，打通專線直連方案所填寫的VPC和其他VPC之間的網路。

• Lindorm外部表格不支援cluster屬性。

注意事項

讀取Lindorm源表資料時，如果源表中的列數小於外表DDL中的列數，系統會將缺少的列值補充為NULL。反之（大於時），會丟棄超出的列資料。

建立Lindorm外部表格文法

--開啟Hive相容模式。
SET odps.sql.hive.compatible = true;
--配置odps.sql.hbase.version參數，切換HBase版本為lindorm。
SET odps.sql.hbase.version=lindorm;
--建立Lindorm外部表格。
CREATE EXTERNAL TABLE if NOT EXISTS <mc_lindorm_external>
(
  <col1_name> <data_type>,
  <col2_name> <data_type>,
  ......
)
--處理Lindorm資料來源的Handler。
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES(
  'hbase.columns.mapping'='<:key,col-family:col-name1,col-family:col-name2,...>')
  TBLPROPERTIES(
    --hbase.table.name和mcfed.hbase.zookeeper.quorum必須配置。
    'hbase.table.name'='<namespace:lindorm_table_name>',
    'hbase.zookeeper.quorum'='<VPC ip1|host1:port,VPC ip2|host2:port...>',
    --配置hbase.client.username和hbase.client.password參數。
    'hbase.client.username'='****','hbase.client.password'='****',
    --hbase.zookeeper.property.clientPort、mcfed.zookeeper.session.timeout和hbase.client.retries.number為選擇性參數。
    --hbase.zookeeper.property.clientPort的預設值為30020。
    ['hbase.zookeeper.property.clientPort'='{30020}',]
    ['mcfed.zookeeper.session.timeout'='<value>',]
    ['hbase.client.retries.number'='<value>',]
    'networklink'='<networklink_name>'
);

使用樣本

1. 使用Lindorm Shell建立Lindorm表並插入資料。

   1. 建立mf_lindorm_test_t表。

      CREATE 'mf_lindorm_test_t','f';

   2. 向表mf_lindorm_test_t插入資料。

      put 'mf_lindorm_test_t', '1122', 'f:col1', 'hello';
      put 'mf_lindorm_test_t', '1122', 'f:col2', 'hbase';

   3. 查詢表mf_lindorm_test_t資料。

      scan 'mf_lindorm_test_t';

      查詢結果如下圖所示：

2. 建立MaxCompute外部表格並映射Lindorm資料來源。

   1. 配置環境資訊並建立MaxCompute的Lindorm外部表格mf_lindorm_test_t_ext。

      set odps.sql.hive.compatible = true;
      set odps.sql.hbase.version=lindorm;
      CREATE EXTERNAL TABLE mf_lindorm_test_t_ext
      (
      key  int,
      col1 string,
      col2 string
      )
      STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
      WITH SERDEPROPERTIES (
        'hbase.columns.mapping'=':key,f:col1,f:col2')
        TBLPROPERTIES (
          'hbase.table.name'='mf_lindorm_test_t',
          'hbase.zookeeper.quorum'='ld-2z****-proxy-lindorm.lindorm.rds.aliyuncs.com:30020',
          'hbase.client.username'='root',
          'hbase.client.password'='root',
          'networklink'='networklink4hbase');

   2. 查詢外部表格mf_lindorm_test_t_ext資料。

      set odps.sql.hive.compatible = true;
      set odps.sql.hbase.version=lindorm;
      select * from mf_lindorm_test_t_ext;

      查詢結果如下：

      +------------+------------+----------+
      | key        | col1       | col2     |
      +------------+------------+----------+
      | 1122       | hello      | hbase    |  
      +------------+------------+----------+

   3. 向外部表格mf_lindorm_test_t_ext插入資料。

      執行INSERT OVERWRITE語句向已建立的外部表格寫入資料。

      set odps.sql.hive.compatible = true;
      set odps.sql.hbase.version=lindorm;
      INSERT OVERWRITE TABLE mf_lindorm_test_t_ext SELECT '1123', 'lindorm', 'mftestinsert';

   4. 重新查詢外部表格mf_lindorm_test_t_ext資料。

      set odps.sql.hive.compatible = true;
      set odps.sql.hbase.version=lindorm;
      select * from mf_lindorm_test_t_ext;

      查詢結果如下：

      +------------+------------+-------------+
      | key        | col1       | col2        |
      +------------+------------+-------------+
      | 1122       | hello      | hbase       | 
      | 1123       | lindorm    | mftestinsert|   
      +------------+------------+-------------+

   5. 使用scan語句查詢Lindorm表mf_lindorm_test_t資料。

      scan 'mf_lindorm_test_t';

      查詢結果如下：