MaxCompute:Table Store データへのアクセス

• MaxCompute と Table Store の所有者が同じアカウントの場合は、Alibaba Cloud アカウントで直接ログインし、ここをクリックして権限を付与します。
• カスタム権限付与
  1. まず、RAM コンソールで、Table Store アクセス権限を MaxCompute に付与する必要があります。

     RAM コンソールにログイン (MaxCompute と Table Store が同じアカウントでない場合は、Table Store アカウントでログインして権限を付与する必要があります) し、ロール AliyunODPSDefaultRole を作成します。

  2. ポリシーの内容を次のように設定します。

     --if MaxCompute and Table Store are same account  
     {
     "Statement": [
     {
      "Action": "sts:AssumeRole",
      "Effect": "Allow",
      "Principal": {
        "Service": [
          "odps.aliyuncs.com"
        ]
      }
     }
     ],
     "Version": "1"
     }
     --if MaxCompute and Table Store are not the same account
     {
     "Statement ":[
     {
      "Action": "sts:AssumeRole",
      "Effect": "Allow",
      "Principal": {
        "Service": [
          "MaxCompute's Owner cloud account UID@odps.aliyuncs.com"
        ]
      }
     }
     ],
     "Version": "1"
     }

     注 右上隅にあるアバターをクリックして、[課金管理] ページを開き、アカウント UID を確認します。
  3. このロールの認証ポリシー AliyunODPSRolePolicy を編集します。

     {
     "Version": "1",
     "Statement ":[
     {
      "Action ":[
        "ots:ListTable",
        "ots:DescribeTable",
        "ots:GetRow",
        "ots:PutRow",
        "ots:UpdateRow",
        "ots:DeleteRow",
        "ots:GetRange",
        "ots:BatchGetRow",
        "ots:BatchWriteRow",
        "ots:ComputeSplitPointsBySize"
      ],
      "Resource": "*",
      "Effect": "Allow"
     }
     ]
     }
     --You can also customize other permissions

  4. このロールに AliyunODPSRolePolicy 権限を付与します。

DROP TABLE IF EXISTS ots_table_external;
CREATE EXTERNAL TABLE IF NOT EXISTS ots_table_external
(
odps_orderkey bigint,
odps_orderdate string,
odps_custkey bigint,
odps_orderstatus string,
odps_totalprice double
)
STORED BY 'com.aliyun.odps.TableStoreStorageHandler' -- (1)
WITH SERDEPROPERTIES ( -- (2)
'tablestore.columns.mapping'=':o_orderkey,:o_orderdate,o_custkey, o_orderstatus,o_totalprice', -- ①
'tablestore.table.name'='ots_tpch_orders' -- ②
'odps.properties.rolearn'='acs:ram::xxxxx:role/aliyunodpsdefaultrole' --③
)
LOCATION 'tablestore://odps-ots-dev.cn-shanghai.ots-internal.aliyuncs.com'; -- （3）

• com.aliyun.odps.TableStoreStorageHandler は、Table Store データを処理するための MaxCompute の組み込み StorageHandler です。 これは、MaxCompute と Table Store 間の相互作用を定義します。 関連ロジックは MaxCompute によって実装されています。
• SERDEPROPERITES は、パラメーターオプションを提供するインターフェイスです。 TableStoreStorageHandler を使用する際、tablestore.columns.mapping と tablestore.table.name と odps.properties.rolearn から 2 つオプションを指定する必要があります。
  1. filepathtablestore.columns.mapping optionfilepath: MaxCompute がアクセスしようとしている Table Store テーブルの列を照会するのに必要です。
     • 列名の先頭の : は、Table Store の主キーを示します。 この例では、:o_orderkey と :o_orderdate が主キー列で、それ以外はすべて属性列です。
     • Table Store は最大 4 つの主キーをサポートします。 主キーは、STRING、INTEGER、および BINARY データ型をサポートします。 最初の主キーはパーティションキーです。
     • マッピング関係を指定するとき、指定した Table Store テーブルのすべての主キーを指定する必要がありますが、すべての属性列を指定する必要はなく、MaxCompute を使用してアクセスする必要がある属性列のみを指定します。
  2. filepathtablestore.table.namefilepath: アクセスする必要がある Table Store テーブルの名前。 誤った Table Store テーブル名 (存在しないテーブルなど) を指定した場合、システムはエラーを報告します。 MaxCompute は、指定された名前で新しい Table Store テーブルを作成しません。
  3. odps.properties.rolearn: RAM の AliyunODPSDefaultRole にある Arn 情報。 RAM コンソールの [ロールの詳細] から取得できます。
• LOCATION 句: Table Store インスタンス名、エンドポイントなどを指定するための特定の情報。 ここでの Table Store データへの安全なアクセスは、前述の RAM/STS 権限付与の前提に基づいています。

desc extended <table_name>;

SELECT odps_orderkey, odps_orderdate, SUM(odps_totalprice) AS sum_total
FROM ots_table_external
WHERE odps_orderkey > 5000 AND odps_orderkey < 7000 AND odps_orderdate >= '1996-05-03' AND odps_orderdate < '1997-05-01'
GROUP BY odps_orderkey, odps_orderdate
HAVING sum_total> 400000.0;

CREATE TABLE internal_orders AS
SELECT odps_orderkey, odps_orderdate, odps_custkey, odps_totalprice
FROM ots_table_external
Where fig> 5000;

INSERT OVERWRITE TABLE ots_table_external
SELECT odps_orderkey, odps_orderdate, odps_custkey, CONCAT(odps_custkey, 'SHIPPED'), CEIL(odps_totalprice)
FROM internal_orders;