MaxCompute:SQL の最適化

2 つのテーブルを結合するときに、1 番目のテーブルの Where 条件は文の最後に記述しますが、2 番目のテーブルのパーティションの制限条件は Where 条件に記述しません。 ON 条件またはサブクエリに記述することを推奨します。 1 番目のテーブルのパーティション制限は Where 条件 (先にサブクエリでフィルタする方がよいです) に記載します。 以下にいくつかの SQL の例を示します。

select * from A join (select * from B where dt=20150301)B on B.id=A.id where A.dt=20150301； 
select * from A join B on B.id=A.id where B.dt=20150301； --Not allowed. 
select * from (select * from A where dt=20150301)A join (select * from B where dt=20150301)B on B.id=A.id；

データスキューが発生したことを認識していても、原因がわからない場合は、一般的なソリューションを使用してデータスキューをテストできます。 以下の例をご参照ください。

select * from a join b on a.key=b.key; --This Leads to data skew. 
Now you can run the following statements:  
```sql
select left.key, left.cnt * right.cnt from 
(select key, count(*) as cnt from a group by key) left 
join
(select key, count(*) as cnt from b group by key) right
on left.key=right.key;

テーブル A には、key と value の 2 つのフィールドがあるとします。 テーブルのデータ量は大きく、キーの分散は不均等です。 以下の SQL 文を実行します。

select key,count(value) from A group by key;

MaxCompute の SQL の動的パーティションでは、デフォルトで Reduce 関数が追加されます。Reduce 関数は同じパーティションデータをマージするために使用されます。 利点は以下のとおりです。

• MaxCompute によって生成される小さなファイルが減り、処理効率が良くなります。
• Worker が多数のファイルを出力するときに、メモリの占有領域が減少します。

パーティションデータのスキューが発生する場合、Reduce 関数はロングテールが発生する原因となります。 同じデータを処理できる Worker は最大 10 なので、大量のデータはロングテールの原因となります。以下に例を示します。

insert overwrite table A2 partition(dt) 
select
split_part(value,'\t',1) as field1,
split_part(value,'\t',2) as field2, 
dt 
from A 
where dt='20151010';

この場合、動的パーティションを使用せず、以下の方法で SQL 文を変更することを推奨します。

insert overwrite table A2 partition(dt='20151010') 
select
split_part(value,'\t',1) as field1,
split_part(value,'\t',2) as field2
from A 
where dt='20151010';

SQL 文で Window 関数を使用する場合、通常、Window 関数では Reduce ジョブを作成します。 Window 関数が多すぎる場合は、リソースが消費されます。 特定のシナリオでは、Window 関数を最適化します。

• グループ化条件およびソート条件と同じように、over キーワードの後ろの内容は同じにする必要があります。
• 複数の Window 関数は同じ SQL レイヤーで実行される必要があります。

これら 2 つの条件を満たす Window 関数を Reduce の実装にマージします。 SQL の例は以下のとおりです。

select
rank()over(partition by A order by B desc) as rank,
row_number()over(partition by A order by B desc) as row_num
from MyTable;

サブクエリは以下のとおりです。

SELECT * FROM table_a a WHERE a.col1 IN (SELECT col1 FROM table_b b WHERE xxx);

この SQL 文の table_b サブクエリによって返された col1 の数が 1,000 を超える場合は、システムでは以下のエラーが表示されます。rrecords returned from subquery exceeded limit of 1,000 この場合は、代わりに Join 文を使用します。

SELECT a. * FROM table_a a JOIN (SELECT DISTINCT col1 FROM table_b b WHERE xxx) c ON (a.col1 = c.col1)