MaxCompute:マテリアライズドビューのクエリ再書き込み

例 1：フィルター条件を含むクエリ文の再書き込み

1. マテリアライズドビューを作成します。

   CREATE MATERIALIZED VIEW mv AS SELECT a,b,c FROM src WHERE a>5;

2. 次の表は、作成されたマテリアライズドビューに基づいて、元のクエリ文と再書き込みされたクエリ文を比較したものです。

   元のクエリ文	再書き込みされたクエリ文
   SELECT a,b FROM src WHERE a>5;	SELECT a,b FROM mv;
   SELECT a, b FROM src WHERE a=10;	SELECT a,b FROM mv WHERE a=10;
   SELECT a, b FROM src WHERE a=10 AND b=3;	SELECT a,b FROM mv WHERE a=10 AND b=3;
   SELECT a, b FROM src WHERE a>3;	(SELECT a,b FROM src WHERE a>3 AND a<=5) UNION (SELECT a,b FROM mv);
   SELECT a, b FROM src WHERE a=10 AND d=4;	列 d がマテリアライズドビューに含まれていないため、再書き込みは失敗します。
   SELECT d, e FROM src WHERE a=10;	列 d と e がマテリアライズドビューに含まれていないため、再書き込みは失敗します。
   SELECT a, b FROM src WHERE a=1;	a=1 のデータがマテリアライズドビューに含まれていないため、再書き込みは失敗します。

例 2：集計関数を含むクエリ文の再書き込み

例 3：JOIN 句を含むクエリ文の再書き込み

上記の 3 種類の文は組み合わせることができます。クエリ文が再書き込み条件を満たしている場合、再書き込みが可能です。

クエリの再書き込みの目的は、クエリを高速化することです。MaxCompute は、最も効果的な再書き込みルールを優先します。再書き込みによって操作が追加され、パフォーマンスが向上しない場合、MaxCompute はその再書き込みを使用しません。

例 4：LEFT JOIN 句を含むクエリ文の再書き込み

1. マテリアライズドビューを作成します。

   CREATE MATERIALIZED VIEW mv LIFECYCLE 7(
           user_id,
           job,
           total_amount
   ) AS SELECT t1.user_id, t1.job, sum(t2.order_amount) AS total_amount 
         FROM user_info AS t1 LEFT JOIN sale_order AS t2 ON t1.user_id=t2.user_id GROUP BY t1.user_id;

2. 次の表は、作成されたマテリアライズドビューに基づいて、元のクエリ文と再書き込みされたクエリ文を比較したものです。

   元のクエリ文	再書き込みされたクエリ文
   SELECT t1.user_id, sum(t2.order_amout) AS total_amount FROM user_info AS t1 LEFT JOIN sale_order AS t2 ON t1.user_id=t2.user_id GROUP BY t1.user_id;	SELECT user_id, total_amount FROM mv;

例 5：UNION ALL 句を含むクエリ文の再書き込み

1. マテリアライズドビューを作成します。

   CREATE MATERIALIZED VIEW mv LIFECYCLE 7( 
           user_id, 
           tran_amount, 
           tran_date 
   ) AS SELECT user_id, tran_amount, tran_date FROM alipay_tran UNION ALL 
   SELECT user_id, tran_amount, tran_date FROM unionpay_tran;

2. 次の表は、作成されたマテリアライズドビューに基づいて、元のクエリ文と再書き込みされたクエリ文を比較したものです。

   元のクエリ文	再書き込みされたクエリ文
   SELECT user_id, tran_amount FROM alipay_tran UNION ALL SELECT user_id, tran_amount FROM unionpay_tran;	SELECT user_id, total_amount FROM mv;

例 6：シナリオ

1. シナリオ例

   visit_records という名前のページアクセステーブルがあるとします。このテーブルには、各訪問のページ ID、ユーザー ID、およびアクセス時間が記録されます。さまざまなページへの訪問数を頻繁にクエリして分析する必要があります。

   この場合、visit_records テーブルに対してマテリアライズドビューを作成し、ページ ID でデータをグループ化し、各ページの訪問数をカウントできます。その後、このマテリアライズドビューに基づいてクエリを実行できます。

   visit_records テーブルの構造は次のとおりです。

   +------------------------------------------------------------------------------------+
   | Field           | Type       | Label | Comment                                     |
   +------------------------------------------------------------------------------------+
   | page_id         | string     |       |                                             |
   | user_id         | string     |       |                                             |
   | visit_time      | string     |       |                                             |
   +------------------------------------------------------------------------------------+

2. マテリアライズドビューを作成します。

   -- visit_records テーブルのマテリアライズドビューを作成します。ビューはページ ID でデータをグループ化し、各ページの訪問数をカウントします。
   
   CREATE MATERIALIZED VIEW count_mv AS SELECT page_id, count(*) FROM visit_records GROUP BY page_id;

3. 次のクエリ文を実行します。

   SET odps.sql.materialized.view.enable.auto.rewriting=true; 
   SELECT page_id, count(*) FROM visit_records GROUP BY page_id;

   このクエリを実行すると、MaxCompute は自動的にマテリアライズドビュー count_mv を使用するように再書き込みし、count_mv から集約されたデータを読み取ります。

4. 次のコマンドを実行して、クエリがマテリアライズドビューを使用するように再書き込みされたかどうかを確認します。

   EXPLAIN SELECT page_id, count(*) FROM visit_records GROUP BY page_id;

   次の結果が返されます。

   job0 is root job
   
   In Job job0:
   root Tasks: M1
   
   In Task M1:
       Data source: doc_test_dev.count_mv
       TS: doc_test_dev.count_mv
           FS: output: Screen
               schema:
                 page_id (string)
                 _c1 (bigint)
   
   
   OK

   返された結果の Data source フィールドは、クエリが doc_test_dev プロジェクトの count_mv テーブルからデータを読み取ることを示しています。これは、マテリアライズドビューが有効であり、クエリの再書き込みが成功したことを示します。