AnalyticDB:Roaringビットマップ関数

• V3.1.6.4以降のAnalyticDB For MySQLクラスターの場合、OSS (Object Storage Service) 外部テーブルでは、ROARING BITMAPタイプと轟音ビットマップ関数がサポートされます。

• V3.2.1.0以降のAnalyticDB For MySQLクラスターの場合、OSS外部テーブルおよびAnalyticDB for MySQL内部テーブルで、ROARING BITMAPタイプおよびroaringビットマップ関数がサポートされます。

AnalyticDB for MySQLでとどろくビットマップ関数を使用する場合は、次の制限事項に注意してください。

• SELECTステートメントを実行して、ROARING BITMAP型のフィールドのデータを照会することはできません。 ROARING BITMAP型のフィールド内の要素をクエリするには、UNNEST演算子を使用する必要があります。 例：

  SELECT * FROM unnest(RB_BUILD(ARRAY[1,2,3]));

• V3.2.1.0より前のバージョンのAnalyticDB For MySQLクラスターの場合、ROARING BITMAPタイプはOSS外部テーブルでのみサポートされ、ROARING BITMAPタイプの列を含むAnalyticDB for MySQL内部テーブルは作成できません。 AnalyticDB for MySQL内部テーブルでroaring bitmap関数を使用する場合は、まずRB_BUILD_VARBINARY関数を使用してVARBINARYデータをROARING BITMAP型に変換します。 例：

  // Create an internal table.
  CREATE TABLE test_rb_cstore (id INT, rb VARBINARY);
  
  // Invoke roaring bitmap functions.
  SELECT RB_CARDINALITY(RB_BUILD_VARBINARY(rb)) FROM test_rb_cstore;

次の例では、内部テーブルと外部テーブルで轟音ビットマップ関数を使用する方法について説明します。

この例では、タグテーブルが轟音ビットマップテーブルに変換され、次の図に示すように、轟音ビットマップに基づいて分析が実行されます。

AnalyticDB for MySQLの分散コンピューティングエンジンの同時実行機能を利用するには、uidでデータをグループ化できる列を追加することをお勧めします。 この例では、user-groupという名前の列がグループ化のために作成されます。 グループサイズは、クラスター内のAnalyticDBコンピューティングユニット (ACU) の総数によって異なります。

• 多数のグループは、高いコンピューティング効率をもたらす。 しかし、各とどろくビットマップが少数の要素しか含まない場合、システムはとどろくビットマップを十分に利用することができない。

• 実際のシナリオでは、各グループ内のレコード数を100万未満に制限することをお勧めします。 たとえば、uid値の総数が100億の場合、それぞれ100万行のデータを持つ100グループを作成できます。

シナリオ1: フィルタリング分析

この例では、tag1 In (x, y) を満たすtag2の各値に対するユーザの数が取得される。

1. tag1 in (x, y) を満たすユーザーを照会します。

   SELECT tag2, t1.user_group AS user_group, RB_CARDINALITY(RB_AND(t2.rb, rb1)) AS rb FROM tag_tbl_2 AS t2
   JOIN (
   SELECT user_group, rb AS rb1 FROM tag_tbl_1 WHERE tag1 IN ('x', 'y'))
   AS t1
   ON t1.user_group = t2.user_group;

   サンプル結果:

   +------+------------+---------+
   | tag2 | user_group | rb      |
   +------+------------+---------+
   | b    |          3 | 1041828 |
   | a    |          15| 1039859 |
   | a    |          9 | 1039140 |
   | b    |          1 | 1041524 |
   | a    |          4 | 1041599 |
   | b    |          1 | 1041381 |
   | b    |          10| 1041026 |
   | b    |          6 | 1042289 |
   +------+------------+---------+

2. tag1 in (x, y) を満たすtag2の各値のユーザー数を取得します。

   SELECT tag2, SUM(cnt) FROM ( 
   SELECT tag2, t1.user_group AS user_group, RB_CARDINALITY(RB_AND(t2.rb, rb1)) AS cnt FROM tag_tbl_2 AS t2
   JOIN (
   SELECT user_group, rb AS rb1 FROM tag_tbl_1 WHERE tag1 IN ('x', 'y'))
   AS t1
   ON t1.user_group = t2.user_group
   ) GROUP BY tag2;

   サンプル結果:

   +------+----------+
   | tag2 | sum(cnt) |
   +------+----------+
   | a    | 33327868 |
   | b    | 33335220 |
   +------+----------+

シナリオ2: 轟音ビットマップの交差、和集合、およびXORを計算する

tag_tbl_1テーブルからtag1 = 'x' またはtag1 = 'y' を満たすデータとtag_tbl_2テーブルからtag2 = 'b' を満たすデータを取得し、両方の条件を満たすデータを取得します。

SELECT user_group, RB_CARDINALITY(rb) FROM (
    SELECT
      t1.user_group AS user_group,
      RB_AND(rb1, rb2) AS rb
    FROM
      (
        SELECT
          user_group,
          RB_OR_AGG(rb) AS rb1
        FROM
          tag_tbl_1
        WHERE
          tag1 = 'x'
          OR tag1 = 'y'
        GROUP BY
          user_group
      ) AS t1
      JOIN (
        SELECT
          user_group,
          RB_OR_AGG(rb) AS rb2
        FROM
          tag_tbl_2
        WHERE
          tag2 = 'b'
        GROUP BY
          user_group
      ) AS t2 ON t1.user_group = t2.user_group
  GROUP BY user_group);

サンプル結果:

+------------+--------------------+
| user_group | rb_cardinality(rb) |
+------------+--------------------+
|         10 |            2083679 |
|          3 |            2082370 |
|          9 |            2082847 |
|          2 |            2086511 |
...                              
|          1 |            2082291 |
|          4 |            2083290 |
|         14 |            2083581 |
|         15 |            2084110 |
+------------+--------------------+

シナリオ3: 轟音ビットマップと元のタグテーブルの交差、和集合、およびXORを計算する

tag1 = 'x' またはtag1 = 'y' を満たすtag_tbl_1テーブルからデータを取得し、tag2 = 'b' を満たすusersテーブルからデータを取得し、両方の条件を満たすデータを取得します。

SELECT user_group, RB_CARDINALITY(rb) FROM (
    SELECT
      t1.user_group AS user_group,
      RB_AND(rb1, rb2) AS rb
    FROM
      (
        SELECT
          user_group,
          RB_OR_AGG(rb) AS rb1
        FROM
          tag_tbl_1
        WHERE
          tag1 = 'x'
          OR tag1 = 'y'
        GROUP BY
          user_group
      ) AS t1
      JOIN (
        SELECT
          user_group,
          RB_BUILD_AGG(offset) AS rb2
        FROM
          users
        WHERE
          tag2 = 'b'
        GROUP BY
          user_group
      ) AS t2 ON t1.user_group = t2.user_group
  GROUP BY user_group);

サンプル結果:

+------------+--------------------+
| user_group | rb_cardinality(rb) |
+------------+--------------------+
|          3 |            2082370 |
|          1 |            2082291 |
|          0 |            2082383 |
|          4 |            2083290 |
|         11 |            2081662 |
|         13 |            2085280 |
...                              
|         14 |            2083581 |
|         15 |            2084110 |
|          9 |            2082847 |
|          8 |            2084860 |
|          5 |            2083056 |
|          7 |            2083275 |
+------------+--------------------+