AnalyticDB：ROARING BITMAP函數

• 3.1.6.4及以上版本，支援在OSS外表中使用ROARING BITMAP類型及相關函數。

• 3.2.1.0及以上版本，支援在內表中使用ROARING BITMAP類型及相關函數。

在AnalyticDB for MySQL使用ROARING BITMAP函數，具體限制如下：

• 不支援直接SELECT某個ROARING BITMAP類型。如需查看ROARING BITMAP欄位中的元素，請用Unnest操作，如：

  SELECT * FROM unnest(RB_BUILD(ARRAY[1,2,3]));

• 3.2.1.0以下版本，ROARING BITMAP類型僅在OSS外表原生支援，不支援直接建立含有ROARING BITMAP類型列的表。如果查詢AnalyticDB for MySQL內表時使用ROARING BITMAP函數，需要使用rb_build_varbinary將VARBINARY類型轉換成ROARING BITMAP類型，如：

  // 定義內表
  CREATE TABLE test_rb_cstore (id INT, rb VARBINARY);
  
  // 通過ROARING BITMAPFunction Compute
  SELECT RB_CARDINALITY(RB_BUILD_VARBINARY(rb)) FROM test_rb_cstore;

如下內容將為您介紹ROARING BITMAP函數完整的使用樣本。

實踐過程中，需要將原始標籤錶轉化成ROARING BITMAP標籤表，然後進行ROARING BITMAP計算。流程如下圖所示：

在設計ROARING BITMAP標籤表時，可以利用分散式運算引擎的並發能力，建議引入一個分組欄位（本例中使用user_group），將uid分組並行計算。分組的大小可以根據叢集ACU總數和實際業務情況進行取捨，遵循以下原則：

• 一般分組越多計算能力越強，但是分組過多又會導致每個ROARING BITMAP欄位中的元素太少，不能充分利用Bitmap的計算特性。

• 實踐過程中建議保證每個分組的ROARING BITMAP空間中資料小於1億條。例如，原始的uid空間是100億，可以使用100個分組，每個分組空間為1億。

情境一：過濾篩選分析

情境一以分析tag1 in (x, y)的使用者在tag2維度柱狀圖為例。

1. 為了方便理解，先查詢出滿足tag1 in (x, y)條件的使用者。

   SELECT tag2, t1.user_group AS user_group, RB_CARDINALITY(RB_AND(t2.rb, rb1)) AS rb FROM tag_tbl_2 AS t2
   JOIN (
   SELECT user_group, rb AS rb1 FROM tag_tbl_1 WHERE tag1 IN ('x', 'y'))
   AS t1
   ON t1.user_group = t2.user_group;

   返回結果如下：

   +------+------------+---------+
   | tag2 | user_group | rb      |
   +------+------------+---------+
   | b    |          3 | 1041828 |
   | a    |          15| 1039859 |
   | a    |          9 | 1039140 |
   | b    |          1 | 1041524 |
   | a    |          4 | 1041599 |
   | b    |          1 | 1041381 |
   | b    |          10| 1041026 |
   | b    |          6 | 1042289 |
   +------+------------+---------+

2. 查詢滿足tag1 in (x, y)的使用者在tag2維度柱狀圖。

   SELECT tag2, SUM(cnt) FROM ( 
   SELECT tag2, t1.user_group AS user_group, RB_CARDINALITY(RB_AND(t2.rb, rb1)) AS cnt FROM tag_tbl_2 AS t2
   JOIN (
   SELECT user_group, rb AS rb1 FROM tag_tbl_1 WHERE tag1 IN ('x', 'y'))
   AS t1
   ON t1.user_group = t2.user_group
   ) GROUP BY tag2;

   返回結果如下：

   +------+----------+
   | tag2 | sum(cnt) |
   +------+----------+
   | a    | 33327868 |
   | b    | 33335220 |
   +------+----------+

情境二：ROARING BITMAP標籤表交並差計算

從tag1的ROARING BITMAP標籤表tag_tbl_1讀取滿足tag1 = 'x' or tag1 = 'y'條件的資料，從tag2的ROARING BITMAP標籤表tag_tbl_2讀取滿足tag2 = 'b'條件的資料，對兩個標籤表的資料進行交並差計算，得到同時滿足tag1 = 'x' or tag1 = 'y'且tag2 = 'b'的使用者。

SELECT user_group, RB_CARDINALITY(rb) FROM (
    SELECT
      t1.user_group AS user_group,
      RB_AND(rb1, rb2) AS rb
    FROM
      (
        SELECT
          user_group,
          RB_OR_AGG(rb) AS rb1
        FROM
          tag_tbl_1
        WHERE
          tag1 = 'x'
          OR tag1 = 'y'
        GROUP BY
          user_group
      ) AS t1
      JOIN (
        SELECT
          user_group,
          RB_OR_AGG(rb) AS rb2
        FROM
          tag_tbl_2
        WHERE
          tag2 = 'b'
        GROUP BY
          user_group
      ) AS t2 ON t1.user_group = t2.user_group
  GROUP BY user_group);

返回結果如下：

+------------+--------------------+
| user_group | rb_cardinality(rb) |
+------------+--------------------+
|         10 |            2083679 |
|          3 |            2082370 |
|          9 |            2082847 |
|          2 |            2086511 |
...                              
|          1 |            2082291 |
|          4 |            2083290 |
|         14 |            2083581 |
|         15 |            2084110 |
+------------+--------------------+

情境三：原始標籤表和ROARING BITMAP標籤表交並差計算

從tag1的ROARING BITMAP標籤表tag_tbl_1讀取滿足tag1 = 'x' or tag1 = 'y'條件的資料，從原始標籤表users讀取滿足tag2 = 'b'條件的資料，對兩個標籤表的資料進行交並差計算，得到同時滿足tag1 = 'x' or tag1 = 'y'且tag2 = 'b'的資料。

SELECT user_group, RB_CARDINALITY(rb) FROM (
    SELECT
      t1.user_group AS user_group,
      RB_AND(rb1, rb2) AS rb
    FROM
      (
        SELECT
          user_group,
          RB_OR_AGG(rb) AS rb1
        FROM
          tag_tbl_1
        WHERE
          tag1 = 'x'
          OR tag1 = 'y'
        GROUP BY
          user_group
      ) AS t1
      JOIN (
        SELECT
          user_group,
          RB_BUILD_AGG(offset) AS rb2
        FROM
          users
        WHERE
          tag2 = 'b'
        GROUP BY
          user_group
      ) AS t2 ON t1.user_group = t2.user_group
  GROUP BY user_group);

返回結果如下：

+------------+--------------------+
| user_group | rb_cardinality(rb) |
+------------+--------------------+
|          3 |            2082370 |
|          1 |            2082291 |
|          0 |            2082383 |
|          4 |            2083290 |
|         11 |            2081662 |
|         13 |            2085280 |
...                              
|         14 |            2083581 |
|         15 |            2084110 |
|          9 |            2082847 |
|          8 |            2084860 |
|          5 |            2083056 |
|          7 |            2083275 |
+------------+--------------------+