Hologres：Portrait analysis - BSI最佳化方案（Beta）

• 未經處理資料格式

• Bitmap格式：通過rb_tag表描述使用者基礎屬性標籤和uid的Bitmap關係，使用tag_name區分省份、性別等不同的標籤。

  

• BSI格式（位切片構建）：通過bsi_gmv表描述使用者行為標籤值和uid的BSI關係，針對標籤值的二進位表示，記錄每一位切片對應的uid Bitmap，共計4個切片。

BSI表設計

表DDL語句如下：

• 使用者原始屬性標籤表

  CREATE TABLE dws_userbase (
      uid int NOT NULL PRIMARY KEY,
      province text,
      gender text
      ...     -- 其他屬性列
  )
  WITH (
      distribution_key = 'uid'
  );

• 使用者uid字典編碼錶

  CREATE TABLE dws_uid_dict (
      encode_uid serial,
      uid int PRIMARY KEY
  );

• 使用者原始行為標籤表

  CREATE TABLE usershop_behavior (
      uid int NOT NULL,
      gmv int
  )
  WITH (
      distribution_key = 'uid'
  );

• Roaring Bitmap表示的使用者屬性標籤表

  CREATE TABLE rb_tag (
      tag_name text,
      tag_val text,
      bitmap roaringbitmap
  );

• BSI表示的使用者行為標籤表（GMV）

  CREATE TABLE bsi_gmv (

  gmv_bsi bsi

  CREATE TABLE bsi_gmv (
      gmv_bsi bsi
  );

資料匯入

• 通過原始屬性標籤表和uid字典編碼錶產生屬性標籤Roaring Bitmap資料並分桶

  INSERT INTO rb_tag
  SELECT
      'province',
      province,
      rb_build_agg (b.encode_uid) AS bitmap
  FROM
      dws_userbase a
      JOIN dws_uid_dict b ON a.uid = b.uid
  GROUP BY
      province;
  
  INSERT INTO rb_tag
  SELECT
      'gender',
      gender,
      rb_build_agg (b.encode_uid) AS bitmap
  FROM
      dws_userbase a
      JOIN dws_uid_dict b ON a.uid = b.uid
  GROUP BY
      gender;

• 通過原始行為標籤表和uid字典編碼錶產生行為標籤BSI資料並分桶

  INSERT INTO bsi_gmv
  SELECT
      bsi_build(array_agg(b.encode_uid),array_agg(a.gmv)) AS bitmap
  FROM
      usershop_behavior a
      JOIN dws_uid_dict b ON a.uid = b.uid
  ;

Portrait analysis

通過BSI，可以非常便捷的將人群的屬性標籤和行為標籤關聯分析，包括人群圈選後的行為標籤洞察、基於行為標籤過濾的人群圈選等多個情境，樣本如下：

BSI表設計

表DDL語句如下：

• Roaring Bitmap表示的使用者屬性標籤表並分桶

  CREATE TABLE rb_tag (
      tag_name text,
      tag_val text,
      bucket int,
      bitmap roaringbitmap
  )
  WITH (
      distribution_key = 'bucket' -- 將分桶編號作為distribution_key
  );

• BSI表示的使用者行為標籤表（GMV）並分桶

  CREATE TABLE bsi_gmv (
      category text,
      bucket int,
      gmv_bsi bsi,
      ds date
  )
  WITH (
      distribution_key = 'bucket' -- 將分桶編號作為distribution_key
  );

資料匯入

• 通過原始屬性標籤表和uid字典編碼錶產生屬性標籤Roaring Bitmap資料並分桶

  INSERT INTO rb_tag
  SELECT
      'province',
      province,
      encode_uid / 65536 AS "bucket",
      rb_build_agg (b.encode_uid) AS bitmap
  FROM
      dws_userbase a
      JOIN dws_uid_dict b ON a.uid = b.uid
  GROUP BY
      province,
      "bucket";
  
  INSERT INTO rb_tag
  SELECT
      'gender',
      gender,
      encode_uid / 65536 AS "bucket",
      rb_build_agg (b.encode_uid) AS bitmap
  FROM
      dws_userbase a
      JOIN dws_uid_dict b ON a.uid = b.uid
  GROUP BY
      gender,
      "bucket";

• 通過原始行為標籤表和uid字典編碼錶產生行為標籤BSI資料並分桶

  INSERT INTO bsi_gmv
  SELECT
      a.category,
      b.encode_uid / 65536 AS "bucket",
      bsi_build(array_agg(b.encode_uid),array_agg(a.gmv)) AS bitmap,
      a.ds
  FROM
      usershop_behavior a
      JOIN dws_uid_dict b ON a.uid = b.uid
  WHERE
      ds = CURRENT_DATE - interval '1 day'
  GROUP BY
      category,
      "bucket",
      ds;