大数据开发治理平台 DataWorks：加工数据

1. 编辑代码

在业务流程面板中，双击打开dwd_log_info_di节点，并配置如下代码，DataWorks通过${变量名}格式定义代码变量。其中代码中的${bizdate}为代码变量，该变量将在后续步骤2中为其赋值。

-- 场景：以下SQL使用函数getregion对原始日志数据中的ip进行解析，并通过正则等方式，将原始数据拆解为可分析字段写入并写入dwd_log_info_di表。
--      本案例已为您准备好用于将IP解析为地域的函数getregion。
-- 补充：
--     1. 在DataWorks节点中使用函数前，您需要先将注册函数所需资源上传至DataWorks，再通过可视化方式使用该资源注册函数，详见：https://www.alibabacloud.com/help/zh/dataworks/user-guide/create-and-use-maxcompute-resources
--        本案例注册函数getregion所用的资源为ip2region.jar。
--     2. DataWorks提供调度参数，可实现调度场景下，将每日增量数据写入目标表对应业务分区。
--        在实际开发场景下，您可通过${变量名}格式定义代码变量，并在调度配置页面通过为变量赋值调度参数的方式，实现调度场景下代码动态入参。
INSERT OVERWRITE TABLE dwd_log_info_di PARTITION (dt='${bizdate}')
SELECT ip 
  , uid
  , time
  , status
  , bytes 
  , getregion(ip) AS region --使用自定义UDF通过IP得到地域。
  , regexp_substr(request, '(^[^ ]+ )') AS method --通过正则把request差分为3个字段。
  , regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') AS url
  , regexp_substr(request, '([^ ]+$)') AS protocol 
  , regexp_extract(referer, '^[^/]+://([^/]+){1}') AS referer --通过正则清晰refer，得到更精准的URL。
  , CASE
    WHEN TOLOWER(agent) RLIKE 'android' THEN 'android' --通过agent得到终端信息和访问形式。
    WHEN TOLOWER(agent) RLIKE 'iphone' THEN 'iphone'
    WHEN TOLOWER(agent) RLIKE 'ipad' THEN 'ipad'
    WHEN TOLOWER(agent) RLIKE 'macintosh' THEN 'macintosh'
    WHEN TOLOWER(agent) RLIKE 'windows phone' THEN 'windows_phone'
    WHEN TOLOWER(agent) RLIKE 'windows' THEN 'windows_pc'
    ELSE 'unknown'
  END AS device
  , CASE
    WHEN TOLOWER(agent) RLIKE '(bot|spider|crawler|slurp)' THEN 'crawler'
    WHEN TOLOWER(agent) RLIKE 'feed'
    OR regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') RLIKE 'feed' THEN 'feed'
    WHEN TOLOWER(agent) NOT RLIKE '(bot|spider|crawler|feed|slurp)'
    AND agent RLIKE '^[Mozilla|Opera]'
    AND regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') NOT RLIKE 'feed' THEN 'user'
    ELSE 'unknown'
  END AS identity
  FROM (
    SELECT SPLIT(col, '##@@')[0] AS ip
    , SPLIT(col, '##@@')[1] AS uid
    , SPLIT(col, '##@@')[2] AS time
    , SPLIT(col, '##@@')[3] AS request
    , SPLIT(col, '##@@')[4] AS status
    , SPLIT(col, '##@@')[5] AS bytes
    , SPLIT(col, '##@@')[6] AS referer
    , SPLIT(col, '##@@')[7] AS agent
  FROM ods_raw_log_d 
  WHERE dt ='${bizdate}'
) a;

2. 配置调度属性

通过以下配置实现调度场景下，每日00:15待上游ods_raw_log_d节点将存储于OSS的user_log.txt数据同步至MaxCompute的ods_raw_log_d表后，可触发当前dwd_log_info_di节点对ods_raw_log_d表数据进行加工，加工结果写入dwd_log_info_di表对应业务时间分区。

• 配置调度参数：为代码中的变量bizdate赋值$[yyyymmdd-1]，获取前一天的日期。

• 配置定时调度时间：配置调度周期为日，无需单独配置当前节点定时调度时间，当前节点每日调起时间由业务流虚拟节点workshop_start的定时调度时间控制，即每日00:15后才会调度。

• 配置依赖关系：通过代码自动解析自动将产出ods_raw_log_d表数据的ods_raw_log_d节点设置为当前节点dwd_log_info_di的上游依赖。将dwd_log_info_di表作为节点输出，方便下游查询该表数据时自动挂上当前节点依赖。

  说明

  DataWorks节点输出是其他节点与当前节点建立依赖关系的媒介。DataWorks通过将上游节点的节点输出作为下游节点的节点输入，形成节点间的依赖关系。

  • 系统会为每个节点自动生成两个输出名，格式分别为：projectName.randomNumber_out、projectName.nodeName_out。

  • 如果使用自动解析功能，系统将根据代码解析结果为节点生成输出名，格式为：projectName.tableName。

3. 保存配置

本案例其他必填配置项，您可按需自行配置，配置完成后，在节点代码编辑页面，单击工具栏中的按钮，保存当前配置。

1. 编辑代码

在业务流程面板中，双击打开dws_user_info_all_di节点，并配置如下代码，DataWorks通过${变量名}格式定义代码变量。其中代码中的${bizdate}为代码变量，该变量将在后续步骤2中为其赋值。

-- 场景：将加工后的日志数据dwd_log_info_di与用户基本信息数据ods_user_info_d汇总写入dws_user_info_all_di表。
-- 补充：DataWorks提供调度参数，可实现调度场景下，将每日增量数据写入目标表对应业务分区。
--      在实际开发场景下，您可通过${变量名}格式定义代码变量，并在调度配置页面通过为变量赋值调度参数的方式，实现调度场景下代码动态入参。
INSERT OVERWRITE TABLE dws_user_info_all_di PARTITION (dt='${bizdate}')
SELECT COALESCE(a.uid, b.uid) AS uid
  , b.gender
  , b.age_range
  , b.zodiac
  , a.region
  , a.device
  , a.identity
  , a.method
  , a.url
  , a.referer
  , a.time
FROM (
  SELECT *
  FROM dwd_log_info_di 
  WHERE dt = '${bizdate}'
) a
LEFT OUTER JOIN (
  SELECT *
  FROM ods_user_info_d
  WHERE dt = '${bizdate}'
) b
ON a.uid = b.uid;

2. 配置调度属性

通过以下配置实现调度场景下，每日00:15待上游MySQL用户基本数据通过数据集成同步至MaxCompute的ods_user_info_d表，以及dwd_log_info_di节点对ods_raw_log_d表加工完成后，将其汇总写入dws_user_info_all_di表对应业务分区。

• 配置调度参数：为代码中的变量bizdate赋值$[yyyymmdd-1]，获取前一天的日期。

  

• 配置定时调度时间：配置调度周期为日，无需单独配置当前节点定时调度时间，当前节点每日起调时间由业务流虚拟节点workshop_start的定时调度时间控制，即每日00:15分后才会调度。

• 配置依赖关系：通过代码自动解析自动将产出dwd_log_info_di和ods_user_info_d表数据的节点dwd_log_info_di、ods_user_info_d作为当前节点dws_user_info_all_di的上游依赖。将节点产出表dws_user_info_all_di作为节点输出，方便下游查询该表数据时自动挂上当前节点依赖。

  

3. 保存配置

本案例其他必填配置项，您可按需自行配置，配置完成后，在节点代码编辑页面，单击工具栏中的按钮，保存当前配置。

1. 编辑代码

在业务流程面板中，双击打开ads_user_info_1d节点，并配置如下代码，DataWorks通过${变量名}格式定义代码变量。其中代码中的${bizdate}为代码变量，该变量将在后续步骤2中为其赋值。

-- 场景：以下SQL用于对用户访问信息宽表dws_user_info_all_di进一步加工产出基本的用户画像数据写入ads_user_info_1d表。
-- 补充：DataWorks提供调度参数，可实现调度场景下，将每日增量数据写入目标表对应业务分区。
--      在实际开发场景下，您可通过${变量名}格式定义代码变量，并在调度配置页面通过为变量赋值调度参数的方式，实现调度场景下代码动态入参。
INSERT OVERWRITE TABLE ads_user_info_1d PARTITION (dt='${bizdate}')
SELECT uid
  , MAX(region)
  , MAX(device)
  , COUNT(0) AS pv
  , MAX(gender)
  , MAX(age_range)
  , MAX(zodiac)
FROM dws_user_info_all_di
WHERE dt = '${bizdate}'
GROUP BY uid; 

2. 配置调度属性

为实现周期调度，我们需要定义任务周期调度的相关属性。

• 配置调度参数：为代码中的变量bizdate赋值$[yyyymmdd-1]，获取前一天的日期。

  

• 配置定时调度时间：无需单独配置当前节点定时调度时间，当前节点每日起调时间由业务流程虚拟节点workshop_start的定时调度时间控制，即每日00:15分后才会调度。

• 配置依赖关系：通过代码自动解析自动根据节点血缘关系配置节点上下游依赖关系，即将产出dws_user_info_all_1d表数据的dws_user_info_all_1d节点设置为当前节点ads_user_info_1d的上游。将节点产出表ads_user_info_1d作为节点输出，方便下游查询该表数据时自动挂上当前节点依赖。

3. 保存配置

本案例其他必填配置项，您可按需自行配置，配置完成后，在节点代码编辑页面，单击工具栏中的按钮，保存当前配置。