大数据开发治理平台 DataWorks：加工数据

新建dwd_log_info_di_odps表

双击dwd_log_info_di_odps表，在右侧的编辑页面单击DDL，输入下述建表语句。

CREATE TABLE IF NOT EXISTS dwd_log_info_di_odps (
 ip STRING COMMENT 'ip地址',
 uid STRING COMMENT '用户ID',
 time STRING COMMENT '时间yyyymmddhh:mi:ss',
 status STRING COMMENT '服务器返回状态码',
 bytes STRING COMMENT '返回给客户端的字节数',
 region STRING COMMENT '地域，根据ip得到',
 method STRING COMMENT 'http请求类型',
 url STRING COMMENT 'url',
 protocol STRING COMMENT 'http协议版本号',
 referer STRING COMMENT '来源url',
 device STRING COMMENT '终端类型 ',
 identity STRING COMMENT '访问类型 crawler feed user unknown'
)
PARTITIONED BY (
 dt STRING
)
LIFECYCLE 14;

新建dws_user_info_all_di_odps表

双击dws_user_info_all_di_odps表，在右侧的编辑页面单击DDL，输入下述建表语句。

CREATE TABLE IF NOT EXISTS dws_user_info_all_di_odps (
 uid STRING COMMENT '用户ID',
 gender STRING COMMENT '性别',
 age_range STRING COMMENT '年龄段',
 zodiac STRING COMMENT '星座',
 region STRING COMMENT '地域，根据ip得到',
 device STRING COMMENT '终端类型 ',
 identity STRING COMMENT '访问类型 crawler feed user unknown',
 method STRING COMMENT 'http请求类型',
 url STRING COMMENT 'url',
 referer STRING COMMENT '来源url',
 time STRING COMMENT '时间yyyymmddhh:mi:ss'
)
PARTITIONED BY (
 dt STRING
)
LIFECYCLE 14;

新建ads_user_info_1d_odps表

双击ads_user_info_1d_odps表，在右侧的编辑页面单击DDL，输入下述建表语句。

CREATE TABLE IF NOT EXISTS ads_user_info_1d_odps (
 uid STRING COMMENT '用户ID',
 region STRING COMMENT '地域，根据ip得到',
 device STRING COMMENT '终端类型 ',
 pv BIGINT COMMENT 'pv',
 gender STRING COMMENT '性别',
 age_range STRING COMMENT '年龄段',
 zodiac STRING COMMENT '星座'
)
PARTITIONED BY (
 dt STRING
)
LIFECYCLE 14;    

配置dwd_log_info_di_odps节点

在业务流程面板，双击dwd_log_info_di_odps节点，利用创建的函数处理上游表ods_raw_log_d_odps字段的SQL代码，并将其写入dwd_log_info_di_odps表中，数据加工展示可参考：附录：加工示例。

1. 编辑代码。

   -- 场景：以下SQL使用函数getregion对原始日志数据中的ip进行解析，并通过正则等方式，将原始数据拆解为可分析字段写入并写入dwd_log_info_di_odps表。
   --      本案例已为您准备好用于将IP解析为地域的函数getregion。
   -- 补充：
   --     1. 在DataWorks节点中使用函数前，您需要先将注册函数所需资源上传至DataWorks，再通过可视化方式使用该资源注册函数。
   --        本案例注册函数getregion所用的资源为ip2region.jar。
   --     2. DataWorks提供调度参数，可实现调度场景下，将每日增量数据写入目标表对应业务分区。
   --        在实际开发场景下，您可通过${变量名}格式定义代码变量，并在调度配置页面通过为变量赋值调度参数的方式，实现调度场景下代码动态入参。
   INSERT OVERWRITE TABLE dwd_log_info_di_odps PARTITION (dt='${bizdate}')
   SELECT ip 
     , uid
     , time
     , status
     , bytes 
     , getregion(ip) AS region --使用自定义UDF通过IP得到地域。
     , regexp_substr(request, '(^[^ ]+ )') AS method --通过正则把request差分为3个字段。
     , regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') AS url
     , regexp_substr(request, '([^ ]+$)') AS protocol 
     , regexp_extract(referer, '^[^/]+://([^/]+){1}') AS referer --通过正则清晰refer，得到更精准的URL。
     , CASE
       WHEN TOLOWER(agent) RLIKE 'android' THEN 'android' --通过agent得到终端信息和访问形式。
       WHEN TOLOWER(agent) RLIKE 'iphone' THEN 'iphone'
       WHEN TOLOWER(agent) RLIKE 'ipad' THEN 'ipad'
       WHEN TOLOWER(agent) RLIKE 'macintosh' THEN 'macintosh'
       WHEN TOLOWER(agent) RLIKE 'windows phone' THEN 'windows_phone'
       WHEN TOLOWER(agent) RLIKE 'windows' THEN 'windows_pc'
       ELSE 'unknown'
     END AS device
     , CASE
       WHEN TOLOWER(agent) RLIKE '(bot|spider|crawler|slurp)' THEN 'crawler'
       WHEN TOLOWER(agent) RLIKE 'feed'
       OR regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') RLIKE 'feed' THEN 'feed'
       WHEN TOLOWER(agent) NOT RLIKE '(bot|spider|crawler|feed|slurp)'
       AND agent RLIKE '^[Mozilla|Opera]'
       AND regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') NOT RLIKE 'feed' THEN 'user'
       ELSE 'unknown'
     END AS identity
     FROM (
       SELECT SPLIT(col, '##@@')[0] AS ip
       , SPLIT(col, '##@@')[1] AS uid
       , SPLIT(col, '##@@')[2] AS time
       , SPLIT(col, '##@@')[3] AS request
       , SPLIT(col, '##@@')[4] AS status
       , SPLIT(col, '##@@')[5] AS bytes
       , SPLIT(col, '##@@')[6] AS referer
       , SPLIT(col, '##@@')[7] AS agent
     FROM ods_raw_log_d_odps  
     WHERE dt ='${bizdate}'
   ) a;

2. 配置调度属性。

   配置页面单击右侧调度配置，可进入调度配置面板配置调度与节点信息，详情可参见任务调度配置。以下为配置的内容：

   配置项	配置内容	图示
   调度参数	在调度参数配置参数： 参数名：bizdate。 参数值：$[yyyymmdd-1]。
   时间属性	调度周期：日。 定时调度时间：00:30。 重跑属性：运行成功或失败后皆可重跑。 其余参数保持默认即可。 说明 当前节点每日起调时间由业务流程虚拟节点workshop_start的定时调度时间控制，即每日00:30后才会调度。
   资源属性	选择准备环境阶段创建的Serverless资源组。
   调度依赖	通过代码自动解析自动将产出ods_raw_log_d_odps表数据的ods_raw_log_d_odps节点设置为当前节点dwd_log_info_di_odps的上游依赖。将dwd_log_info_di_odps表作为节点输出，方便下游查询该表数据时自动挂上当前节点依赖。

   说明

   依赖的上游节点：单击代码解析输入输出按钮，会根据代码中的表名解析到上游节点配置的MaxCompute生产项目名称.表名的输出节点名作为上游节点输出名。

   本节点输出名称：单击代码解析输入输出按钮，会根据代码中的表名解析生成本节点生成MaxCompute生产项目名称.表名格式的输出名，输出给下游节点。

3. 本案例其他必填配置项，您可按需自行配置，配置完成后，在节点代码编辑页面，单击工具栏中的按钮，保存当前配置。

配置dws_user_info_all_di_odps节点

在业务流程面板中，双击dws_user_info_all_di_odps节点，编写合并上游表dwd_log_info_di_odps和ods_user_info_d_odps的SQL代码，写入dws_user_info_all_di_odps表中。

1. 编辑代码。

   -- 场景：将加工后的日志数据dwd_log_info_di_odps与用户基本信息数据ods_user_info_d_odps汇总写入dws_user_info_all_di_odps表。
   -- 补充：DataWorks提供调度参数，可实现调度场景下，将每日增量数据写入目标表对应业务分区。
   --      在实际开发场景下，您可通过${变量名}格式定义代码变量，并在调度配置页面通过为变量赋值调度参数的方式，实现调度场景下代码动态入参。
   INSERT OVERWRITE TABLE dws_user_info_all_di_odps  PARTITION (dt='${bizdate}')
   SELECT COALESCE(a.uid, b.uid) AS uid
     , b.gender
     , b.age_range
     , b.zodiac
     , a.region
     , a.device
     , a.identity
     , a.method
     , a.url
     , a.referer
     , a.time
   FROM (
     SELECT *
     FROM dwd_log_info_di_odps  
     WHERE dt = '${bizdate}'
   ) a
   LEFT OUTER JOIN (
     SELECT *
     FROM ods_user_info_d_odps 
     WHERE dt = '${bizdate}'
   ) b
   ON a.uid = b.uid;

2. 配置调度属性。

   配置页面单击右侧调度配置，可进入调度配置面板配置调度与节点信息，详情可参见任务调度配置。以下为配置的内容：

   配置项	配置内容	图示
   调度参数	在调度参数配置参数： 参数名：bizdate 参数值：$[yyyymmdd-1]
   时间属性	调度周期：日。 定时调度时间：00:30。 重跑属性：运行成功或失败后皆可重跑。 其余参数保持默认即可。 说明 当前节点每日起调时间由业务流程虚拟节点workshop_start的定时调度时间控制，即每日00:30后才会调度。
   资源属性	选择准备环境阶段创建的Serverless资源组。
   调度依赖	通过代码自动解析自动将产出dwd_log_info_di_odps和ods_user_info_d_odps表数据的节点dwd_log_info_di_odps、ods_user_info_d_odps作为当前节点dws_user_info_all_di_odps的上游依赖。将节点产出表dws_user_info_all_di_odps作为节点输出，方便下游查询该表数据时自动挂上当前节点依赖。

   说明

   依赖的上游节点：单击代码解析输入输出按钮，会根据代码中的表名解析到上游节点配置的MaxCompute生产项目名称.表名的输出节点名作为上游节点输出名。

   本节点输出名称：单击代码解析输入输出按钮，会根据代码中的表名解析生成本节点生成MaxCompute生产项目名称.表名格式的输出名，输出给下游节点。

3. 本案例其他必填配置项，您可按需自行配置，配置完成后，在节点代码编辑页面，单击工具栏中的按钮，保存当前配置。

配置ads_user_info_1d_odps节点

在业务流程面板中，双击ads_user_info_1d_odps节点，编写SQL代码，对上游的dws_user_info_all_di_odps表进行加工处理，并将结果写入ads_user_info_1d_odps表中。

1. 编辑代码。

   -- 场景：以下SQL用于对用户访问信息宽表dws_user_info_all_di_odps进一步加工产出基本的用户画像数据写入ads_user_info_1d_odps表。
   -- 补充：DataWorks提供调度参数，可实现调度场景下，将每日增量数据写入目标表对应业务分区。
   --      在实际开发场景下，您可通过${变量名}格式定义代码变量，并在调度配置页面通过为变量赋值调度参数的方式，实现调度场景下代码动态入参。
   INSERT OVERWRITE TABLE ads_user_info_1d_odps  PARTITION (dt='${bizdate}')
   SELECT uid
     , MAX(region)
     , MAX(device)
     , COUNT(0) AS pv
     , MAX(gender)
     , MAX(age_range)
     , MAX(zodiac)
   FROM dws_user_info_all_di_odps 
   WHERE dt = '${bizdate}'
   GROUP BY uid; 

2. 配置调度属性。

   配置页面单击右侧调度配置，可进入调度配置面板配置调度与节点信息，详情可参见任务调度配置。以下为配置的内容：

   配置项	配置内容	图示
   调度参数	在调度参数配置参数： 参数名：bizdate。 参数值：$[yyyymmdd-1]。
   时间属性	调度周期：日。 定时调度时间：00:30。 重跑属性：运行成功或失败后皆可重跑。 其余参数保持默认即可。 说明 当前节点每日起调时间由业务流程虚拟节点workshop_start的定时调度时间控制，即每日00:30后才会调度。
   资源属性	选择准备环境阶段创建的Serverless资源组。
   调度依赖	通过代码自动解析自动根据节点血缘关系配置节点上下游依赖关系，即将产出dws_user_info_all_1d_odps表数据的dws_user_info_all_1d_odps节点设置为当前节点ads_user_info_1d_odps的上游。将节点产出表ads_user_info_1d作为节点输出，方便下游查询该表数据时自动挂上当前节点依赖。

   说明

   依赖的上游节点：单击代码解析输入输出按钮，会根据代码中的表名解析到上游节点配置的MaxCompute生产项目名称.表名的输出节点名作为上游节点输出名。

   本节点输出名称：单击代码解析输入输出按钮，会根据代码中的表名解析生成本节点生成MaxCompute生产项目名称.表名格式的输出名，输出给下游节点。

3. 本案例其他必填配置项，您可按需自行配置，配置完成后，在节点代码编辑页面，单击工具栏中的按钮，保存当前配置。