MaxCompute：MaxCompute後付費消費突增排查

步驟一：擷取Information Schema服務

MaxCompute對專案內已完成的作業歷史，保留近14天資料。如果您時常有查詢14天以前的資料需求，建議定時備份中繼資料至您的專案中。如果您更多是臨時查詢14天以內的作業運行歷史，可以忽略此步驟。

1. 登入MaxCompute用戶端，執行如下命令建立中繼資料備份表。

   --project_name為MaxCompute專案名稱。
   --建立tasks_history備份表。
   create table if not exists <project_name>.tasks_history
   (
       task_catalog STRING
       ,task_schema STRING
       ,task_name STRING
       ,task_type STRING
       ,inst_id STRING
       ,status STRING
       ,owner_id STRING
       ,owner_name STRING
       ,result STRING
       ,start_time DATETIME
       ,end_time DATETIME
       ,input_records BIGINT
       ,output_records BIGINT
       ,input_bytes BIGINT
       ,output_bytes BIGINT
       ,input_tables STRING
       ,output_tables STRING
       ,operation_text STRING
       ,signature STRING
       ,complexity DOUBLE
       ,cost_cpu DOUBLE
       ,cost_mem DOUBLE
       ,settings STRING
       ,ds STRING
   );
   --建立tunnels_history備份表
   create table if not exists <project_name>.tunnels_history
   (
   tunnel_catalog  string
   ,tunnel_schema   string
   ,session_id      string
   ,operate_type    string
   ,tunnel_type     string
   ,request_id      string
   ,object_name     string
   ,partition_spec  string
   ,data_size       bigint
   ,block_id        bigint
   ,offset          bigint
   ,length          bigint
   ,owner_id        string 
   ,owner_name      string 
   ,start_time      datetime
   ,end_time        datetime 
   ,client_ip       string 
   ,user_agent      string 
   ,object_type     string 
   ,columns         string 
   ,ds  string
   );

2. 進入DataWorks資料開發介面，建立ODPS SQL節點（history_backup）並配置定時調度，用於定時將資料寫入備份表tasks_history和tunnels_history。完成後單擊左上方表徵圖儲存。

   建立ODPS SQL節點操作，請參見建立ODPS SQL節點。

   ODPS SQL節點啟動並執行命令樣本如下：

   --project_name為MaxCompute專案名稱。 
   use <project_name>; 
   --備份tasks_history。
   insert into table <project_name>.tasks_history 
   select task_catalog,task_schema ,task_name,task_type STRING,inst_id,`status`,owner_id,owner_name,result,start_time,end_time,input_records,output_records,input_bytes,output_bytes,input_tables,output_tables,operation_text,signature,complexity,cost_cpu,cost_mem,settings,ds from information_schema.tasks_history where ds ='${datetime1}';
   --備份tunnels_history。
   insert into table <project_name>.tunnels_history 
   select tunnel_catalog,tunnel_schema,session_id,operate_type,tunnel_type,request_id,object_name,partition_spec,data_size,block_id,offset,length,owner_id,owner_name,start_time,end_time,client_ip,user_agent,object_type,columns,ds from information_schema.tunnels_history where ds ='${datetime1}';

   ${datetime1}為DataWorks的調度參數，您需要在ODPS SQL節點右側，單擊調度配置，在基礎屬性地區配置參數值為datetime1=${yyyymmdd}。

   說明

   如果需要同時對多個MaxCompute專案的中繼資料進行統計分析，您可以建立多個ODPS SQL節點，將這些MaxCompute專案的中繼資料寫入到同一張資料備份表中。

SQL作業計算費用高出預期

SQL作業整體消費較高（包含外部表格作業），可能是單條作業消費異常，也可能由於重複執行或調度屬性配置不合理造成作業量突增。

--分析作業增長趨勢。
SELECT  signature
        ,ds
        ,COUNT(*) AS tasknum
FROM    information_schema.tasks_history 
--如果是查詢14天前的中繼資料，需要查詢通過步驟三備份的表，表名為<project_name>.tasks_history
where   task_type = 'SQL' OR task_type = 'SQLRT'
AND ds >= '待查詢的日期分區'
GROUP BY ds
         ,signature
ORDER BY tasknum DESC
LIMIT   10000
;

--確認異常的signature，查看對應的SQL作業近期執行情況
SELECT  *
FROM    information_schema.tasks_history 
--如果是查詢14天前的中繼資料，需要查詢通過步驟三備份的表，表名為<project_name>.tasks_history
where   signature = '異常signature'
AND ds >= '待查詢的日期分區'
;

Spark計算費用高出預期

Spark作業整體消費較高，可以通過查詢消費異常的作業inst_id，查看具體的執行資訊。

1. 登入MaxCompute用戶端，使用use命令切換到步驟四找出的高額消費的專案，通過TASKS_HISTORY查詢作業消費情況，命令樣本如下。

   --開啟2.0資料類型開關。2.0資料類型詳情，請參見2.0資料類型版本。
   set odps.sql.decimal.odps2=true;
   select  inst_id --執行個體id
   ,cost_cpu --作業CPU消耗（100表示1 core×s。例如：10 core運行5s，cost_cpu為10×100×5=5000）。
   ,cast(cost_cpu/100/3600 * 0.66 as DECIMAL(18,5) ) cost_sum
   from    information_schema.tasks_history 
   --如果是查詢14天前的中繼資料，需要查詢通過步驟三備份的表，表名為<project_name>.tasks_history
   where   task_type = 'CUPID' and status='Terminated'
   AND ds = '待查詢的日期分區'
   ORDER BY cost_sum DESC
   LIMIT 10000
   ;

   說明

   • Spark作業當日計算費用 = 當日總計算時×單價（0.1041 USD/Hour/Task）。

   • task_type = 'CUPID'表示Spark作業。

2. 根據inst_id，查看具體的執行資訊，命令樣本如下。

   select operation_text from information_schema.tasks_history 
   where ds='任務執行所在日期分區' and inst_id='<inst_id>';