MaxCompute：MaxCompute賬單用量明細分析

背景資訊

MaxCompute是一款巨量資料分析平台，其計算資源的計費方式分為訂用帳戶和隨用隨付兩種。MaxCompute每天以專案為維度進行計費，賬單會在第二天06:00前產生。更多MaxCompute計量計費資訊，請參見計費項目與計費方式概述。

步驟一：下載用量明細

步驟二（可選）：上傳用量詳細資料至MaxCompute

1. 使用MaxCompute用戶端（odpscmd）按如下樣本語句建立maxcomputefee表。

   CREATE TABLE IF NOT EXISTS maxcomputefee 
   (
       projectid STRING COMMENT '專案編號'
       ,feeid STRING COMMENT '計費資訊編號'
       ,meteringtime STRING COMMENT '檔案表頭（MeteringTime）'
       ,type STRING COMMENT '資料分類，包括Storage、ComputationSQL、DownloadEx等'
       ,starttime STRING COMMENT '開始時間'
       ,storage BIGINT COMMENT '儲存（Byte）'
       ,endtime STRING COMMENT '結束時間'
       ,computationsqlinput BIGINT COMMENT 'SQL/互動式分析讀取量（Byte）'
       ,computationsqlcomplexity DOUBLE COMMENT 'SQL複雜度'
       ,uploadex BIGINT COMMENT '公網上行流量Byte'
       ,download BIGINT COMMENT '公網下行流量Byte'
       ,cu_usage DOUBLE COMMENT 'MR/Spark作業計算（core*second）'
       ,Region STRING COMMENT '地區'
       ,input_ots BIGINT COMMENT '訪問OTS的資料輸入量'
       ,input_oss BIGINT COMMENT '訪問OSS的資料輸入量'
       ,source_id STRING COMMENT 'DataWorks調度任務ID'
       ,source_type STRING COMMENT '計算資源規格'
       ,RecycleBinStorage BIGINT COMMENT '備份儲存(Byte)'
       ,JobOwner STRING COMMENT '作業Owner'
       ,Signature STRING COMMENT 'SQL作業簽名'
   );

   賬單詳細欄位說明如下：

   • 專案編號：當前帳號或RAM使用者對應的阿里雲帳號的MaxCompute專案列表。

   • 計量資訊編號：以儲存、計算、上傳和下載的任務ID為計費資訊編號，SQL為InstanceID，上傳和下載為Tunnel SessionId。

   • 資料分類：Storage（儲存）、ComputationSql（計算）、UploadIn（內網上傳）、UploadEx（外網上傳）、DownloadIn（內網下載）、DownloadEx（外網下載）。按照計費規則只有紅色部分為實際計費項目。

   • 儲存（Byte）：每小時讀取的儲存量，單位為Byte。

   • 開始時間或結束時間：按照實際作業執行時間進行計量，只有儲存是按照每個小時取一次資料。

   • SQL/互動式分析讀取量（Byte）：SQL計算項，每一次SQL執行時SQL的Input資料量，單位為Byte。

   • SQL複雜度：SQL的複雜度，為SQL計費因子之一。

   • 公網上行流量（Byte）或公網下行流量（Byte）：分別為外網上傳或下載的資料量，單位為Byte。

   • MR/Spark作業計算（Core*Second）：MapReduce或Spark作業的計算時單位為Core*Second，需要轉換為計算時Hour。

   • SQL讀取量_訪問OTS（Byte）、SQL讀取量_訪問OSS（Byte）：外部表格實施收費後的讀取資料量，單位為Byte。

   • 備份儲存(Byte)：每小時讀取的備份儲存量，單位為Byte。

   • 地區：MaxCompute專案所在的地區。

   • 作業Owner：提交作業的使用者。

   • SQL作業簽名：用於標識SQL作業，主體內容一致、而多次重複或調度執行的SQL作業簽名一致。

2. 使用Tunnel上傳資料。

   在上傳CSV檔案時，您需確保CSV檔案中的列數、資料類型必須與表maxcomputefee的列數、資料類型保持一致，否則會匯入失敗。

   tunnel upload ODPS_2019-01-12_2019-01-14.csv maxcomputefee -c "UTF-8" -h "true" -dfp "yyyy-MM-dd HH:mm:ss";

   

   說明

   • Tunnel的配置詳情請參見Tunnel命令。

   • 您也可以通過DataWorks的資料匯入功能來執行此操作，具體請參見使用DataWorks（離線與即時）。

3. 執行如下語句驗證資料。

   SELECT * FROM maxcomputefee limit 10;

   

步驟三：分析賬單資料

分析SQL費用。

分析作業增長趨勢

分析儲存費用

• 通過Excel分析儲存收取1分錢的原因：

  開通MaxCompute進行試用，當前沒有業務在MaxCompute上運行，但是每天都有1分錢賬單，此問題一般是因為有存留資料在MaxCompute上儲存，且資料量不超過0.5 GB。

  查看資料分類中的Storage儲存計費項目，發現maxcompute_doc專案下儲存了508 Byte資料，如下圖所示。按照儲存費用計費規則，小於等於512 MB資料收取1分錢。如果這份資料只用於測試，您可以通過以下方式解決此問題。

  • 僅表資料不再使用，請執行Drop Table語句刪除Project下的表資料。

  • Project不再使用，請通過MaxCompute控制台的專案管理刪除專案。

• 通過Excel分析不足一天的資料存放區費用：

  1. 查看資料分類中的Storage儲存計費項目，會發現在alian專案下儲存了333507833900位元組資料，由於是8點上傳的資料，所以從09:07開始計量儲存費用，一共計量15小時。

     說明

     天計量範圍以當天的結束時間為準，所以最後一條資料不包括在4月4日賬單中。

  2. 按照儲存費用計費規則先計算24小時儲存平均值，再根據計費公式進行計算。

     --計算儲存平均值。
     333507833900 Byte×15/1024/1024/1024/24=194.127109076362103 GB
     
     --一天的儲存費用計算如下，結果保留4位小數。
     194.127109076362103GB×0.0006 USD/GB/天=0.1165 USD/天

• 通過SQL分析儲存費用的分布（已完成步驟二的資料匯入，產生maxcomputefee表）：

  --分析儲存費用。
  SELECT  t.ds
          ,t.projectid
          ,t.storage
          ,CASE    WHEN t.storage < 0.5 THEN t.storage*0.01     ---當專案的實際資料存放區量大於0 MB小於等於512MB時，計費單價為0.01元/GB/天
                   WHEN t.storage >= 0.5  THEN t.storage*0.004  ---當專案的實際資料存放區量大於512MB時，計費單價為0.004元/GB/天
          END storage_fee
  FROM    (
              SELECT  to_char(starttime,'yyyymmdd') as ds
                      ,projectid
                      ,SUM(storage/1024/1024/1024)/24 AS storage
              FROM    maxcomputefee
              WHERE   TYPE = 'Storage'
              and to_char(starttime,'yyyymmdd') >= '20190112'
              GROUP BY to_char(starttime,'yyyymmdd')
                       ,projectid
          ) t
  ORDER BY storage_fee DESC
  ;

  執行結果如下。根據執行結果可以分析得出如下結論：

  • 儲存在12日有一個增長的過程，但在14日出現降低。

  • 儲存最佳化，建議為表設定生命週期，刪除長期不使用的暫存資料表等。

• 通過SQL分析長期儲存、低頻儲存、長期儲存訪問和低頻儲存訪問的分布。（已完成步驟二的資料匯入，產生maxcomputefee表）：

  --分析長期儲存費用。
  SELECT  to_char(starttime,'yyyymmdd') as ds
          ,projectid
          ,SUM(storage/1024/1024/1024)/24*0.0011 AS longTerm_storage
    FROM  maxcomputefee
   WHERE  TYPE = 'ColdStorage'
     and  to_char(starttime,'yyyymmdd') >= '20190112'
  GROUP BY to_char(starttime,'yyyymmdd')
           ,projectid;
  
  --分析低頻儲存費用。
  SELECT  to_char(starttime,'yyyymmdd') as ds
          ,projectid
          ,SUM(storage/1024/1024/1024)/24*0.0011 AS lowFre_storage
    FROM  maxcomputefee
   WHERE  TYPE = 'LowFreqStorage'
     and  to_char(starttime,'yyyymmdd') >= '20190112'
  GROUP BY to_char(starttime,'yyyymmdd')
           ,projectid;
  
  --分析長期儲存訪問費用。
  SELECT  to_char(starttime,'yyyymmdd') as ds
          ,projectid
          ,SUM(computationsqlinput/1024/1024/1024)*0.522 AS longTerm_IO
    FROM  maxcomputefee
   WHERE  TYPE = 'SqlLongterm'
     and  to_char(starttime,'yyyymmdd') >= '20190112'
  GROUP BY to_char(starttime,'yyyymmdd')
           ,projectid;
  
  --分析低頻儲存訪問費用。
  SELECT  to_char(starttime,'yyyymmdd') as ds
          ,projectid
          ,SUM(computationsqlinput/1024/1024/1024)*0.522 AS lowFre_IO
    FROM  maxcomputefee
   WHERE  TYPE = 'SqlLowFrequency'
     and  to_char(starttime,'yyyymmdd') >= '20190112'
  GROUP BY to_char(starttime,'yyyymmdd')
           ,projectid;

分析下載費用

分析MapReduce作業消費

• 通過Excel分析：分析用量明細中資料分類為MapReduce的資料。按照計算資源規格分別對MapReduce作業費用進行計算及排序。MapReduce作業費用計算公式為（MR/Spark作業計算（Core*Second）/3600 × 單價（0.0690））。

• 通過SQL分析（已完成步驟二的資料匯入，產生maxcomputefee表）：

  --分析MapReduce作業消費。
  SELECT  TO_CHAR(starttime,'yyyymmdd') AS ds
          ,projectid
          ,(cu_usage/3600)*0.0690 AS mr_fee
  FROM    maxcomputefee
  WHERE   type = 'MapReduce'
  AND     TO_CHAR(starttime,'yyyymmdd') >= '20190112'
  GROUP BY TO_CHAR(starttime,'yyyymmdd')
           ,projectid
           ,cu_usage
  ORDER BY mr_fee DESC
  ;

分析外部表格作業（OTS和OSS）

• 通過Excel分析：分析用量明細中資料分類為ComputationSqlOTS、ComputationSqlOSS的資料。對SQL外部表格計算費用進行排序，費用計算公式為SQL/互動式分析讀取量（Byte）/1024/1024/1024 × 單價 ( 0.0044)。

• 通過SQL分析（已完成步驟二的資料匯入，產生maxcomputefee表）：

  --分析OTS外部表格SQL作業消費。
  SELECT  TO_CHAR(starttime,'yyyymmdd') AS ds
          ,projectid
          ,(computationsqlinput/1024/1024/1024)*1*0.03 AS ots_fee
  FROM    maxcomputefee
  WHERE   type = 'ComputationSqlOTS'
  AND     TO_CHAR(starttime,'yyyymmdd') >= '20190112'
  GROUP BY TO_CHAR(starttime,'yyyymmdd')
           ,projectid
           ,computationsqlinput
  ORDER BY ots_fee DESC
  ;
  
  --分析OSS外部表格SQL作業消費。
  SELECT  TO_CHAR(starttime,'yyyymmdd') AS ds
          ,projectid
          ,(computationsqlinput/1024/1024/1024)*1*0.03 AS oss_fee
  FROM    maxcomputefee
  WHERE   type = 'ComputationSqlOSS'
  AND     TO_CHAR(starttime,'yyyymmdd') >= '20190112'
  GROUP BY TO_CHAR(starttime,'yyyymmdd')
           ,projectid
           ,computationsqlinput
  ORDER BY oss_fee DESC
  ;

分析Spark計算費用

• 通過Excel分析：分用量明細中資料分類為spark的資料。對作業費用進行排序，計算公式為（MR/Spark作業計算（Core*Second）/3600 × 單價（0.1041））。

• 通過SQL分析（已完成步驟二的資料匯入，產生maxcomputefee表）：

  --分析Spark作業消費。
  SELECT  TO_CHAR(starttime,'yyyymmdd') AS ds
          ,projectid
          ,(cu_usage/3600)*0.1041 AS mr_fee
  FROM    maxcomputefee
  WHERE   type = 'spark'
  AND     TO_CHAR(starttime,'yyyymmdd') >= '20190112'
  GROUP BY TO_CHAR(starttime,'yyyymmdd')
           ,projectid
           ,cu_usage
  ORDER BY mr_fee DESC
  ;

相關文檔

TO_CHAR函數分為字串類型和日期類型兩種，關於TO_CHAR函數的詳情，請參見TO_CHAR。