MaxCompute:MaxCompute 課金利用状況レコードの分析

フィールドの説明

1. 次の Tunnel コマンドを実行して、課金利用状況レコードをアップロードします： > 注意： CSV ファイルの列数とデータ型は、maxcomputefee テーブルのものと一致する必要があります。一致しない場合、データのアップロードは失敗します。 > 注意： > - Tunnel コマンドの詳細については、「Tunnel コマンド」をご参照ください。 > - DataWorks のデータインポート機能を使用して課金レコードをアップロードすることもできます。詳細については、「DataWorks の使用 (オフラインおよびリアルタイム)」をご参照ください。

       tunnel upload ODPS_2019-01-12_2019-01-14.csv maxcomputefee -c "UTF-8" -h "true" -dfp "yyyy-MM-dd HH:mm:ss";

2. すべてのレコードがアップロードされたことを確認します：

       SELECT * FROM maxcomputefee limit 10;

SQL ジョブ料金

数式： 入力データ (GB) x SQL の複雑性 x USD 0.0438/GB

Excel を使用する方法： MeteringType が ComputationSql のレコードをフィルタリングします。料金でソートして、予期せず高額なジョブや大量のジョブを特定します。各ジョブの料金を次のように計算します：

料金 = SQLInput(Byte) / 1024 / 1024 / 1024 x SQL の複雑性 x USD 0.0438

SQL を使用する方法： ステップ 2 のデータアップロードが完了し、maxcomputefee テーブルが存在することを確認してください。

-- SQL ジョブを料金で降順にソートし、最も高額なジョブを見つけます。
SELECT  to_char(endtime,'yyyymmdd') as ds,feeid as instanceid
        ,projectid
        ,computationsqlcomplexity  -- SQL の複雑性
        ,SUM((computationsqlinput / 1024 / 1024 / 1024)) as computationsqlinput  -- 入力データ量 (GB)
        ,SUM((computationsqlinput / 1024 / 1024 / 1024)) * computationsqlcomplexity * 0.0438 AS sqlmoney
FROM    maxcomputefee
WHERE   TYPE = 'ComputationSql'
AND to_char(endtime,'yyyymmdd') >= '20190112'
GROUP BY to_char(endtime,'yyyymmdd'),feeid
         ,projectid
         ,computationsqlcomplexity
ORDER BY sqlmoney DESC
LIMIT   10000
;

最適化のヒント：

• 高額なジョブの料金を削減するには、入力データ量を減らすか、SQL の複雑性を下げます。

• ds フィールドで結果を集計して、一定期間の日次料金の傾向を分析します。Excel や Quick BI などのツールで傾向をプロットします。

高コストなジョブの背後にある DataWorks ノードの特定：

1. MaxCompute クライアント (odpscmd) または DataWorks コンソールで wait <instanceid>; コマンドを実行して、LogView URL を取得します。

2. 次のコマンドでジョブの詳細を表示します：出力例：

       DESC instance 2016070102275442go3xxxxxx;

       ID 2016070102275442go3xxxxxx
       Owner ALIYUN$***@aliyun-inner.com
       StartTime 2016-07-01 10:27:54
       EndTime 2016-07-01 10:28:16
       Status Terminated
       console_query_task_1467340078684 Success
       Query select count(*) from src where ds='20160628';

3. ブラウザで LogView URL を開きます。[SourceXML] タブをクリックし、SKYNET_NODENAME パラメーターの値を見つけます。 > 注意： > - LogView の詳細については、「LogView V2.0 を使用してジョブ情報を表示する」をご参照ください。 > - SKYNET_NODENAME パラメーターが空の場合は、[SQL スクリプト] タブをクリックしてコードスニペットを取得します。そのスニペットを使用して DataWorks コンソールでノードを検索します。詳細については、「DataWorks コード検索」をご参照ください。

4. SKYNET_NODENAME の値を使用して DataWorks コンソールでノードを検索し、最適化します。

ジョブ数の傾向

料金の増加は、繰り返しの操作や誤ったスケジュール設定によって引き起こされるジョブ数の急増と相関することがよくあります。

Excel を使用する方法： MeteringType が ComputationSql のレコードをフィルタリングします。各プロジェクトの日ごとのジョブ数をカウントし、異常な急増がないか確認します。

SQL を使用する方法： ステップ 2 のデータアップロードが完了し、maxcomputefee テーブルが存在することを確認してください。

-- 日次ジョブ数の傾向を分析します。
SELECT  TO_CHAR(endtime,'yyyymmdd') AS ds
        ,projectid
        ,COUNT(*) AS tasknum
FROM    maxcomputefee
WHERE   TYPE = 'ComputationSql'
AND     TO_CHAR(endtime,'yyyymmdd') >= '20190112'
GROUP BY TO_CHAR(endtime,'yyyymmdd')
         ,projectid
ORDER BY tasknum DESC
LIMIT   10000
;

この結果は、2019年1月12日から1月14日までのジョブサブミットの傾向を示しています。

ストレージ料金

小規模プロジェクトの最低料金

MeteringType が Storage のレコードを表示します。maxcompute_doc のような、データがわずか 508 バイトのプロジェクトでも、ストレージ課金ルール に従い、512 MB までのストレージは一律の最低料金で課金されるため、CNY 0.01 が請求されます。

データがテスト目的でのみ使用される場合：

• Drop Table 文を実行してテーブルデータを削除します。

• プロジェクト全体が不要になった場合は、MaxCompute コンソールにログインし、[プロジェクト] ページでプロジェクトを削除します。

SQL を使用したストレージ料金の分析

数式： 段階的料金が適用されます。0.5 GB 未満のストレージ：CNY 0.01/GB/日。0.5 GB 以上のストレージ：CNY 0.004/GB/日。

SQL を使用する方法： ステップ 2 のデータアップロードが完了し、maxcomputefee テーブルが存在することを確認してください。

-- ストレージ料金を分析します。
SELECT  t.ds
        ,t.projectid
        ,t.storage
        ,CASE    WHEN t.storage < 0.5 THEN t.storage*0.01     --- プロジェクトの実際に使用されたストレージ容量が 0 MB より大きく 512 MB 以下の場合、ストレージ容量の単価は CNY 0.01/GB/日です。
                 WHEN t.storage >= 0.5  THEN t.storage*0.004  --- プロジェクトの実際に使用されたストレージ容量が 512 MB より大きい場合、ストレージ容量の単価は CNY 0.004/GB/日です。
        END storage_fee
FROM    (
            SELECT  to_char(starttime,'yyyymmdd') as ds
                    ,projectid
                    ,SUM(storage/1024/1024/1024)/24 AS storage
            FROM    maxcomputefee
            WHERE   TYPE = 'Storage'
            and to_char(starttime,'yyyymmdd') >= '20190112'
            GROUP BY to_char(starttime,'yyyymmdd')
                     ,projectid
        ) t
ORDER BY storage_fee DESC
;

最適化のヒント： ストレージ料金を削減するには、テーブルのライフサイクルを指定し、不要な一時テーブルを削除します。

-- 長期保存ストレージ料金を分析します。
SELECT  to_char(starttime,'yyyymmdd') as ds
        ,projectid
        ,SUM(storage/1024/1024/1024)/24*0.0011 AS longTerm_storage
  FROM  maxcomputefee
 WHERE  TYPE = 'ColdStorage'
   and  to_char(starttime,'yyyymmdd') >= '20190112'
GROUP BY to_char(starttime,'yyyymmdd')
         ,projectid;

-- IA ストレージ料金を分析します。
SELECT  to_char(starttime,'yyyymmdd') as ds
        ,projectid
        ,SUM(storage/1024/1024/1024)/24*0.0011 AS lowFre_storage
  FROM  maxcomputefee
 WHERE  TYPE = 'LowFreqStorage'
   and  to_char(starttime,'yyyymmdd') >= '20190112'
GROUP BY to_char(starttime,'yyyymmdd')
         ,projectid;

-- 長期保存ストレージアクセス料金を分析します。
SELECT  to_char(starttime,'yyyymmdd') as ds
        ,projectid
        ,SUM(computationsqlinput/1024/1024/1024)*0.522 AS longTerm_IO
  FROM  maxcomputefee
 WHERE  TYPE = 'SqlLongterm'
   and  to_char(starttime,'yyyymmdd') >= '20190112'
GROUP BY to_char(starttime,'yyyymmdd')
         ,projectid;

-- IA ストレージアクセス料金を分析します。
SELECT  to_char(starttime,'yyyymmdd') as ds
        ,projectid
        ,SUM(computationsqlinput/1024/1024/1024)*0.522 AS lowFre_IO
  FROM  maxcomputefee
 WHERE  TYPE = 'SqlLowFrequency'
   and  to_char(starttime,'yyyymmdd') >= '20190112'
GROUP BY to_char(starttime,'yyyymmdd')
         ,projectid;

ダウンロード料金

数式： ダウンロードデータ (GB) x USD 0.1166/GB

Excel を使用する方法： MeteringType が DownloadEx のレコードをフィルタリングします。例えば、0.036 GB (38,199,736 バイト) のダウンロードトラフィックを示すレコードは、以下の料金になります：

(38,199,736 / 1024 / 1024 / 1024) x USD 0.1166 = USD 0.004

完全な料金ルールについては、「ダウンロード料金 (従量課金)」をご参照ください。

最適化のヒント： ご利用の Tunnel サービスがインターネットアクセス料金を発生させているかどうかを確認してください。エンドポイントの詳細については、「エンドポイント」をご参照ください。例えば、蘇州 (中国 (上海) リージョンの一部) にいて大量のデータをダウンロードする必要がある場合、中国 (上海) リージョンの Elastic Compute Service (ECS) インスタンスを使用して、まずデータを VM にダウンロードすることで、インターネットダウンロード料金を回避できます。

SQL を使用する方法： ステップ 2 のデータアップロードが完了し、maxcomputefee テーブルが存在することを確認してください。

-- ダウンロード料金を分析します。
SELECT  TO_CHAR(starttime,'yyyymmdd') AS ds
        ,projectid
        ,SUM((download/1024/1024/1024)*0.1166) AS download_fee
FROM    maxcomputefee
WHERE   type = 'DownloadEx'
AND     TO_CHAR(starttime,'yyyymmdd') >= '20190112'
GROUP BY TO_CHAR(starttime,'yyyymmdd')
         ,projectid
ORDER BY download_fee DESC
;

MapReduce ジョブ料金

数式： 課金時間 x USD 0.0690/時間/タスク

Excel を使用する方法： MeteringType が MapReduce のレコードをフィルタリングします。以下を使用して料金を計算し、ソートします：

料金 = コア数 x 実行時間 (秒) / 3600 x USD 0.0690

SQL を使用する方法： ステップ 2 のデータアップロードが完了し、maxcomputefee テーブルが存在することを確認してください。

-- MapReduce ジョブの料金を分析します。
SELECT  TO_CHAR(starttime,'yyyymmdd') AS ds
        ,projectid
        ,(cu_usage/3600)*0.0690 AS mr_fee
FROM    maxcomputefee
WHERE   type = 'MapReduce'
AND     TO_CHAR(starttime,'yyyymmdd') >= '20190112'
GROUP BY TO_CHAR(starttime,'yyyymmdd')
         ,projectid
         ,cu_usage
ORDER BY mr_fee DESC
;

Spark ジョブ料金

数式： 課金時間 x USD 0.1041/時間/タスク

Excel を使用する方法： MeteringType が spark のレコードをフィルタリングします。料金を次のように計算します：

料金 = コア数 x 実行時間 (秒) / 3600 x USD 0.1041

SQL を使用する方法： ステップ 2 のデータアップロードが完了し、maxcomputefee テーブルが存在することを確認してください。

-- Spark ジョブの料金を分析します。
SELECT  TO_CHAR(starttime,'yyyymmdd') AS ds
        ,projectid
        ,(cu_usage/3600)*0.1041 AS mr_fee
FROM    maxcomputefee
WHERE   type = 'spark'
AND     TO_CHAR(starttime,'yyyymmdd') >= '20190112'
GROUP BY TO_CHAR(starttime,'yyyymmdd')
         ,projectid
         ,cu_usage
ORDER BY mr_fee DESC
;

外部テーブル料金 (Tablestore および OSS)

数式： 入力データ (GB) x USD 0.0044/GB

Excel を使用する方法： MeteringType が ComputationSqlOTS または ComputationSqlOSS のレコードをフィルタリングします。料金を次のように計算します：

料金 = SQLInput(Byte) / 1024 / 1024 / 1024 x USD 0.0044

以下の SQL クエリに記載されている単価 (0.03) は、現在の公式単価 (USD 0.0044/GB) と一致しません。クエリ内の価格乗数を更新し、「コンピューティング料金（従量課金）」 ページに記載されている現在の料金と一致させてください。

SQL を使用する方法： ステップ 2 のデータアップロードが完了し、maxcomputefee テーブルが存在することを確認してください。

-- Tablestore 外部テーブルを使用する SQL ジョブの料金を分析します。
SELECT  TO_CHAR(starttime,'yyyymmdd') AS ds
        ,projectid
        ,(computationsqlinput/1024/1024/1024)*1*0.03 AS ots_fee
FROM    maxcomputefee
WHERE   type = 'ComputationSqlOTS'
AND     TO_CHAR(starttime,'yyyymmdd') >= '20190112'
GROUP BY TO_CHAR(starttime,'yyyymmdd')
         ,projectid
         ,computationsqlinput
ORDER BY ots_fee DESC
;

-- OSS 外部テーブルを使用する SQL ジョブの料金を分析します。
SELECT  TO_CHAR(starttime,'yyyymmdd') AS ds
        ,projectid
        ,(computationsqlinput/1024/1024/1024)*1*0.03 AS oss_fee
FROM    maxcomputefee
WHERE   type = 'ComputationSqlOSS'
AND     TO_CHAR(starttime,'yyyymmdd') >= '20190112'
GROUP BY TO_CHAR(starttime,'yyyymmdd')
         ,projectid
         ,computationsqlinput
ORDER BY oss_fee DESC
;