開源巨量資料平台E-Mapreduce日誌的使用前須知 - Simple Log Service

阿里雲開源巨量資料平台E-Mapreduce（EMR）聯合Log Service推出日誌功能，用於將EMR日誌投遞到Log Service進行查詢分析。本文介紹EMR日誌相關的資產、費用、使用限制以及如何在EMR控制台中開啟日誌投遞功能，將EMR日誌投遞到Log Service中。

資產詳情

自訂的Project和專屬LogStore
您可以自訂一個Project，系統將在該Project下產生名為emr_EMR服務名稱_log的專屬LogStore。例如您要投遞host服務的日誌，則對應的LogStore為emr_host_log。
重要
- 在停用日誌功能前，請勿刪除EMR日誌相關的Log ServiceProject和LogStore，否則將導致已儲存的日誌被清除，且新日誌無法被投遞到Log Service。
- 若您曾開通過按寫入資料量計費模式，則系統預設建立計費模式為按寫入資料量計費的專屬LogStore。若您需要切換至按使用功能計費模式，可修改LogStore配置。具體操作，請參見修改LogStore配置。
專屬儀錶盤
無專屬儀錶盤，您可以自訂儀錶盤用於查詢結果展示。具體操作，請參見建立儀錶盤。

目前，EMR不針對管理日誌功能收取費用。
當LogStore的計費模式為按使用功能計費時，推送EMR日誌到Log Service後，Log Service根據儲存空間、讀取流量、請求數量、資料加工、資料投遞等進行收費。更多資訊，請參見按使用功能計費模式計費項目。
當LogStore的計費模式為按寫入資料量計費時，推送EMR日誌到Log Service後，Log Service將根據原始寫入資料量等進行收費。更多資訊，請參見按寫入資料量計費模式計費項目。

日誌管理功能僅適用於新版資料湖（DataLake）、即時資料流（DataFlow）、資料分析（OLAP）、資料服務（DataServing）和資料湖（Hadoop）情境的叢集。

支援日誌投遞的服務包括hdfs、yarn、yarn_application、hive、spark、jindodata、tez、flink、hbase、zookeeper、kafka、presto、kudu、impala、flume、starrocks、clickhouse、kyuubi、rss和host（主機）。

日誌儲存及索引流量費用等按照標準收費，由Log Service（SLS）單獨收費，具體操作請參見計費項目。
如果您使用的是RAM使用者，請使用阿里雲帳號登入RAM控制台，為RAM使用者授予AliyunLogFullAccess許可權，具體操作請參見管理RAM使用者的許可權。

進入日誌管理頁面。
1. 登入E-MapReduce控制台。
2. 在頂部功能表列處，根據實際情況選擇地區和資源群組。
3. 在EMR on ECS頁面，單擊目的地組群的叢集ID。
4. 單擊上方的日誌管理頁簽。
配置日誌投遞範圍。
1. 在日誌管理頁面，單擊右側的設定日誌投遞範圍。
2. 在彈出的對話方塊中，配置日誌儲存的Project。
  您可以選擇已有Project或者建立Project。
  重要
  Project一經選擇不可變更。
3. 勾選需要日誌投遞的服務，單擊確定。
查看服務日誌。
1. 在請選擇EMR服務下拉框中選擇您需要查看日誌的服務。
2. 在日誌介面對日誌進行分析。
  您可以指定時間段和查詢語句進行即時查詢。例如，可快速分析某一個欄位在一段時間內的分布情況，您也可以按條件過濾或統計您希望查看的訪問記錄。

重要

關閉即時日誌投遞不會自動刪除Project。因此，當您關閉日誌投遞後，為避免後續產生不必要的費用，請前往Log Service控制台刪除開通日誌投遞時選擇的Project。具體操作，請參見管理Project。

當您確認不再需要保留日誌資料時，可以按照如下步驟關閉即時日誌查詢。

將EMR日誌投遞到Log Service後，您可以在Log Service中執行查詢分析、下載、投遞、加工、警示等操作。具體操作，請參見雲產品日誌通用操作。

操作	說明
設定日誌投遞範圍	在日誌管理頁簽下，單擊設定日誌投遞範圍，修改待投遞日誌的服務。
關閉日誌投遞	在日誌管理頁簽下，單擊關閉日誌投遞。重要關閉日誌投遞後，系統不會自動刪除Project及已推送的日誌。因此，當您關閉日誌投遞後，為避免後續產生不必要的費用，請在Log Service控制台上刪除對應的Project。具體操作，請參見刪除Project。