全部產品
Search

搜尋本產品

    E-MapReduce：Jindo AuditLog使用說明

    文件中心

    E-MapReduce：Jindo AuditLog使用說明

    更新時間：Jul 01, 2024

    Jindo AuditLog提供Block Storage模式的審計功能，記錄Namespace端的增加、刪除和重新命名操作資訊。

    前提條件

    背景資訊

    AuditLog可以分析Namespace端訪問資訊、發現異常請求和追蹤錯誤等。JindoFS AuditLog儲存記錄檔至OSS，單個Log檔案不超過5 GB。基於OSS的生命週期策略，您可以自訂記錄檔的保留天數，清理策略等。因為JindoFS AuditLog提供分析功能，所以您可以通過Shell命令分析指定的記錄檔。

    審計資訊

    審計資訊樣本。
    2020-07-09 18:29:24.689 allowed=true ugi=hadoop (auth:SIMPLE) ip=127.0.0.1 ns=test-block cmd=CreateFileletRequest src=jfs://test-block/test/test.snappy.parquet dst=null perm=::rwxrwxr-x
    Block Storage模式記錄的審計資訊參數如下所示。
    參數描述
    時間時間格式yyyy-MM-dd hh:mm:ss.SSS。
    allowed本次操作是否被允許：
    • true
    • false
    ugi操作使用者（包含認證方式資訊）。
    ipClient IP。
    nsBlock Storage模式Namespace的名稱。
    cmd操作命令。
    src源路徑。
    dest目標路徑，可以為空白。
    perm操作檔案Permission資訊。

    使用AuditLog

    1. 進入SmartData服務。
      1. 登入阿里雲E-MapReduce控制台。
      2. 在頂部功能表列處，根據實際情況選擇地區和資源群組。
      3. 單擊上方的叢集管理頁簽。
      4. 在叢集管理頁面，單擊相應叢集所在行的詳情。
      5. 在左側導覽列，選擇叢集服務 > SmartData。
    2. 進入namespace服務配置。
      1. 單擊配置頁簽。
      2. 單擊namespace。
        namespace
    3. 配置如下參數。
      1. 在namespace頁簽，單擊右上方的自訂配置。
      2. 在新增配置項對話方塊中，新增如下參數。
        參數描述是否必填
        namespace.auditlog.enable
        • true：開啟AuditLog功能。
        • false：關閉AuditLog功能。
        		是
        namespace.auditlog.oss.uri儲存AuditLog的OSS Bucket。

        請參見oss://<yourbucket>/auditLog格式配置。

        <yourbucket>請替換為待儲存的Bucket的名稱。

        		是
        namespace.auditlog.oss.accessKey儲存OSS的AccessKey ID。否
        namespace.auditlog.oss.accessSecret儲存OSS的AccessKey Secret。否
        namespace.auditlog.oss.endpoint儲存OSS的Endpoint。否
      3. 單擊部署用戶端配置。
      4. 在執行叢集操作對話方塊中，輸入執行原因，單擊確定。
      5. 在確認對話方塊中，單擊確定。
    4. 重啟服務。
      1. 單擊右上方的操作 > 重啟Jindo Namespace Service。
      2. 在執行叢集操作對話方塊中，輸入執行原因，單擊確定。
      3. 在確認對話方塊中，單擊確定。
    5. 配置清理策略。
      OSS提供了lifeCycle功能來管理OSS上檔案的生命週期，您可以利用該功能來自訂Log檔案的清理或者儲存時間。
      1. 登入 OSS管理主控台。
      2. 單擊建立的儲存空間。
      3. 在左側導覽列，單擊基礎設定 > 生命週期，在生命週期單擊設定。
      4. 單擊建立規則，在建立生命週期規則配置各項參數。
      5. 單擊確定。

    使用Jindo auditLog分析功能

    JindoFS為儲存在OSS上的AuditLog檔案提供Shell命令的分析功能，通過MR任務分析Log檔案，提供Top-N活躍操作命令分析、Top-N活躍IP分析。您可以使用jindo auditlog命令，使用該功能。

    Jindo Auditlog的參數說明如下表。
    參數描述是否必填
    --src儲存AuditLog的OSS Bucket。預設為步驟3中namespace.auditlog.oss.uri的值，您也可以自訂該參數。否
    --ns指定待分析的Namespace。預設為block模式下所有ns。否
    --type指定分析：
    • ip：IP地址活躍度。
    • cmd： 操作命令活躍度。
    		是
    --min指定時間範圍，分鐘層級。否
    說明 --min和--day，需要二選一。
    --day指定時間範圍，天層級。

    day 1，表示當天。

    在E-MapReduce控制台，建立MR類型作業，作業內容樣本如下。
    jindo auditlog --src oss://<yourbucket>/auditlog/ --ns test --type ip --day 1 --top 2
    返回資訊如下。
    16 openFileStatusRequest
6  deleteFileletRequest