本文由簡體中文內容自動轉碼而成。阿里雲不保證此自動轉碼的準確性、完整性及時效性。本文内容請以簡體中文版本為準。

JindoTable表或分區的訪問熱度收集

更新時間:2024-06-30 19:24

您可以通過JindoTable表或分區的訪問熱度收集功能來區分冷熱資料,從而節約整體的儲存成本,提高緩衝利用效率。

資料收集

JindoTable支援收集訪問Hive表的記錄,目前支援的引擎有Spark和Hive。收集的資料儲存在叢集SmartData服務的Namespace中。

資料收集是預設開啟的。如果需要關閉,請參見關閉資料收集

資料查詢

JindoTable提供了命令方式查詢熱度資訊。
  • 文法
    jindo table -accessStat <-d [days]> <-n [topNums]>

    daystopNums為正整數。當天數為1時,表示查詢從本地時間當天0:00開始到現在的所有訪問記錄。

  • 功能

    查詢在指定時間範圍內,訪問最多表或分區的指定條數。

  • 樣本,查詢近七天訪問最多的表或分區的20條訪問記錄。
    jindo table -accessStat -d 7 -n 20

JindoTable使用詳情,請參見JindoTable使用說明

關閉資料收集


  1. 在頂部功能表列處,根據實際情況選擇地區和資源群組
  2. 單擊上方的叢集管理頁簽。
  3. 叢集管理頁面,單擊相應叢集所在行的詳情
  4. 修改參數值。
    刪除如下參數值中的部分內容:
    • Hive服務:
      1. 在左側導覽列單擊叢集服務 > Hive
      2. 單擊配置頁簽。
      3. 單擊hive-site頁簽。
      4. 搜尋參數hive.exec.post.hooks,刪除參數值中的com.aliyun.emr.table.hive.HivePostHookhive-site
    • Spark服務:
      1. 在左側導覽列單擊叢集服務 > Spark
      2. 單擊配置頁簽。
      3. 單擊spark-defaults頁簽。
      4. 搜尋參數spark.sql.queryExecutionListeners,刪除參數值中的com.aliyun.emr.table.spark.SparkSQLQueryListenerspark_default
  5. 儲存配置。
    1. 單擊右上方的儲存
    2. 確認修改對話方塊中,輸入執行原因,開啟自動更新配置
    3. 單擊確定
  6. 重啟服務。
    • Hive服務:
      1. 單擊右上方的操作 > 重啟 HiveServer2
      2. 執行叢集操作對話方塊,設定相關參數。
      3. 單擊確定
      4. 確認對話方塊中,單擊確定
    • Spark服務:
      1. 單擊右上方的操作 > 重啟 ThriftServer
      2. 執行叢集操作對話方塊,設定相關參數。
      3. 單擊確定
      4. 確認對話方塊中,單擊確定
  • 本頁導讀 (1, M)
  • 資料收集
  • 資料查詢
  • 關閉資料收集
文檔反饋