全部產品
Search
文件中心

:HBase以EMR叢集的方式使用OSS-HDFS服務作為底層儲存

更新時間:Feb 28, 2024

HBase是Hadoop生態中的即時資料庫,有較高的寫入效能。 OSS-HDFS服務(JindoFS服務)是阿里雲新推出的儲存空間類型,併兼容HDFS介面。阿里雲開源巨量資料開發平台E-MapReduce(簡稱EMR)支援HBase使用OSS-HDFS服務作為底層儲存,同時支援儲存WAL檔案,實現儲存與計算分離。

前提條件

  • 已建立EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的叢集,並在建立叢集時選擇Hbase。具體步驟,請參見建立叢集

  • 已開通並授權訪問OSS-HDFS服務。具體操作,請參見開通並授權訪問OSS-HDFS服務

操作步驟

  1. 登入EMR叢集。

    1. 登入EMR on ECS控制台

    2. 單擊建立的EMR叢集。

    3. 單擊節點管理頁簽,然後單擊節點群組左側的+

    4. 單擊ECS ID。在ECS執行個體頁面,單擊執行個體ID右側的遠端連線

    如果您希望使用SSH方式(SSH金鑰組或SSH密碼)在Windows和Linux環境中登入叢集,請參見登入叢集

  2. 指定HBase的儲存路徑。

    您可以通過將hbase-site設定檔中的參數hbase.rootdir的值修改為OSS地址(格式為oss://bucket.endpoint/hbase-root-dir)的方式,指定HBase和WAL檔案的儲存路徑。

    重要

    如果要釋放叢集,需要先禁用table,確保WAL檔案已全量更新到隱藏檔HFile。