全部產品
Search
文件中心

Lindorm:通過Flink訪問寬表引擎

更新時間:Jul 06, 2024

您可以使用社區版Flink或阿里雲Realtime Compute版Flink訪問Lindorm寬表。本文介紹同時適用於阿里雲Flink和社區版Flink訪問Lindorm寬表的方法。

背景資訊

您可以將Lindorm寬表作為Flink中的維表或者結果表,通過Flink SQL或者Flink DataStream訪問Lindorm寬表。

前提條件

  • 通過社區版Flink訪問Lindorm寬表時,寬表引擎為2.4.3及以上版本。如果使用阿里雲Flink訪問,寬表引擎版本無限制。如何查看或升級目前的版本,請參見寬表引擎版本說明升級小版本

  • 已將用戶端IP地址添加至Lindorm白名單。如何添加,請參見設定白名單

注意事項

  • 如果您想要通過公網訪問或您的執行個體類型為Lindorm單節點,在執行本文操作前,需要先升級SDK並更改配置。具體操作,請參見通過HBase Java API串連並使用寬表引擎章節中的步驟1。

  • 如果應用部署在ECS執行個體,通過專用網路訪問Lindorm執行個體前,需要確保Lindorm執行個體和ECS執行個體滿足以下條件,以保證網路的連通性。

    • 所在地區相同,並建議所在可用性區域相同(以減少網路延時)。

    • ECS執行個體與Lindorm執行個體屬於同一專用網路。

  • 使用Lindorm寬表作為Flink的維表或者結果表時,建立表的DDL語句需要使用串連地址。通過Flink訪問Lindorm寬表使用的是Lindorm寬表引擎的HBase Java API訪問地址。如果使用新建立的使用者,請確保該使用者有訪問Flink表的讀寫權限,賦予許可權的具體操作請參見為指定使用者賦予許可權

  • 如果使用社區版Flink訪問Lindorm寬表,僅支援訪問HBase like表,也就是說,您通過lindorm-cli建立的SQL表不能作為社區版Flink維表或者結果表,只能通過HBaseue Shell建立HBase like表提供給社區版Flink進行訪問。阿里雲Realtime ComputeFlink無此限制。

  • 如果您使用阿里雲Realtime ComputeFlink並採用Flink SQL方式訪問Lindorm寬表,那麼可以直接使用Lindorm Connector。

建立維表

  • 如果您使用社區版Flink訪問Lindorm寬表,具體操作請參見建立維表

  • 如果您使用阿里雲Realtime ComputeFlink訪問Lindorm寬表,具體操作請參見建立Lindorm維表

建立結果表

  • 如果您使用社區版Flink訪問Lindorm寬表,具體操作請參見建立結果表

  • 如果您使用阿里雲Realtime ComputeFlink訪問Lindorm寬表,具體操作請參見建立Lindorm結果表