全部产品
Search
文档中心

开源大数据平台E-MapReduce:JindoFSx高可用服务配置指南

更新时间:Jul 01, 2024

本文介绍如何配置JindoFSx的高可用服务。

前提条件

已在E-MapReduce上创建EMR-3.42.0及后续版本、EMR-5.6.0及后续版本的集群,且勾选JindoData服务和高可用集群模式,具体操作请参见创建集群。本文以EMR-3.42.0版本为例。

如果数据源为OSS、OSS-HDFS、Apache HDFS或NAS,请先完成如下文档配置要求:

使用限制

集群版本:EMR-3.42.0及后续版本、EMR-5.6.0及后续版本。

操作流程

  1. 步骤一:配置JindoData

  2. 步骤二:配置JindoSDK

步骤一:配置JindoData

  1. 进入JindoData服务的namespace页签。

    1. 登录E-MapReduce控制台

    2. 在顶部菜单栏处,根据实际情况选择地域和资源组

    3. 单击目标集群操作列的集群服务

    4. 单击JindoData服务区域的配置

    5. 单击namespace页签。

  2. 新增配置。

    1. 单击新增配置项

    2. 新增配置项对话框中,新增以下配置项。

      新增配置项的具体操作,请参见添加配置项

      参数

      描述

      namespace.backend.type

      开启三个master高可用模式。固定值为:raft。

      namespace.backend.raft.initial-conf

      Raft服务的初始化地址,格式为:{hostname-1}:{port}:0,{hostname-2}:{port}:0,{hostname-3}:{port}:0,例如master-1-1:8103:0,master-1-2:8103:0,master-1-3:8103:0

    3. 单击确定

  3. 重启服务。

    1. 在JindoData服务页面,选择更多操作 > 重启

    2. 在弹出的对话框中,输入执行原因,单击确定

    3. 确认对话框中,单击确定

步骤二:配置JindoSDK

说明

此配置为客户端配置,无需重启JindoData服务。

  1. 进入Hadoop-Commo服务的core-site.xml页签。

    1. 集群服务页面,单击Hadoop-Common服务区域的配置

    2. 单击core-site.xml页签。

  2. 修改以下配置项。

    修改配置项的具体操作,请参见修改配置项

    内容

    参数

    描述

    配置JindoFSx Namespace的服务地址

    fs.jindofsx.namespace.rpc.address

    格式为:{headerhost-1}:8101,{headerhost-2}:8101,{headerhost-3}:8101,例如master-1-1:8101,master-1-2:8101,master-1-3:8101

  3. 保存配置。

    1. 单击服务配置区域的保存

    2. 确认修改对话框中,输入执行原因,开启自动更新配置,单击确定