全部产品
Search
文档中心

大数据开发治理平台 DataWorks:创建SSH数据源

更新时间:Dec 05, 2024

在DataWorks中,您可通过创建SSH数据源并配置主机访问信息的方式远程访问主机,随后,SSH节点可通过该数据源远程访问主机并触发主机脚本执行。例如,您可通过此方式实现在DataWorks远程访问ECS(Elastic Compute Service)并触发ECS中的脚本周期性调度执行。本文为您介绍如何创建SSH数据源。

使用限制

  • 仅支持通过连接串模式创建SSH数据源。

  • 仅支持使用独享调度资源组运行SSH数据调度任务,并且独享调度资源组需提交工单联系技术支持人员升级,否则可能导致任务运行失败。

注意事项

标准模式工作空间,需分别创建开发环境数据源和生产环境数据源,并且开发环境数据源和生产环境数据源必须使用同一种认证模式。

前提条件

  • 已获取相应服务器的主机地址及端口。

  • 已购买独享调度资源组并完成资源组配置。

    SSH数据源创建完成后,只能使用独享调度资源组进行计算任务的开发与调度,您需提前准备好相应资源组,并在创建SSH数据源时确保数据源与资源组网络连通。详情请参见新增和使用独享调度资源组网络连通方案

操作前准备:权限说明与配置

使用RAM用户(即子账号)或RAM角色创建数据源,需拥有如下任意权限:

数据源创建入口

  1. 进入数据源页面。

    1. 登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的更多 > 管理中心,在下拉框中选择对应工作空间后单击进入管理中心

    2. 进入工作空间管理中心页面后,单击左侧导航栏的数据源 > 数据源列表,进入数据源页面。

  2. 单击新增数据源,选择SSH,根据界面指引创建数据源。

创建数据源

您需在创建SSH数据源页面,配置数据源的基础信息并测试网络连通性。

  1. 配置基础信息。

    您可根据界面提示配置数据源的名称等基础信息。

    说明

    标准模式工作空间,需分别创建开发环境数据源和生产环境数据源,并且开发环境数据源和生产环境数据源必须使用同一种认证模式。

    image

    核心参数如下:

    • 配置模式:仅支持通过连接串模式创建SSH数据源。

    • 认证模式

      主机密码认证

      参数

      描述

      主机地址

      SSH服务器的主机地址。

      主机端口

      SSH服务器的主机端口。

      用户名

      SSH服务器的登录用户名。

      密码

      SSH服务器的登录密码。

      主机SSH密钥认证

      参数

      描述

      主机地址

      SSH服务器的主机地址。

      主机端口

      SSH服务器的主机端口。

      用户名

      SSH服务器的登录用户名。

      私钥

      SSH服务器的登录私钥。您需上传相关认证文件,用于用户和服务进行身份验证。管理认证文件,请参见第三方认证文件管理

      私钥口令

      若私钥文件已加密,需输入私钥口令。

      (推荐)DataWorks SSH公钥认证

      DataWorks基于SSH数据源生成密钥对,并将密钥对的公钥提供给用户进行相关配置,连通DataWorks与SSH服务器。该认证方式相对较安全。

      参数

      描述

      主机地址

      SSH服务器的主机地址。

      主机端口

      SSH服务器的主机端口。

      用户名

      SSH服务器的登录用户名。

      公钥

      单击生成密钥对,平台将根据您配置的用户名随机生成公钥。进行网络连通性测试前,请先将密钥对的公钥配置到该主机的.ssh/authorized_keys文件,以免网络无法连通。

      说明
      • Truststore文件中保存了一些可信任的证书,用于对服务器进行认证。例如,访问SSL服务器时,需对服务器进行认证,以确保其是可信任的。

      • 生成的密钥对将在数据源创建成功后生效,请及时将生成的密钥对中的公钥配置到您的主机。

      • 编辑数据源时,每次单击生成密钥对,会生成一个新的密钥对公钥,保存配置后,原有的密钥对公钥将会失效。该操作可能导致运行中的任务失败,请谨慎操作。

  2. 测试资源组连通性。

    连接配置区域,测试数据源与独享调度资源组的连通性。若资源组与数据源无法连通,则相应数据源任务将无法正常执行。请确保独享调度资源组可正常访问您的主机,网络连通方案详情请参见网络连通方案

    说明
    • 仅支持使用独享调度资源组运行SSH数据调度任务,并且独享调度资源组需提交工单联系技术支持人员升级,否则可能导致任务运行失败。

    • 若网络无法连通,建议您先尝试将资源组的IP地址配置到服务器实例安全组的入方向中,使用资源组对应的公网或私网IP连接服务器。

后续操作

数据源创建完成后,您可根据需要执行如下操作:

  • 计算任务开发与调度

    DataWorks的数据开发与运维中心模块,为您提供SSH任务的开发与调度能力,您可通过在SSH节点指定具体的SSH数据源的方式远程连接该数据源配置的主机,将SSH节点发布生产中心实现周期性调度SSH节点代码,具体您可进入数据开发(DataStudio)操作。

  • 增删改查数据源:进入数据源管理页面执行编辑、删除等管理操作。