全部产品
Search
文档中心

大数据开发治理平台 DataWorks:执行测试并查看测试实例

更新时间:Oct 24, 2024

测试实例是对周期任务进行测试时产生的实例,您可以在测试实例界面,通过列表及DAG图的方式快速查看实例的详细信息。

背景信息

您可以通过对周期任务执行测试操作,以验证当前周期任务在生产环境的调度运行是否符合预期。测试操作将产生测试实例,您可以在测试实例界面查看实例运行情况。

说明

测试实例的运行会真实执行代码逻辑,请谨慎操作。

使用限制

  • 功能使用限制:

    • 仅DataWorks专业版及以上版本用户才可以使用运行诊断功能,目前支持您免费体验,但建议升级至专业版以获取更多产品能力。详情请参见智能诊断

    • 仅DataWorks专业版及以上版本用户才可以使用DAG图的节点聚合、上游分析、下游分析功能。详情请参见DataWorks版本服务计费说明

    • 部分功能仅支持有运维权限的用户进行操作,如果功能入口置灰或者没有功能入口,请进入管理中心,单击左侧导航栏的工作空间 > 空间成员,在成员管理页面检查目标用户是否有运维权限。详情请参见:空间级模块权限管控

  • 日志与实例使用限制:

    • 不支持手动删除测试实例,实例在过期后(30天左右)平台将自动删除。如果任务不需要再运行,可以选择冻结实例。

    • 公共调度资源组实例保留一个月(30天)、日志保留一周(7天)。

    • 独享调度资源组任务实例、日志保留一个月(30天)。

    • 完成状态的实例日志大于3M时,每天会定时进行清理。

执行测试操作并生成测试实例

  1. 进入运维中心。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据开发与治理 > 运维中心,在下拉框中选择对应工作空间后单击进入运维中心

  2. 对周期任务执行测试操作。

    运维中心页面,单击左侧导航栏周期任务运维 > 周期任务。进入周期任务页面。您可以通过以下两种方式对周期任务执行测试操作。

    • 方法一:在周期任务列表模式下,单击相应任务操作列的测试。如果当前页面非列表模式,您可单击页面中间的箭头图标返回列表模式。

    • 方法二:在DAG模式下,右键单击相应实例的DAG图,单击菜单中的测试。如果当前页面非DAG图模式,您可单击相应实例操作列的DAG图,打开该任务的DAG图。

  3. 配置冒烟测试相关参数。冒烟测试

    参数

    说明

    冒烟测试名称

    您可以输入冒烟测试的名称。

    选择业务日期

    选择需要进行测试的业务日期。

    说明
    • 业务日期选择昨天之前,则立即执行任务。

    • 如果业务日期选择昨天,则需等到任务定时时间才会执行任务。

查看测试实例列表

测试实例列表为您展示周期任务执行测试操作后生成的测试实例,您可以查看测试实例的执行情况,并对实例执行相关操作。

列表

操作

描述

筛选

在上图的模块1区域,您可以通过筛选条件过滤出需要查询的实例。

您可以根据节点名称节点ID节点类型运行日期业务日期、调度资源组我的节点我今天测试的节点暂停(冻结)等条件进行精确筛选。

说明

默认筛选的业务日期是当前时间的前一天。

任务列表

在上图的模块2区域,以列表方式展示满足过滤条件的测试实例。

操作

在上图的模块3区域,您可以对测试实例进行相关操作:

  • DAG图:DAG图为您展示测试实例的上下游依赖关系,您可以在DAG图中进行相关操作。详情请参见:附录:DAG图功能介绍

  • 去诊断(运行诊断):用于对任务进行全链路分析,当任务运行不符合预期时,您可以使用该功能定位问题。详情请参见智能诊断

  • 重跑:用于对运行成功或运行失败的任务进行重跑操作,当任务执行成功后可以触发下游未运行状态任务的调度。常用于处理出错节点和漏跑节点。

    说明

    仅支持重跑成功失败状态的任务。

  • 更多

    • 重跑下游:用于对运行成功或运行失败的任务进行重跑下游节点的操作,您可以自行选择需要重跑的下游任务,任务执行成功后可以触发下游未运行状态任务的调度。常用于处理数据修复。

      说明

      仅支持重跑成功失败状态的任务,如果勾选了其它状态的任务,页面会提示已选节点中包含不符合运行条件的节点,并禁止提交运行。

    • 置成功:用于将运行失败的任务设置为成功状态。当任务执行失败,但希望该任务不阻塞下游任务的运行时,可以使用此功能。常用于处理出错节点。

    • 终止运行:用于终止不需要运行的任务,任务终止运行后,将失败退出。

      说明

      仅支持对状态为等待时间等待资源运行中的实例进行终止运行操作。

    • 暂停(冻结):当任务及其下游任务一段时间内不需要运行时,可选择使用此功能。详情请参见:管理周期任务

      说明

      请勿操作projectname_root节点,该节点为工作空间根节点。周期任务的实例均依赖于该节点,如果冻结该节点,周期任务实例将无法运行。

    • 恢复(解冻):用于将冻结状态的实例解冻。

      • 如果该实例还未运行,则上游任务运行完毕后,会自动运行。

      • 如果上游任务都运行完毕,则该任务会直接被置为失败,需要手动重跑后,实例才会正常运行。

      说明

      解冻操作仅作用于该实例,如果您周期任务仍是冻结状态, 那么第二天生成的实例仍会是冻结状态。

    • 查看血缘:查看当前实例的血缘信息。

    • 查看节点详情:查看当前实例的基本信息。

    • 查看运行日志任务启动运行后,可通过运行日志查看任务的详细执行过程。日志中的核心参数介绍,请参见附录二:运行日志参数介绍

批量操作

在上图的模块4区域,您可以批量选择任务,进行终止运行重跑置成功暂停(冻结)恢复(解冻)等操作。

每页条数展示

在上图的模块5区域,您可以修改每页展示的条数,最大支持每页展示200条。

测试实例DAG图

在列表模式下单击测试实例名称或操作栏中的DAG图,即可打开该实例的DAG图。您可以在DAG图中,右键单击实例进行相关操作。DAG图

功能

描述

DAG面板功能

单击相应任务后的DAG图,打开该任务的DAG图。您可以在DAG图中进行如下操作:

  • 搜索:在上图的模块1区域,您可以根据节点名称节点ID实例ID实例名称等过滤出需要查询的实例。

  • 选择DAG图的显示样式:在上图模块2区域,您可以根据实际需要,单击DAG图所在界面右上角的功能图标,调整DAG图的显示样式。从左至右依次为:刷新节点状态放大DAG画布缩小DAG画布当前画布中各节点与画布按照1:1比例布局根据当前窗口大小自动适配布局

单个实例操作

您可以右键单击目标节点,执行相关操作。

  • 查看代码:用于确认生产环境当前节点的代码。若不符合预期,请确认节点最新版本是否已经发布成功。

  • 编辑节点:单击后即可跳转至数据开发页面打开当前节点。

说明

其他操作请参考查看测试实例列表

单个实例详情

在上图的模块4区域。您可以进行如下操作:

  • 查看日志任务启动运行后,可通过运行日志查看任务的详细执行过程。日志中的核心参数介绍,请参见附录二:运行日志参数介绍

  • 展开详情:用于查看当前任务属性、上下文、运行日志、操作日志、代码等信息。详情请参见:查看实例详情

查看实例详情

在DAG图模式下,单击对应实例,在右下角弹出的弹出中单击展开详情,将为您弹出实例详情页面,您可以查看当前实例的属性、上下文、运行日志、操作日志、代码等详细信息。

查看实例详情

功能

描述

属性

您可以在此页签查看任务在生产环境的调度属性。界面参数介绍详情请参见:配置资源属性

  • 任务状态解读:任务状态与任务运行有关,若任务处于未运行、等待时间、等待资源、冻结等状态时,您可以参考任务运行条件进行排查。

  • 等待资源耗时:当任务出现长时间等待资源的情况,您可以使用智能诊断功能定位当前任务运行时,哪些任务在占用资源,快速找到异常任务进行排查。

  • 运行时长过长:当任务运行时间与历史运行情况相比明显变长,您可参考以下场景进行处理。

  • 规则监控:您可以查看当前实例关联的监控规则情况,支持您单击右侧的新建快速创建任务运行状态监控规则,详情请参见规则管理

    说明

    此处仅支持查看监控任务运行状态的规则关联详情,不支持查看数据质量监控规则。

  • 基线监控:您可以查看当前实例关联的基线情况,支持您单击右侧的新建快速创建基线,详情请参见基线管理

上下文

为您展示当前任务的所有输入参数和输出参数,上下文的功能介绍详情请参见:配置节点上下文

运行日志

任务启动运行后,可通过运行日志查看任务的详细执行过程。日志中的核心参数介绍,请参见附录二:运行日志参数介绍

操作日志

用于查看任务或实例的操作记录(时间、操作人、具体操作)。

代码

用于查看生产环境当前任务的最新代码。若不符合预期,请确认任务最新版本是否已经发布成功。详情请参见:发布任务

任务运行问题定位

如果任务运行不符合预期,您可以通过运行诊断功能,诊断任务未运行的原因或存在的问题。