优惠中心

新用户5折优惠券

邮件推送 - 5.4折优惠

了解更多

查看历史作业实例日志

更新时间:2024-12-20 08:50

实时计算Flink版支持在作业日志界面、对象存储OSS或者日志服务SLS上查看历史作业实例的日志。本文为您介绍如何在作业日志界面、OSS或SLS上查看历史作业实例日志。

背景信息

如果出现以下情况,则您需要查看历史作业实例的日志:

  • 您需要查看、搜索和分析历史作业实例的运行日志(系统默认保留最近5 MB大小的运行日志)。

  • Flink UI无法打开,需要查看Job Manager日志定位问题。

本文为您介绍查看历史作业实例日志的三种途径:

前提条件

  • 作业日志页签查看历史作业实例日志,需要您在日志配置中已打开日志归档功能。默认已开启日志归档功能,归档日志有效期7天。查看历史作业实例日志2.jpg

  • 在OSS或者SLS上查看历史实例的日志,需要您在实时计算Flink版上已配置了历史作业实例的日志输出到OSS或者SLS,详情请参见配置作业日志输出

注意事项

  • 当日志文件达到指定的大小时,系统将自动对日志进行归档,并定期清理超过归档有效期的日志文件,作业停止后未清理的归档日志会被保存下来,不会自动清理。若作业被删除,则相应的日志也将随之删除。

    说明

    2024年11月发布新版本后,实时计算管理控制台所有存量作业日志(包括作业停止后未清理的归档日志)只要超过了归档日志有效期都会被清理。

  • 如果Task Manager和Job Manager任意一个启动,日志都会写到SLS或OSS。但Task Manager和Job Manager都没有正常启动时,日志不会被写到SLS或OSS。

  • 如果因为Job Manager和Task Manager都没有正常启动,导致您在OSS上没有找到对应的日志文件,请联系我们。

  • 日志配置中默认会保留2个文件,每个文件大小为5 MB,不建议您修改该值。如果该日志保存大小不满足您的需求,则请将日志输出至OSS中。查看历史作业3.jpg

    说明

    图片上的文件个数不包括正在写的文件,即如果这里配置为1,则最多会保存2个文件,一个保存在内存中,一个保存在您的本地磁盘中。

在作业日志界面查看

  1. 登录实时计算管理控制台

  2. 单击目标工作空间操作列下的控制台

  3. 在左侧导航栏上,选择运维中心 > 作业运维

  4. 单击目标作业名称。

  5. 单击作业日志

  6. 在左侧运行日志页签,单击作业右侧的下拉框,选择历史运行作业。

    查看历史作业实例日志.jpg

  7. 查看Job Manager和Task Managers日志。

    Job ManagerTask Managers页签,分别单击对应的日志名称,进行查看。

在OSS上查看

  1. 登录OSS管理控制台

  2. 在左侧导航栏,单击Bucket列表

  3. 单击您开通Flink工作空间时,配置的Bucket名称

  4. 文件管理中,查看对应目录日志信息。

    文件夹

    说明

    文件夹

    说明

    artifacts

    上传的JAR包会被存储到该目录。

    flink-jobs

    Flink作业的Checkpoint会被存储到该目录。

    flink-savepoints

    实时计算开发控制台运维中心 > 作业运维上,单击作业的创建快照,会触发Savepoint操作,最终的Savepoint文件会被存储到该目录。

    logs

    如果您作业的日志模板选择了OSS,则您的作业的日志会被存储到该目录。

    说明

    logs目录下作业存储路径为:logs/${工作空间ID}/${作业ID}/${实例ID}。您可以通过该目录结构找到相应作业的JM(Job Manager)和TM(Task Manager)日志。

在SLS上查看

  1. 登录日志服务控制台

  2. 全部的Project区域,单击目标Project。

  3. 日志库页签,单击目标Logstore。

  4. 输入查询分析语句,选择时间范围,单击查询/分析

    详情请参见查询与分析快速指引

  • 本页导读 (1)
  • 背景信息
  • 前提条件
  • 注意事项
  • 在作业日志界面查看
  • 在OSS上查看
  • 在SLS上查看
文档反馈
phone 联系我们

立即和Alibaba Cloud在线服务人员进行交谈,获取您想了解的产品信息以及最新折扣。

alicare alicarealicarealicare