全部产品
Search
文档中心

文件存储 CPFS:DescribeDataFlowTasks - 查询数据流动任务列表

更新时间:Nov 14, 2024

查询数据流动任务详细信息。

接口说明

仅 CPFS 智算版 2.4.0 及以上版本支持查询数据流动任务。您可以在控制台文件系统详情页面查看版本信息。

调试

您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。

授权信息

下表是API对应的授权信息,可以在RAM权限策略语句的Action元素中使用,用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下:

  • 操作:是指具体的权限点。
  • 访问级别:是指每个操作的访问级别,取值为写入(Write)、读取(Read)或列出(List)。
  • 资源类型:是指操作中支持授权的资源类型。具体说明如下:
    • 对于必选的资源类型,用背景高亮的方式表示。
    • 对于不支持资源级授权的操作,用全部资源表示。
  • 条件关键字:是指云产品自身定义的条件关键字。
  • 关联操作:是指成功执行操作所需要的其他权限。操作者必须同时具备关联操作的权限,操作才能成功。
操作访问级别资源类型条件关键字关联操作
nas:DescribeDataFlowTasksget
*DataFlow
acs:nas:{#regionId}:{#accountId}:filesystem/{#filesystemId}

请求参数

名称类型必填描述示例值
FileSystemIdstring

文件系统 ID。

  • CPFS:必须以cpfs-开头,例如 cpfs-099394bd928c****。

  • CPFS 智算版:必须以bmcpfs-开头,例如 bmcpfs-290w65p03ok64ya**** 。

说明 国际站不支持 CPFS。
bmcpfs-290w65p03ok64ya****
Filtersarray<object>

筛选键的信息合集。

object
Keystring

筛选键的名称。

取值:

  • DataFlowIds: 根据数据流动 ID 筛选。
  • TaskIds:根据数据流动任务的 ID 筛选。
  • Originator:根据数据流动任务的发起者筛选。
  • TaskActions:根据数据流动任务的类型筛选。
  • DataTypes:根据数据流动任务的数据类型筛选。
  • Status:根据数据流动状态筛选。
  • CreateTimeBegin:筛选指定时间后创建的数据流动任务。
  • CreateTimeEnd:筛选指定时间前创建的数据流动任务。
  • StartTimeBegin:筛选指定时间后启动的数据流动任务。
  • StartTimeEnd:筛选指定时间前启动的数据流动任务。
  • EndTimeBegin:筛选指定时间后结束的数据流动任务。
  • EndTimeEnd:筛选指定时间前结束的数据流动任务。
DataFlowIds
Valuestring

筛选键的值。该参数不支持通配符。

  • Key 取值为 DataFlowIds 时,Value 取值为数据流动 ID 或数据流动 ID 的一部分。可以是一个或一组 DataFlowId,数据流动 ID 最多可设置 10 个。例如,df-194433a5be31****df-194433a512a2****,df-234533a5be31****
  • 当 Key 取值为 TaskId 时,Value 取值为数据流动任务 ID 或数据流动任务 ID 的部分。可以是一个或一组数据流动任务 ID,数据流动任务 ID 最多可设置 10 个。例如,task-38aa8e890f45****task-38aa8e890f45****,task-29ae8e890f45****
  • 当 Key 取值为 TaskActions 时,Value 取值为数据流动的任务类型,包括 ImportExportEvictInventoryStreamImportStreamExport。支持组合查询。目前 CPFS 智算版只支持 Import、Export、StreamImport 和 StreamExport。StreamImport 和 StreamExport 仅 CPFS 智算版 2.6.0 版本及以上版本支持。
  • 当 Key 取值为 DataTypes 时,Value 取值为数据流动任务的数据类型,包括 MetaAndData、Metadata 和 Data。支持组合查询。
  • 当 Key 取值为 Originator 时,Value 取值为数据流动任务的发起者,包括 User,System。
  • 当 Key 取值为 Status 时,Value 取值为数据流动任务的状态,包括 Pending、Executing、Failed、Completed、Canceling 和 Canceled。支持组合查询。
  • 当 Key 取值为 CreateTimeBegin 时,Value 取值为数据流动任务创建时间最小值。格式为yyyy-MM-ddThh:mmZ
  • 当 Key 取值为 CreateTimeEnd 时,Value 取值为数据流动任务创建时间最大值。格式为yyyy-MM-ddThh:mmZ
  • 当 Key 取值为 StartTimeBegin 时,Value 取值为数据流动任务启动时间最小值。格式为yyyy-MM-ddThh:mmZ
  • 当 Key 取值为 StartTimeEnd 时,Value 取值为数据流动任务启动时间最大值。格式为yyyy-MM-ddThh:mmZ
  • 当 Key 取值为 EndTimeBegin 时,Value 取值为数据流动任务结束时间最小值。格式为yyyy-MM-ddThh:mmZ
  • 当 Key 取值为 EndTimeEnd 时,Value 取值为数据流动任务结束时间最大值。格式为yyyy-MM-ddThh:mmZ
df-194433a5be31****
NextTokenstring

当请求的返回结果被截断时,您可以使用 NextToken 再次发起请求,获取从当前截断位置之后的内容。

TGlzdFJlc291cmNlU****mVzJjE1MTI2NjY4NzY5MTAzOTEmMiZORnI4NDhVeEtrUT0=
MaxResultslong

每次查询结果的个数。

取值范围:10~100。

默认值:20。

20

返回参数

名称类型描述示例值
object
RequestIdstring

请求 ID。

2D69A58F-345C-4FDE-88E4-BF518948****
NextTokenstring

当请求的返回结果被截断时,您可以使用 NextToken 再次发起请求,获取从当前截断位置之后的内容。

TGlzdFJlc291cmNlU****mVzJjE1MTI2NjY4NzY5MTAzOTEmMiZORnI4NDhVeEtrUT0=
TaskInfoarray<object>

数据流动任务的信息集合。

Taskobject
FilesystemIdstring

文件系统 ID。

bmcpfs-290w65p03ok64ya****
DataFlowIdstring

数据流动 ID。

df-194433a5be31****
TaskIdstring

数据流动任务 ID。

task-38aa8e890f45****
SourceStoragestring

源端存储的访问地址。格式:<storage type>://[<account id>:]<path>

其中:

  • storage type:目前只支持 oss。

  • account id:源端存储所属账号的 UID。

  • path:OSS 的 Bucket 名称。限制如下。

    • 仅支持小写字母、数字和短划线(-)且必须以小写字母或者数字开头和结尾。

    • 最长为 128 个字符。

    • 使用 UTF-8 编码。

说明
  • OSS Bucket 必须为在该地域已存在的 Bucket。
  • 仅 CPFS 智算版 2.6.0 及以上版本支持 account id 参数。
  • oss://178321033379****:bucket-01
    FileSystemPathstring

    Fileset 在 CPFS 文件系统中的路径。

    限制:

    • 长度为 2~1024 个英文或中文字符。
    • 使用 UTF-8 编码。
    • 必须以/开头和结尾。
    • 该目录必须是 CPFS 上的 Fileset 目录。
    说明 仅 CPFS 支持该参数。
    /a/b/c/
    Originatorstring

    数据流动任务的发起者。 包括:

    • User:用户是该任务的发起者。
    • System:该任务是自动更新任务,是 CPFS 根据自动更新间隔时间自动发起的任务。
    说明 仅 CPFS 支持该参数。
    User
    TaskActionstring

    数据流动任务类型。包括:

    • Import:从源端存储将指定的数据导入至 CPFS。
    • Export:将 CPFS 上指定的数据导出至源端存储。
    • StreamImport:从源端存储将指定的数据流式任务导入至 CPFS。
    • StreamExport:将 CPFS 上指定的数据流式任务导出至源端存储。
    • Evict:释放 CPFS 上文件的数据块,释放后文件在 CPFS 上只保留元数据,您仍能查询该文件,但文件数据块已清除,不占用 CPFS 上的存储容量。当访问该文件数据时,将再从源端存储按需加载。
    • Inventory:获取 CPFS 上数据流动管理的文件清单,可提供文件在数据流动中的缓存状态。
    说明 StreamImport 和 StreamExport 仅 CPFS 智算版 2.6.0 版本及以上版本支持。
    Import
    DataTypestring

    数据流动任务操作的数据类型。包括:

    • Metadata:文件的元数据,包括文件的 timestamp, ownership, permission 等属性信息。选择 Metadata,只会导入文件的元数据,用户只能看到该文件,但访问该文件数据时,数据从源端存储按需加载。
    • Data:文件的数据块。
    • MetaAndData:文件的元数据和数据块。
    说明 CPFS 智算版仅支持 MetaAndData 类型。
    MetaAndData
    Progresslong

    数据流动任务的进度。当前数据流动任务已经执行的操作数量。

    50
    Statusstring

    数据流动任务的状态。包括:

    • Pending: 数据流动任务已创建,在排队中未开始执行。
    • Executing:数据流动任务在执行中。
    • Failed:数据流动任务执行失败,可以通过查看数据流动任务报告,查看失败原因。
    • Completed:数据流动任务执行结束,可以通过查看数据流动任务报告,查看所有文件已正确传输。
    • Canceled:数据流动任务被取消并且没有完成。
    • Canceling:数据流动任务正在被取消。
    Failed
    ReportPathdeprecatedstring

    数据流动任务报告在 CPFS 文件系统中保存的路径。

    • CPFS 的任务报告会生成在该 CPFS 的.dataflow_report目录中。
    • CPFS 智算版会返回一个 oss 下载链接,可以通过链接下载任务报告。
    /path_in_cpfs/reportfile.cvs
    CreateTimestring

    任务创建时间。

    2021-08-04 18:27:35
    StartTimestring

    任务开始执行时间。

    2021-08-04 18:27:35
    EndTimestring

    任务结束时间。

    2021-08-04 18:27:35
    FsPathstring

    智能目录路径。

    /aa/
    ConflictPolicystring

    同名文件冲突策略。

    • SKIP_THE_FILE:跳过同名文件。
    • KEEP_LATEST:比较更新时间,保留最新版本。
    • OVERWRITE_EXISTING:强制覆盖同名文件。
    KEEP_LATEST
    Directorystring

    数据流动任务执行的目录。

    /path_in_cpfs/
    DstDirectorystring

    数据流动任务映射目标目录。

    /path_in_cpfs/
    ErrorMsgstring

    任务异常原因。

    说明 当该字段未返回或者返回为空时,表示没有错误信息。
    {"ErrorKey":"PATH_NOT_ACCESSIBLE","ErrorDetail":"lstat /cpfs/370lx1ev9ss27o****/test/abcdfnotfound: no such file or directory"}
    ProgressStatsobject

    数据流动任务进度信息。

    FilesTotallong

    源端扫描到文件数。

    3
    FilesDonelong

    已完成数据流动文件数(包括跳过)。

    3
    ActualFileslong

    实际流动文件数。

    3
    BytesTotallong

    源端扫描到数据量。单位:字节。

    131092971520
    BytesDonelong

    已完成数据流动数据量(包括跳过数据)。单位:字节。

    131092971520
    ActualByteslong

    实际流动数据量。单位:字节。

    131092971520
    RemainTimelong

    预计剩余完成时间。单位:秒。

    437
    AverageSpeedlong

    平均流动速度。单位:Byte/s。

    342279299
    Reportsarray<object>

    报告列表。

    说明 流式任务不支持报告。
    Reportobject
    Namestring

    报告名称。

    • CPFS:

      TotalFilesReport:任务报告。

    • CPFS 智算版:

      • FailedFilesReport:失败的文件报告。
      • SkippedFilesReport:跳过的文件报告。
      • SuccessFilesReport:成功文件报告。
    TotalFilesReport
    Pathstring

    报告链接。

    https://a-hbr-temp-cn-hangzhou-staging.oss-cn-hangzhou.aliyuncs.com/temp/report/162319438359****/job-000bb6fwqficjbxk****/job-000bb6fwqficjbxk****_failed.zip?Expires=1721201422&OSSAccessKeyId=LTAIjGotF8w****&Signature=Fp%2BvauORTIVxooXY2tec6z0T%2Bp4%3D

    示例

    正常返回示例

    JSON格式

    {
      "RequestId": "2D69A58F-345C-4FDE-88E4-BF518948****",
      "NextToken": "TGlzdFJlc291cmNlU****mVzJjE1MTI2NjY4NzY5MTAzOTEmMiZORnI4NDhVeEtrUT0=",
      "TaskInfo": {
        "Task": [
          {
            "FilesystemId": "bmcpfs-290w65p03ok64ya****",
            "DataFlowId": "df-194433a5be31****",
            "TaskId": "task-38aa8e890f45****",
            "SourceStorage": "oss://178321033379****:bucket-01",
            "FileSystemPath": "/a/b/c/",
            "Originator": "User",
            "TaskAction": "Import",
            "DataType": "MetaAndData ",
            "Progress": 50,
            "Status": "Failed",
            "ReportPath": "/path_in_cpfs/reportfile.cvs",
            "CreateTime": "2021-08-04 18:27:35",
            "StartTime": "2021-08-04 18:27:35",
            "EndTime": "2021-08-04 18:27:35",
            "FsPath": "/aa/",
            "ConflictPolicy": "KEEP_LATEST",
            "Directory": "/path_in_cpfs/",
            "DstDirectory": "/path_in_cpfs/\n",
            "ErrorMsg": "{\"ErrorKey\":\"PATH_NOT_ACCESSIBLE\",\"ErrorDetail\":\"lstat /cpfs/370lx1ev9ss27o****/test/abcdfnotfound: no such file or directory\"}",
            "ProgressStats": {
              "FilesTotal": 3,
              "FilesDone": 3,
              "ActualFiles": 3,
              "BytesTotal": 131092971520,
              "BytesDone": 131092971520,
              "ActualBytes": 131092971520,
              "RemainTime": 437,
              "AverageSpeed": 342279299
            },
            "Reports": {
              "Report": [
                {
                  "Name": "TotalFilesReport",
                  "Path": "https://a-hbr-temp-cn-hangzhou-staging.oss-cn-hangzhou.aliyuncs.com/temp/report/162319438359****/job-000bb6fwqficjbxk****/job-000bb6fwqficjbxk****_failed.zip?Expires=1721201422&OSSAccessKeyId=LTAIjGotF8w****&Signature=Fp%2BvauORTIVxooXY2tec6z0T%2Bp4%3D"
                }
              ]
            }
          }
        ]
      }
    }

    错误码

    HTTP status code错误码错误信息描述
    400IllegalCharactersThe parameter contains illegal characters.参数非法。
    400MissingFileSystemIdFileSystemId is mandatory for this action.未指定FileSystemId参数。
    400InvalidFilesystemVersion.NotSupportThis Api does not support this fileSystem version.当前接口不支持该版本文件系统。
    403OperationDenied.DataFlowNotSupportedThe operation is not supported.该文件系统不支持数据流动。
    404InvalidParameter.InvalidNextTokenThe specified NextToken is invaild.-
    404InvalidFileSystem.NotFoundThe specified file system does not exist.指定的文件系统不存在。
    404InvalidDataFlow.NotFoundThe specified data flow does not exist.指定的数据流动不存在。
    404InvalidParameter.InvalidMaxResultsThe specified MaxResults is invalid.指定的MaxResults非法。
    404InvalidFilterParamThe specified Filter.N.Key is invalid.指定的Filter.N.Key参数非法。

    访问错误中心查看更多错误码。

    变更历史

    变更时间变更内容概要操作
    2024-09-09OpenAPI 错误码发生变更、OpenAPI 返回结构发生变更查看变更详情
    2024-02-29OpenAPI 错误码发生变更、OpenAPI 返回结构发生变更查看变更详情