全部产品
Search
文档中心

文件存储 CPFS:CreateDataFlowTask - 创建数据流动任务

更新时间:Nov 07, 2024

创建一个数据流动任务。

接口说明

  • 仅 CPFS 2.2.0 及以上版本、CPFS 智算版 2.4.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。

  • 仅支持在 Running(正常)状态的数据流动上创建数据流动任务。

  • 数据流动任务是异步执行的,您可通过 DescribeDataFlowTasks 查询任务执行状态。任务的耗时取决于需要导入、导出的数据量。如果是大量数据,建议拆分成多个任务执行。

  • 手动执行数据流动任务时,该数据流动的自动数据更新任务会被中断并等待。

  • 当创建导出任务时,需要确保 CPFS 和智算 CPFS 待导出的文件绝对路径总长度不能超过 1023 个字符。

  • CPFS 智算版支持批式任务和流式任务两种任务类型。更多信息,请参见任务类型介绍

调试

您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。

授权信息

下表是API对应的授权信息,可以在RAM权限策略语句的Action元素中使用,用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下:

  • 操作:是指具体的权限点。
  • 访问级别:是指每个操作的访问级别,取值为写入(Write)、读取(Read)或列出(List)。
  • 资源类型:是指操作中支持授权的资源类型。具体说明如下:
    • 对于必选的资源类型,用背景高亮的方式表示。
    • 对于不支持资源级授权的操作,用全部资源表示。
  • 条件关键字:是指云产品自身定义的条件关键字。
  • 关联操作:是指成功执行操作所需要的其他权限。操作者必须同时具备关联操作的权限,操作才能成功。
操作访问级别资源类型条件关键字关联操作
nas:CreateDataFlowTaskcreate
  • DataFlow
    acs:nas:{#regionId}:{#accountId}:filesystem/{#filesystemId}

请求参数

名称类型必填描述示例值
FileSystemIdstring

文件系统 ID。

  • CPFS:必须以cpfs-开头,例如 cpfs-125487****。

  • CPFS 智算版:必须以bmcpfs-开头,例如 bmcpfs-0015****。

说明 国际站不支持 CPFS。
cpfs-099394bd928c****
DataFlowIdstring

数据流动 ID。

df-194433a5be31****
SrcTaskIdstring

当指定 SrcTaskId 时,需填写数据流动任务 ID。系统将从目标数据流动任务中复制 TaskAction、DataType 和 EntryList 参数信息,您无需单独指定这些内容。

说明 不支持数据流动流式任务。
task-29ee8e890f45****
TaskActionstring

数据流动任务类型。

取值:

  • Import:从源端存储将指定的数据导入至 CPFS。
  • Export:将 CPFS 上指定的数据导出至源端存储。
  • StreamImport:从源端存储将指定的数据批量导入至 CPFS。
  • StreamExport:将 CPFS 上指定的数据批量导出至源端存储。
说明 StreamImport 和 StreamExport 仅 CPFS 智算版 2.6.0 版本及以上版本支持。
Import
DataTypestring

数据流动任务操作的数据类型。

取值:

  • Metadata:文件的元数据,包括文件的 timestamp、 ownership、permission 等属性信息。选择 Metadata,只会导入文件的元数据,用户只能看到该文件,但访问该文件数据时,数据从源端存储按需加载。
  • Data:文件的数据块。
  • MetaAndData:文件的元数据和数据块。
Metadata
Directorystring

数据的源目录。

限制:

  • 长度为 1~1023 个字符。
  • 使用 UTF-8 编码。
  • 必须以正斜线(/)开头和结尾。
  • 一次只能列举一个目录。
  • 当 TaskAction 为 Export 时,该目录必须是 FileSystemPath 内的相对路径。
  • 当 TaskAction 为 Import 时,该目录必须是 SourceStoragePath 内的相对路径。
  • 当 TaskAction 为 StreamExport 时,该目录必须是 FileSystemPath 内的相对路径。
  • 当 TaskAction 为 StreamImport 时,该目录必须是 SourceStoragePath 内的相对路径。
说明 StreamImport 和 StreamExport 仅 CPFS 智算版 2.6.0 版本及以上版本支持。
/path_in_cpfs/
EntryListstring

数据流动任务执行的文件列表。

限制:

  • 使用 UTF-8 编码。
  • 文件列表总长度小于 64KB。
  • 文件列表采用 JSON 格式。
  • 单个文件路径长度为 1~1023 个字符,且必须以正斜线(/)开头。
  • 当 TaskAction 为 Import 时,列表中每个元素代表一个 OSS Object 名称。
  • 当 TaskAction 为 Export 时,列表中每个元素代表一个 CPFS 文件路径。
["/path_in_cpfs/file1", "/path_in_cpfs/file2"]
DryRunboolean

是否对此次创建请求执行预检。

预检操作会帮助您检查参数有效性、校验库存等,并不会实际创建实例,也不会产生费用。

取值:

  • true:发送检查请求,不会创建实例。检查项包括是否填写了必需参数、请求格式、业务限制和 NAS 库存。如果检查不通过,则返回对应错误。如果检查通过,则返回 200 HttpCode,但 TaskId 为空。
  • false(默认值):发送正常请求,通过检查后直接创建实例。
false
ClientTokenstring

保证请求幂等性,从您的客户端生成一个参数值,确保不同请求间该参数值唯一。

ClientToken 只支持 ASCII 字符,且不能超过 64 个字符。更多信息,请参见如何保证幂等性

说明 若您未指定,则系统自动使用 API 请求的 RequestId 作为 ClientToken 标识。每次 API 请求的 RequestId 可能不一样。
123e4567-e89b-12d3-a456-42665544****
ConflictPolicystring

同名文件冲突策略。 取值:

  • SKIP_THE_FILE:跳过同名文件。
  • KEEP_LATEST:比较更新时间,保留最新版本。
  • OVERWRITE_EXISTING:强制覆盖同名文件。
说明 当文件系统类型为 cpfs 智算版时,该参数必填。
SKIP_THE_FILE
DstDirectorystring

数据流动任务映射目标目录。 限制:

  • 必须以正斜线(/)开头和结尾,不支持/../。
  • 长度为 1~1023 个字符。
  • 使用 UTF-8 编码。
  • 一次只能列举一个目录。
  • 当 TaskAction 为 Export 时,该目录必须是 SourceStoragePath 内的相对路径。
  • 当 TaskAction 为 Import 时,该目录必须是 FileSystemPath 内的相对路径。
  • 当 TaskAction 为 StreamExport 时,该目录必须是 SourceStoragePath 内的相对路径。
  • 当 TaskAction 为 StreamImport 时,该目录必须是 FileSystemPath 内的相对路径。
说明 StreamImport 和 StreamExport 仅 CPFS 智算版 2.6.0 版本及以上版本支持。
/path_in_cpfs/
CreateDirIfNotExistboolean

目录不存在时,自动创建目录。 取值:

  • true:自动创建目录。
  • false(默认值):不自动创建目录。
说明
  • TaskAction = Import 时,该参数生效。
  • 仅 CPFS 智算版 2.6.0 版本及以上版本支持。
  • false

    返回参数

    名称类型描述示例值
    object
    RequestIdstring

    请求 ID。

    2D69A58F-345C-4FDE-88E4-BF518948****
    TaskIdstring

    数据流动任务 ID。

    task-38aa8e890f45****

    示例

    正常返回示例

    JSON格式

    {
      "RequestId": "2D69A58F-345C-4FDE-88E4-BF518948****",
      "TaskId": "task-38aa8e890f45****"
    }

    错误码

    HTTP status code错误码错误信息描述
    400IllegalCharactersThe parameter contains illegal characters.参数非法。
    400MissingFileSystemIdFileSystemId is mandatory for this action.未指定FileSystemId参数。
    400MissingDataFlowIdDataFlowId is mandatory for this action.未指定DataFlowId参数。
    400InvalidFilesystemVersion.NotSupportThis Api does not support this fileSystem version.当前接口不支持该版本文件系统。
    403OperationDenied.InvalidStateThe operation is not permitted when the status is processing.状态处理中不允许此操作。
    403OperationDenied.DependencyViolationThe operation is denied due to dependancy violation.进行该操作的条件不满足。
    403OperationDenied.DataFlowNotSupportedThe operation is not supported.该文件系统不支持数据流动。
    404InvalidParameter.InvalidFormatThe EntryList format is invalid.指定的EntryList的格式不符合要求。
    404InvalidParameter.SizeTooLargeThe specified EntryList size exceeds 64 KB.指定的EntryList的大小超过64 KB。
    404InvalidDataFlow.NotFoundThe specified data flow does not exist.指定的数据流动不存在。
    404InvalidTaskAction.NotSupportedThe task action is not supported.指定的任务类型不支持。
    404InvalidTaskAction.PermissionDeniedThe task action is not allowed.指定的任务类型不允许,例如复制系统。
    404InvalidSrcTaskId.NotFoundThe SrcTaskId is not found.指定的 SrcTaskId 不存在。
    404InvalidDataType.NotSupportedThe data type is not supported.指定的数据类型不支持。
    404InvalidSrcTaskId.TaskIdInvalidSource task ID is invalid.指定的需要复制的任务 ID 非法
    404InvalidSrcTaskId.TaskIdNotFoundSource task ID is not found.指定的需要复制的任务 ID 不存在。

    访问错误中心查看更多错误码。

    变更历史

    变更时间变更内容概要操作
    2024-09-09OpenAPI 错误码发生变更、OpenAPI 入参发生变更查看变更详情
    2024-02-29OpenAPI 错误码发生变更、OpenAPI 入参发生变更查看变更详情