SelectDB通过OSS导入数据 - 云数据库 SelectDB 版

云数据库 SelectDB 版结合OSS对象存储提供了内网高速导入功能，且单次导入数据量可达百GB级别。本文介绍如何通过OSS Load导入数据至云数据库 SelectDB 版实例中。

前提条件

已获取AccessKey信息。具体操作，请参见创建AccessKey。
已开通OSS服务，并创建与云数据库 SelectDB 版实例位于相同地域的存储空间（Bucket）。具体操作，请参见开通OSS服务和创建存储空间。
请确保OSS存储空间（Bucket）与云数据库 SelectDB 版实例在同一地域，并使用阿里云VPC网络访问OSS。

导入语法

LOAD LABEL load_label
(
    data_desc1[, data_desc2, ...]
)
WITH S3
(
    "AWS_PROVIDER" = "OSS",
    "AWS_REGION" = "REGION",  
    "AWS_ENDPOINT" = "ENDPOINT",
    "AWS_ACCESS_KEY" = "AccessKey ID",
    "AWS_SECRET_KEY"="AccessKey Secret"
)
PROPERTIES 
(
  "key1"="value1", ...
);

说明

云数据库 SelectDB 版支持从所有兼容AWS S3协议的对象存储系统中导入数据，因此导入语法中采用了AWS、S3等关键词。

参数说明

data_desc1用于描述一组需要导入的文件，其完整定义如下。

[MERGE|APPEND|DELETE]
DATA INFILE
(
"file_path1"[, file_path2, ...]
)
[NEGATIVE]
INTO TABLE `table_name`
[PARTITION (p1, p2, ...)]
[COLUMNS TERMINATED BY "column_separator"]
[FORMAT AS "file_type"]
[(column_list)]
[COLUMNS FROM PATH AS (c1, c2, ...)]
[PRECEDING FILTER predicate]
[SET (column_mapping)]
[WHERE predicate]
[DELETE ON expr]
[ORDER BY source_sequence]
[PROPERTIES ("key1"="value1", ...)]

参数名称	参数说明
`[MERGE\|APPEND\|DELETE]`	数据合并类型，默认为`APPEND`，表示本次导入是普通的追加写操作`MERGE`和`DELETE`类型仅适用于Unique Key模型表。其中`MERGE`类型需要配合`[DELETE ON]`语句使用，以标注Delete Flag列。而`DELETE`类型则表示本次导入的所有数据皆为删除数据。
`DATA INFILE`	指定需要导入的文件路径。可以是多个，可以使用通配符。路径最终必须匹配到文件，如果只匹配到目录则导入会失败。
`NEGTIVE`	本次导入为一批”负“导入。这种方式仅针对具有整型SUM聚合类型的聚合数据表。该方式会将导入数据中，SUM聚合列对应的整型数值取反。主要用于冲抵之前导入错误的数据。
`PARTITION(p1, p2, ...)`	指定仅导入表的某些分区，不在分区范围内的数据将被忽略。
`COLUMNS TERMINATED BY`	指定列分隔符。仅在`CSV`格式下有效，仅支持单字节分隔符。
`FORMAT AS`	指定文件类型，支持`CSV`、`PARQUET`和`ORC`格式，默认为`CSV`。
`column list`	用于指定原始文件中的列顺序。详细信息，请参见数据转换。
`COLUMNS FROM PATH AS`	指定从导入文件路径中抽取的列。
`PRECEDING FILTER predicate`	前置过滤条件。数据首先根据`column list`和`COLUMNS FROM PATH AS`按顺序拼接成原始数据行。然后按照前置过滤条件进行过滤。详细信息，请参见数据转换。
`SET (column_mapping)`	指定列的转换函数。
`WHERE predicate`	根据条件对导入的数据进行过滤。详细信息，请参见数据转换。
`DELETE ON expr`	需配合`MEREGE`导入模式一起使用，仅针对Unique Key模型的表。用于指定导入数据中表示Delete Flag的列和计算关系。
`ORDER BY`	仅针对Unique Key模型的表。用于指定导入数据中表示Sequence Col的列。主要用于导入时保证数据顺序。
`PROPERTIES ("key1"="value1", ...)`	指定导入的format的一些参数。如导入的文件是`JSON`格式，则可以在这里指定`json_root`、`jsonpaths`、`fuzzy_parse`等参数。

云存储服务配置参数说明如下。

参数名称	参数说明
`AWS_PROVIDER`	对象存储的服务提供商，固定为OSS。
`AWS_REGION`	访问OSS数据的地域。
`AWS_ENDPOINT`	访问OSS数据的`Endpoint`。如何获取，请参见访问域名和数据中心。重要请确保OSS存储空间（Bucket）与您的云数据库 SelectDB 版实例在同一地域。
`AWS_ACCESS_KEY`	访问OSS数据的`Accesskey ID`。
`AWS_SECRET_KEY`	访问OSS数据的`AccessKey Secret`。

PROPERTIES的常用参数定义如下。

参数名称	参数说明
`timeout`	导入超时时间，单位：秒，默认为`14400`，即4小时。
`max_filter_ratio`	最大容忍可过滤（数据不规范等原因）的数据比例。默认为`0`，即零容忍，取值范围为0到1。
`exec_mem_limit`	导入内存限制，单位：Byte，默认为`2147483648`，即2 GiB。
`strict_mode`	是否对数据进行严格限制，默认为`false`。
`timezone`	指定某些受时区影响的函数的时区，如`strftime/alignment_timestamp/from_unixtime`等。详细信息，请参见时区。默认为`"Asia/Shanghai"`时区。
`load_parallelism`	导入并发度，默认为`1`。调大导入并发度会启动多个执行计划同时执行导入任务，加快导入速度。
`send_batch_parallelism`	用于设置发送批处理数据的并行度，如果并行度的值超过BE配置中的`max_send_batch_parallelism_per_job`，那么作为协调点的BE将使用`max_send_batch_parallelism_per_job`的值。
`load_to_single_tablet`	是否只导入数据到对应分区的一个tablet，默认值为`false`。该参数只允许在对带有random分区的Duplicate表导入数据的时候设置。

使用示例

创建待导入的SelectDB数据表，示例如下。

CREATE TABLE test_table
(
    id int,
    name varchar(50),
    age int,
    address varchar(50),
    url varchar(500)
)
DISTRIBUTED BY HASH(id) BUCKETS 4
PROPERTIES("replication_num" = "1");

创建待导入的文件test_file.txt，示例如下。

1,yang,32,shanghai,http://example.com
2,wang,22,beijing,http://example.com
3,xiao,23,shenzhen,http://example.com
4,jess,45,hangzhou,http://example.com
5,jack,14,shanghai,http://example.com
6,tomy,25,hangzhou,http://example.com
7,lucy,45,shanghai,http://example.com
8,tengyin,26,shanghai,http://example.com
9,wangli,27,shenzhen,http://example.com
10,xiaohua,37,shanghai,http://example.com

通过以下方式进行OSS Load，示例如下。

LOAD LABEL test_db.test_label_1
(
    DATA INFILE("s3://your_bucket_name/test_file.txt")
    INTO TABLE test_table
    COLUMNS TERMINATED BY ","
)
WITH S3
(
    "AWS_PROVIDER" = "OSS",
    "AWS_REGION" = "oss-cn-beijing",  
    "AWS_ENDPOINT" = "oss-cn-beijing-internal.aliyuncs.com",
    "AWS_ACCESS_KEY" = "<your_access_key>",
    "AWS_SECRET_KEY"="<your_secret_key>"
)
PROPERTIES
(
    "timeout" = "3600"
);

说明

对象存储的路径固定以“s3://”开头。

前提条件

导入语法​

参数说明

使用示例

导入语法