云原生大数据计算服务 MaxCompute：生命周期操作

生命周期

MaxCompute表的生命周期（Lifecycle），指表（分区）数据从最后一次更新的时间算起，在经过指定的时间后没有变动，则此表（分区）将被MaxCompute自动回收，这个指定的时间就是生命周期。生命周期回收为每天定时启动，扫描全量分区。

• 对于非分区表，当LastModifiedTime超过设定的生命周期时长时，MaxCompute会回收这些数据并删除对应的表。

• 对于分区表，则根据各分区的LastModifiedTime判断该分区数据是否该被回收，当最后一个分区被回收后，该表不会被删除。

  如果您需要在最后一个分区被回收后自动删除该表，可以通过以下两种方式进行设置：

  说明

  当项目级别与表级别的设置发生冲突，会优先使用表级别的设置。

  • 项目级别

    --最后一个分区被回收后自动删除该表
    setproject odps.table.lifecycle.deletemeta.on.expiration=true;
    
    --最后一个分区被回收后默认保留该表
    setproject odps.table.lifecycle.deletemeta.on.expiration=false;

  • 表级别

    ---创建新表：设置最后一个分区被回收后自动删除该表
    CREATE TABLE <Table_Name>(id int, name string)
         partitioned BY (ds string)
         tblproperties ('lifecycle.deletemeta'='true')
         lifecycle  1;
    ---已有表：设置最后一个分区被回收后自动删除该表
    ALTER TABLE <table_name> SET tblproperties('lifecycle.deletemeta'='true');
    
    --最后一个分区被回收后默认保留该表
    ALTER TABLE <table_name> SET tblproperties('lifecycle.deletemeta'='false');
    

生命周期操作命令如下。

注意事项

• 任务调度依赖不会影响表数据生命周期的到期回收。

• 为分区表设置生命周期时，该生命周期设置将应用于整个表，包括所有的分区，不支持在分区级别单独设置或修改生命周期时长。

• 数据被回收后，默认在回收站保留一天，超过一天，数据将被永久清理，清理后将无法恢复。

• 生命周期主要提供定期回收表或分区的功能，每天根据服务的繁忙程度，不定时回收。不能确保表或分区的生命周期到期后，立刻被回收。

• 在进行数据写入、更新和删除操作时，会更新LastModifiedTime；而修改生命周期时，不会影响LastModifiedTime。

设置生命周期

创建表

• 命令格式

  --创建新表。
   CREATE [external] TABLE [if not exists] <table_name>
   [(<col_name> <data_type> [default <default_value>] [comment <col_comment>], ...)]
   [comment <table_comment>]
   [partitioned BY (<col_name> <data_type> [comment <col_comment>], ...)]
   --用于创建聚簇表时设置表的Shuffle和Sort属性。
   [clustered BY | range clustered BY (<col_name> [, <col_name>, ...]) [sorted BY (<col_name> [ASC | DESC] [, <col_name> [ASC | DESC] ...])] INTO <number_of_buckets> buckets] 
   --仅限外部表。
   [stored by StorageHandler] 
   --仅限外部表。
   [with serdeproperties (options)] 
   --仅限外部表。
   [location <osslocation>] 
   --生命周期
   lifecycle <days>;
  
  --基于已存在的表创建具备相同结构的新表但不复制数据，支持外部表和湖仓一体外部项目中的表。
  create table [if not exists] <table_name> like <existing_table_name> [lifecycle <days>];

• 参数说明

  • table_name：必填。需要设置生命周期的表名称。

  • days：必填。修改后的生命周期时间，只能为正整数，单位为天。

    说明

    上述仅介绍设置生命周期相关的参数，其他创建表的详细参数说明，请参见创建表。

• 使用示例

  --新建test_lifecycle表，生命周期为100天。
  CREATE TABLE test_lifecycle (key string) lifecycle 100;

已有表

您可以通过以下方式对已有表，设置生命周期或修改生命周期时长。

• 命令格式

  ALTER TABLE <Table_Name> SET lifecycle <days>;

• 参数说明

  • table_name：必填。需要修改生命周期的表名称。

  • days：必填。修改后的生命周期时间，只能为正整数，单位为天。

• 使用示例

  --修改test_lifecycle表，将生命周期设为50天。
  ALTER TABLE test_lifecycle set lifecycle 50;

禁止或恢复生命周期

• 命令格式

  ALTER TABLE <table_name> [<pt_spec>] {enable|disable} lifecycle;

• 参数说明

  • table_name：必填。待禁止或恢复生命周期的表的名称。

  • pt_spec：可选。待禁止或恢复生命周期表的分区信息，对于有多级分区的表，必须指明全部的分区值。格式为partition_col1=col1_value1, partition_col2=col2_value1...。

  • enable和：恢复表或分区的生命周期功能。

    说明

    恢复表和分区的生命周期，默认应用之前已设置的生命周期时长，所以在恢复前需确认之前已设置的生命周期时长，以避免由于误用之前的配置而导致数据被回收。

  • disable：禁止表或分区的生命周期功能。

    说明

    • 禁止表生命周期，优先级高于恢复分区生命周期。例如已设置table disable lifecycle时，pt_spec enable lifecycle设置无效。

    • 即使生命周期功能被禁止，MaxCompute仍会记录之前设置的生命周期配置，并允许您在需要时进行修改。

• 使用示例

  • 示例1：禁止表trans的生命周期功能。

    ALTER TABLE trans disable lifecycle;

  • 示例2：禁止表trans中时间为20141111分区的生命周期功能。

    ALTER TABLE trans partition (dt='20141111') disable lifecycle;