全部产品
Search

搜索本产品

    云原生数据湖分析 DLA - 文档停止维护：背景信息

    文档中心

    云原生数据湖分析 DLA - 文档停止维护：背景信息

    更新时间：Dec 10, 2019

    OLAP场景中，为避免复杂SQL运行时间过长，程序一直阻塞等待而影响业务运行，DLA推出异步执行SQL功能，即在SQL中加入Hint/*+ run-async=true */。异步执行SQL时，查询结果将默认写入您的OSS目录中，同时系统返回SQL对应的ID，通过show query_task查询ID得到SQL任务的执行详情。

    注意：在DLA中异步执行SQL时，必须开通OSS服务，存储SQL执行结果。

    示例

    例如，在DLA中通过/*+ run-async=true */异步执行SQL，系统将返回一个ID。

    1. mysql> /*+ run-async=true */select * from test_table1;
    2. +--------------------------------+
    3. | ASYNC_TASK_ID                  |
    4. +--------------------------------+
    5. | q201811021109sh8d1a0b750000182 |
    6. +--------------------------------+
    7. 1 row in set (0.04 sec)

    通过show query_task查询ID，得到异步SQL执行详情。

    1. mysql> show query_task where id = 'q201811021109sh8d1a0b750000182'\G
    2. *************************** 1. row ***************************
    3.                   id: q201811021109sh8d1a0b750000182
    4.         mpp_query_id: 20181102_030939_149_svnhw
    5.               status: SUCCESS
    6.            task_name: SELECT
    7.         table_schema: sh_tpch
    8.              command: /*+ run-async=true */select * from test_table1
    9.           creator_id: ${您的dla账号}
    10.          create_time: 2018-11-02 11:09:40.0
    11.          update_time: 2018-11-02 11:09:40.0
    12.        connection_id: 693929276088405
    13.              message: 
    14.            row_count: 2
    15.          elapse_time: 692
    16.   scanned_data_bytes: 147
    17. result_file_oss_file: oss://aliyun-oa-query-results-${您的uid}-oss-cn-shanghai/DLA_Result/2018/11/02/q201811021109sh8d1a0b750000182/result.csv
    18.     cancellable_task: 0
    19.           mq_product: NULL
    20.             mq_topic: NULL
    21.       mq_producer_id: NULL
    22.             mq_model: NULL
    23.            mq_status: NULL
    24.         mq_error_msg: NULL
    25.        mq_message_id: NULL
    26.        mq_total_time: NULL
    27. 1 row in set (0.02 sec)

    参数说明

    • status：

      • 值为SUCCESS时，表示SQL执行成功。

      • 值为RUNNING时，表示SQL正在运行中。

      • 值为FAILURE时，表示SQL执行失败。

      • 值为CANCELLED时，表示用户取消SQL执行任务。

    • result_file_oss_file: 存储SQL查询结果的OSS地址。

    • elapse_time：执行整个SQL任务花费的时间。

    • scanned_data_bytes：SQL扫描的数据量，DLA根据扫描的字节（Byte）数收费。

    结论

    上述方法确实实现了异步执行SQL，并且也得到了SQL任务的执行详情，但需要在程序中反复执行show query_task来确认SQL任务的状态是否从RUNNING变为SUCCESS，对用户的程序影响很大，急需方便、快捷的通知机制。

    DLA支持将消息写入阿里云消息队列（Message Queue，简称MQ）、消息服务（Message Service，简称MNS，原MQS）或者钉钉机器人，帮助您快速、异步感知任务执行状态。