本文介绍如何使用日志投递功能从日志服务(SLS)同步数据到云数据库ClickHouse。
注意事项
前提条件
已开通SLS服务。如何开通,请参见开通日志服务。
已在云数据库ClickHouse集群所在地域创建SLS的Project和Logstore,并接入了同步数据。如何创建和接入数据,请参见快速入门。
如果使用RAM用户投递SLS日志到云数据库ClickHouse,需要阿里云主账号为RAM用户授予AliyunLogReadOnlyAccess权限。如何授权,请参见创建RAM用户及授权。
已创建与SLS数据结构和类型对应的云数据库ClickHouse表。如何创建,请参见创建表。
操作步骤
在集群列表页面,选择默认实例列表,单击目标集群ID。
在左侧导航选择日志投递,单击新建SLS日志投递。
在SLS数据投递页面,配置各项参数。参数含义如下。
参数
说明
投递名称
投递任务的名称。
投递描述
投递任务的描述。
SLS名称
已创建的Project名称。
SLS日志库
已创建的Logstore名称。
集群名称
云数据库ClickHouse的集群ID。
数据库名称
数据库。
表名
数据库中的表名。
账号名称
数据库账号。
账号密码
数据库账号的密码。
字段映射
日志字段和云数据库ClickHouse表字段的映射。
投递开始时间
日志写入SLS的时间。例如,选择时间为
2021-12-31 08:00
,即把2021-12-31 08:00
之后的日志数据投递到云数据库ClickHouse。是否过滤脏数据
是否对脏数据进行过滤。建议打开开关,如果关闭,遇到无法解析的脏数据,会导致投递任务失败。
说明具体的脏数据记录,您可以单击投递任务操作列的监控查看。
单击确定。
成功配置SLS数据投递后,您可以在日志投递页面查看投递任务。
任务状态从待同步变更为同步中后,即成功开启SLS日志投递。
您可以对投递任务进行监控、修改、停止和删除操作。