数据加工时RDS、OSS、Logstore数据加载错误 - 日志服务

本文介绍在数据加工规则中加载资源数据错误的原因及排查处理的方法。

错误处理机制

资源加载错误的处理机制请参见res_log_logstore_pull、res_rds_mysql和res_oss_file。

通用错误排查

单独使用资源函数，导致资源加载错误。

加工规则示例

res_log_logstore_pull(endpoint="cn-shenzhen.log.aliyuncs.com",ak_id="xxx",
        ak_secret="xxx",project="etl-test-shenzhen",
        fields=["__source__"]),field="processid",output_fields=["xx"]

res_rds_mysql(address="xx",username="xx",password="xx",database="xx")

res_oss_file(endpoint='xx',ak_id="xx",ak_key="xx",bucket='xx', file='xx',format='xx',change_detect_interval=0)

错误日志

aliyun.log.logexception.LogException: {"errorCode": "InvalidEtlConfig", "errorMessage": "ETL config doesn't pass security check, detail: invalid type detected: <class '_ast.Expr'>", "requestId": ""}

排查方法
如上错误日志表示加工语法配置错误，可能原因是您单独使用了res_log_logstore_pull函数、res_rds_mysql函数或res_oss_file函数。资源函数不支持单独使用。
解决方法
请结合e_table_map或者e_search_table_map等函数使用。更多信息，请参见资源函数。

参考信息

关于从其他Logstore获取数据发生错误时，请参见获取Logstore数据（维表）错误。
关于从OSS获取数据发生错误时，请参见从OSS获取数据出错。
关于从RDS获取数据发生错误时，请参见获取RDS MySQL数据语法错误。