資料加工時RDS、OSS、Logstore資料載入錯誤 - Simple Log Service

本文介紹在資料加工規則中載入資源資料錯誤的原因及排查處理的方法。

錯誤處理機制

資源載入錯誤的處理機制請參見res_log_logstore_pull、res_rds_mysql和res_oss_file。

通用錯誤排查

單獨使用資源函數，導致資源載入錯誤。

加工規則樣本

res_log_logstore_pull(endpoint="cn-shenzhen.log.aliyuncs.com",ak_id="xxx",
        ak_secret="xxx",project="etl-test-shenzhen",
        fields=["__source__"]),field="processid",output_fields=["xx"]

res_rds_mysql(address="xx",username="xx",password="xx",database="xx")

res_oss_file(endpoint='xx',ak_id="xx",ak_key="xx",bucket='xx', file='xx',format='xx',change_detect_interval=0)

錯誤記錄檔

aliyun.log.logexception.LogException: {"errorCode": "InvalidEtlConfig", "errorMessage": "ETL config doesn't pass security check, detail: invalid type detected: <class '_ast.Expr'>", "requestId": ""}

排查方法
如上錯誤記錄檔表示加工文法配置錯誤，可能原因是您單獨使用了res_log_logstore_pull函數、res_rds_mysql函數或res_oss_file函數。資源函數不支援單獨使用。
解決方案
請結合e_table_map或者e_search_table_map等函數使用。更多資訊，請參見資源函數。

參考資訊

關於從其他Logstore擷取資料發生錯誤時，請參見擷取Logstore資料（維表）錯誤。
關於從OSS擷取資料發生錯誤時，請參見從OSS擷取資料出錯。
關於從RDS擷取資料發生錯誤時，請參見擷取RDS MySQL資料語法錯誤。