Simple Log Service：使用RDS內網地址訪問RDS MySQL資料庫

加工資料

您可以參見如下方案配置資料加工規則和進階參數，實現通過RDS內網地址訪問RDS MySQL資料庫擷取資料。

• 未經處理資料

  • RDS MySQL資料庫表中的資料範例如下表所示。

  • Log ServiceLogstore中的日誌範例如下所示。

• 加工流程

  1. 在源Logstore中開啟資料加工任務。

  2. 使用資料加工中的res_rds_mysql等函數從RDS MySQL資料庫中拉取資料。

  3. 將加工結果儲存到目標Logstore中。

  

• 加工規則

  e_table_map(res_rds_mysql(str_format("{}:{}",res_local("config.vpc.instance_id.test1"),res_local("config.vpc.instance_port.test1")), "your rds username", "your rds password", "your database",table="your table",primary_keys="bikeid"), "bikeid",["brand","batch"])

  說明

  通過RDS內網地址訪問RDS MySQL資料庫，請嚴格遵循以下文法，請勿使用其他加工文法。

  加工規則格式如下所示：

  e_table_map(res_rds_mysql(str_format("{}:{}",res_local("config.vpc.instance_id.name"),res_local("config.vpc.instance_port.name")), "資料庫帳號", "資料庫密碼", "資料庫名稱",table="資料庫表名"), "field", "output_fields")

  • config.vpc.instance_id.name和config.vpc.instance_port.name中的name需保持一致，且還需與進階參數配置中配置的name保持一致，支援自訂。

  • field為匹配欄位，Logstore中的日誌和RDS MySQL資料庫表中資料存在共同欄位，且欄位的值相同，才能匹配成功。

  • output_fields為輸出欄位，欄位匹配成功後，返回輸出欄位，產生一條新的日誌。

• 進階參數配置

  通過RDS內網地址訪問RDS MySQL資料庫，還需在預覽資料和儲存加工結果時設定進階參數配置，其他參數配置請參見建立資料加工任務。

  

  config.vpc.vpc_id.name、config.vpc.instance_id.name和config.vpc.instance_port.name中的name需保持一致，且還需與加工規則中配置的name保持一致，支援自訂。

  Key格式	Key樣本值	Value樣本值	說明
  config.vpc.vpc_id.name	config.vpc.vpc_id.test1	vpc-uf6mskb0b****n9yj	vpc_id為RDS MySQL執行個體所屬於的網路類型ID。
  config.vpc.instance_id.name	config.vpc.instance_id.test1	rm-uf6e61k****ahd7-2024091513	通過調用DescribeDBInstanceAttribute - 查詢執行個體詳情介面擷取VpcCloudInstanceId。具體操作，請參見關聯MySQL資料來源
  config.vpc.instance_port.name	config.vpc.instance_port.test1	3306	instance_port為RDS MySQL執行個體內網地址連接埠。

錯誤排查

• RDS白名單未配置

  如果提示reason: {"errorCode": "InvalidConfig", "errorMessage": "error when calling : res_rds_mysql\nDetail: {\"errorCode\": \"InvalidConfig\", \"errorMessage\": \"Database connection failed, cause: (2003, \\\"Can't connect to MySQL server on '192.168.1.1' (timed out)\\\")\\nDetail: None\", \"requestId\": \"\"}", "requestId": ""}錯誤，表示資料加工授權後台授權VPC映射已經成功，但是因為RDS沒有配置白名單，導致無法串連到資料庫。

• 進階參數配置錯誤

  • 進階參數配置中name不一致

    如果提示reason: {"errorCode": "InvalidConfig", "errorMessage": "error when calling : res_rds_mysql\nDetail: {\"errorCode\": \"InvalidConfig\", \"errorMessage\": \"address check failed, please check the configuration of address. address: rm-bp***r5\\nDetail: None\", \"requestId\": \"\"}", "requestId": ""}錯誤，表示config.vpc.instance_port.name中的name與config.vpc.instance_id.name、config.vpc.vpc_id.name中的name設定不一致。

  • 參數配置不完整

    如果提示reason: {"errorCode": "InvalidConfig", "errorMessage": "error when calling : res_rds_mysql\nDetail: {\"errorCode\": \"InvalidConfig\", \"errorMessage\": \"address check failed, please check the configuration of address. address: rm-bp1***9r5\\nDetail: None\", \"requestId\": \"\"}", "requestId": ""}錯誤，表示缺少config.vpc.vpc_id.name配置資訊。

• 加工語句錯誤

  如果提示reason: {"errorCode": "InvalidConfig", "errorMessage": "error when calling : res_rds_mysql\nDetail: {\"errorCode\": \"InvalidConfig\", \"errorMessage\": \"Database connection failed, cause: (2003, \\\"Can't connect to MySQL server on 'rm-bp***r5.mysql.rds.aliyuncs.com' (timed out)\\\")\\nDetail: None\", \"requestId\": \"\"}", "requestId": ""}錯誤，表示使用了錯誤的加工文法。

附錄：使用內網地址訪問AnalyticDB MySQL或PolarDB MySQL資料庫