物联网平台提供云产品数据源配置功能,导入其他阿里云产品数据到物联网平台,称为云产品数据。您可将其他阿里云平台的数据同步至物联网平台的数据服务中,用于数据的加工处理和分析。本文介绍如何添加、删除云产品数据源,及开启数据源同步。
前提条件
已购买物联网平台的企业版实例,具体操作,请参见购买企业版实例。
计费说明
从云产品数据源同步数据到物联网平台,会消耗数据处理单元(CU)。具体内容,请参见数据服务计费说明。
使用限制
目前仅支持将OSS Bucket中文件同步到物联网平台的数据服务中。
OSS Bucket下单个文件不超过1 GB,且每天的文件需保存在以日期命名的文件夹下。
日期格式分为:
天:
YYYYMMDD
,例如:20230302
。小时:
YYYYMMDDHH
,例如2023030213
。
新建云产品数据源
在物联网平台控制台的实例概览页面,单击目标企业版实例ID或备注名称。
在左侧导航栏,选择数据服务 > 数据接入,单击云产品页签。
在云产品页签,单击新建云产品数据源。
在右侧面板,按照以下步骤,完成云产品数据源配置。
基本信息
在基本信息向导页面,配置以下参数。
参数
描述
名称
输入云产品数据源名称。支持中文、英文字母、数字、英文句号(.)、下划线(_)、英文括号(()),长度不能超过32个字符。
描述
输入云产品数据源说明。
云产品类型
仅支持选择OSS。
Bucket
选择OSS存储空间(Bucket)。
在OSS中创建存储空间(Bucket)的具体操作,请参见创建存储空间。
重要配置Bucket列表前,需单击角色未创建右侧的创建,先在您的阿里云账号中创建一个服务关联角色,用于授权物联网平台的数据服务访问并同步您OSS存储空间的数据。
服务关联角色说明,请参见云产品数据接入服务关联角色。
父目录
输入Bucket下文件所属父目录名称。
文件目录管理,请参见管理目录。
单击下一步。
字段映射
在字段映射向导页面,配置数据源的数据格式。
参数
描述
数据格式
可选:
JSON:使用JSON格式。
ProtoBuf:使用ProtoBuf格式。
CSV:使用CSV文件格式。
自定义:使用自定义脚本解析数据格式。
行分隔符
可选:系统默认分隔符、逗号、竖线、空格、制表符、自定义。
选择系统默认分隔符时,会自动匹配使用当前系统的分隔符。
选择自定义时,需输入一个可见字符。
说明数据格式为JSON时,行分隔符不支持设置为逗号。
数据格式为ProtoBuf时,使用协议特殊的数据换行方式,在写出数据到文件时需要使用
writeDelimitedTo
(java)或delimited_message_util.h
(C++)的方式,不支持自定义的行分隔符。数据格式为CSV时,行分隔符默认为系统默认分隔符,且不可修改。
列分隔符
仅数据格式为CSV时,需要配置列分隔符。
可选:逗号、竖线、空格、制表符、自定义。
单击点击配置,在字段映射对话框,完成数据源中字段映射配置。
根据数据格式,配置格式解析的样例数据。
数据格式
操作
JSON
在样例数据框中,直接配置JSON格式的样例数据。仅支持输入单行数据。
重要不支持输入数组格式的数据。
ProtoBuf
单击上传.desc文件,上传.desc文件,用于解析ProtoBuf格式数据。
生成.desc文件方法,请参见附录:生成.desc文件。
选择消息类型后,单击上传二进制数据文件,配置样例数据。
重要不支持输入数组格式的数据。
CSV
在样例数据框中,直接配置样例数据。
样例数据需要输入列名称,且仅可输入一行数据。例如列分隔符为逗号的样例数据:
productKey,deviceName,time,temperature,humidity g9rp0*****,device1,20230102,23,30
自定义
选择脚本语言,然后在编辑脚本下的输入框中输入脚本。
支持选择的脚本语言:JavaScript(ECMAScript 5),定义函数名为
parse_line
。脚本模板和示例,请参见编写自定义脚本。
在模拟输入页签,根据行分隔符,输入模拟的设备上报数据。
执行以下步骤,完成数据解析校验。
如果数据格式为JSON、ProtoBuf或CSV,单击校验解析:
若解析成功,可在数据存储类型下方中查看解析的字段信息。
若解析失败,则根据提示,修正样例数据后,重新校验。
如果数据格式为自定义:单击执行:
若执行成功,在运行结果页签显示解析后的数据。
若执行失败,根据提示,修改脚本后。重新执行进行校验。
在解析的字段列表,设置字段显示名和主键。
字段显示名支持中文、英文、数字、下划线(_)、短划线(-)、英文括号(()),长度不超过30个字符。
单击确认。
单击下一步。
同步周期
选择同步周期的单位:小时、天。
选择最早同步时间。
单击完成。
新建云产品数据源成功后:
在数据接入>云产品页签下,对应添加云产品数据源同步任务,同步状态默认为已停止。您需手动开启云产品数据源同步,具体操作,请参见开启云产品数据源同步。
在数据存储>冷数据存储>自定义存储表页签下,以云产品数据源名称为表名称,新建对应存储表。
开启云产品数据源同步
执行以下步骤,开启数据同步,云产品数据即可接入数据服务。
在云产品页签,找到已添加的云产品数据源同步任务。
单击对应同步状态列的已停止开关。
开启成功后,云产品数据源同步任务的同步状态为同步中。后续系统会按照同步周期运行同步任务,将云产品数据同步到物联网平台数据服务的自定义存储表。
可选操作
编辑云产品数据源配置
在云产品页签,找到已添加的云产品数据源。
单击对应操作列的编辑。
在编辑云产品数据源面板,参考上文修改相关配置。
基本信息的云产品类型和字段映射的已创建的自定义存储表,不可编辑,其他参数都可修改。
删除云产品数据源
云产品数据源的同步状态为已停止时,可删除该云产品数据源。
删除后,不再继续同步数据。请谨慎操作。
在云产品页签,找到已添加的云产品数据源。
单击对应操作列的删除。
单击确认。