大数据开发治理平台 DataWorks：DataWorks数据服务对接DataV最佳实践

数据服务对接DataV产生背景

MaxCompute是阿里巴巴集团自主研究的快速、完全托管的TB、PB和EB级数据仓库解决方案。当今社会数据收集的方式不断丰富，行业数据大量积累，导致数据规模已增长到传统软件行业无法承载的海量级别。MaxCompute服务于批量结构化数据的存储和计算，已经连续多年稳定支撑阿里巴巴全部的离线分析业务。

过去，如果您想要通过DataV展示海量数据的分析结果，需要自建一套离线数据计算自动导入MySQL的任务流程，过程繁琐且成本高。现在通过DataWorks为您提供的数据集成 > 数据开发 > 数据服务的全链路数据研发平台，结合MaxCompute即可快速搭建企业数仓。

DataWorks数据服务提供了快速将数据表生成API的功能，通过可视化的向导模式操作，无需代码便可快速生成API，然后通过DataV调用API并在大屏中展示数据分析结果，高效实现数仓的开发和数据的展示。

前提条件

要想实现DataWorks数据服务与DataV的对接，您需要提前准备好数据源，并开通什么是DataV数据可视化。

新建数据源

1. 登录DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据服务，在下拉框中选择对应工作空间后单击进入数据服务。

2. 鼠标悬停至，单击新建数据源，跳转至数据源列表页面。

3. 单击新增数据源，在新增数据源对话框中，选择数据源类型为Hologres。

   本文将以Hologres数据源为例，通过Hologres数据源可以直接实时查询MaxCompute中的数据。

   1. 配置新增Hologres数据源的相关参数。

      说明

      如果是标准环境，请同时配置开发和生产环境。

      参数	描述
      数据源名称	数据源名称必须以字母、数字、下划线组合，且不能以数字和下划线开头。
      数据源描述	对数据源进行简单描述，不得超过80个字符。
      Hologres实例	需要同步的Hologres实例ID。切换地域，找到目标Hologres实例。 说明 如果没有Hologres实例，可根据界面提示，单击创建实例。
      数据库名	Hologres的数据库名称。

   2. 单击测试连通性。

   3. 测试连通性通过后，单击完成。

新建API

配置API参数

1. 在选择表模块， 选择数据源类型Hologres、数据源名称和数据表名称。

   说明

   • 您需要提前在数据集成中配置好数据源，数据表下拉框支持表名搜索。

   • 创建好API后，会自动跳转至数据表配置页面，您可以直接进行配置。

2. 在环境配置模块，设置内存和超时时间。

3. 选择好数据表后，下方的选择参数模块会自动列出该表的所有字段。勾选需要设为请求参数和设为返回参数的字段，分别添加至请求参数和返回参数列表中。

4. 编辑请求参数信息。

   单击页面右侧的请求参数，设置参数名称、参数类型、操作符、是否必填、示例值、默认值和描述。

5. 编辑返回参数信息。

   单击页面右侧的返回参数，设置参数名称、参数类型、示例值和描述，并可以进行返回结果分页和使用过滤器等高级配置。

   配置过程中需要注意返回结果分页的设置：

   • 如果不开启返回结果分页，则API默认最多返回2,000条记录。

   • 如果返回结果可能超过2,000条，请开启返回结果分页功能。

测试API

填写参数值，单击开始测试，即可在线发送API请求，在右侧可以查看API请求详情及返回内容。如果测试失败，请仔细查看错误提示并进行相应的修改重新测试。

发布API

1. 完成API测试后，返回服务开发页面。

2. 单击发布，即可成功生成一个数据API。

3. 发布完成后，单击右上角服务管理查看API详情。

如果您需要调用API，请进入服务管理API调用页面，数据服务为您提供简单身份认证（AppCode）和加密签名身份认证（AppKey&AppSecret）两种认证方式，您可以自由选择。下文将为您介绍如何在DataV中进行数据服务API的调用。

添加数据服务为数据源

1. 登录DataV控制台。

2. 进入我的数据页面，单击添加数据。

3. 填写添加数据对话框中的配置。

   参数	描述
   类型	添加的数据源类型。
   自定义数据源名称	数据源的显示名称，可以自由命名。
   项目	选择DataWorks工作空间。
   AppKey/AppSecret	拥有DataWorks数据服务中某一项目访问权限的账号的AppKeyID和AppSecret。 说明 您可以登录DataWorks数据服务控制台，进入服务管理 > API调用页面进行查看。

在大屏中调用数据服务API

1. 进入DataV控制台中的我的可视化页面，单击新建可视化。

2. 选择一个模板，单击创建，本文以智能工厂模板为例。

   模板中的组件自带了静态数据，下文将以把模板中间的基本折线图改为调用上文创建好的查询成交金额增长趋势的API为例，为您介绍如何在组件中使用数据服务API。

3. 选中基本折线图组件，切换到数据面板，在数据源类型中选择DataWorks数据服务。

4. 选择刚刚创建的数据源和API，并设置查询参数，本示例将pageSize设置为31，以查询一个月的数据。

5. 单击查看数据响应结果，即可查看API的查询结果。

6. 填写字段映射关系，在x中填写date，将日期作为横轴，在y中填写amount，将成交金额作为纵轴。

   由上图可见，当前x和y无法匹配到字段。这是因为DataV对数据格式有一定要求，不能识别结构较深的字段，因此需要添加一个数据过滤器，过滤掉不必要的字段，在本例中直接返回rows数组即可。

7. 勾选使用过滤器，单击新建图标。此处支持编写JS代码对数据结果进行二次过滤和处理，过滤器的data参数为API返回结果JSON对象。

   本示例只需返回API结果中的rows数组，因此输入return data.data.rows;在下方预览过滤后的结果，并单击完成。

   添加过滤器后，字段便会匹配成功。

   由于API返回的日期格式与组件默认的格式不一样，此时的折线图并没有正确展示，您还需要设置折线横轴的日期格式。

8. 切换至配置面板，在x轴 > 轴标签中选择数据种类为时间型，数据格式选择本API所返回的格式2016/01/01，即可看见折线图的正常展示。

注意事项

DataWorks数据服务与DataV进行无缝对接后，无需使用DataV中的API数据源去填写一个URL调用API，直接新建一个DataWorks数据服务作为数据源，便可直接选用数据服务中的API。无需每个API都设置AppKey和AppSecret认证信息，且支持通过表单填写API参数，操作快捷方便并安全可靠。

通过数据服务，您可以将MaxCompute中加工好的数据结果，直接在DataV中进行呈现，实现数据开发-数据服务-数据分析展现的全链路开发。