数据开发与运行

如何在pyodps调用第三方包？

需要使用独享调度资源组进行操作，详情请参考文档：在PyODPS节点中调用第三方包

如何控制表数据查询以后是否可以下载？

DataWork界面下载由于引擎限制只能下载10000条数据。

如何下载超过1万条的表数据？

需要通过MaxCompute tunnel操作：SQLTask配合Tunnel实现大量数据导出示例

为什么EMR通过DataWorks可视化建表失败报错：call emr exception？

• 可能原因：EMR所在的ECS集群的安全组缺失必要安全组配置。注册EMR集群时，您需要添加安全组策略，否则可能会出现上述建表失败提示。

  EMR所在的ECS集群的安全组缺失必要安全组配置。注册EMR集群时，您需要添加以下安全组策略，否则可能会出现上述建表失败提示。

  • 授权策略：允许

  • 协议类型：自定义TCP

  • 端口范围：8898/8898

  • 授权对象：100.104.0.0/16

• 如何处理：查看EMR所在的ECS集群的安全组配置情况，补充上述安全组策略。

如何在节点内使用资源？

如何下载上传到DataWorks的资源？

超过30M的资源如何上传？

超过30M的资源需要通过[tunnel]（使用Tunnel命令上传下载数据）上传，上传后再使用MaxCompute资源功能添加到DataWorks进行后续的资源使用操作。详情请参考常见问题：通过odpscmd上传的资源如何在DataWorks上使用？？

通过odpscmd上传的资源如何在DataWorks上使用？

在DataWorks如何上传自己本地编写的jar并执行？

例如：在Shell节点内##@resource_reference{"test.jar"}java -jar test.jar

如何实现在DataWorks上使用MaxCompute表资源？

在DataWorks中提交任务，提示 “未设置默认或可用资源组”，如何配置资源组？

遇到这种问题，您可在节点编辑页面右侧的调度配置中找到调度资源组，下拉设置您需使用的调度资源组。如没有找到可使用的调度资源组，可通过以下步骤为您所使用的工作空间绑定对应资源组。

1. 登录DataWorks管理控制台，切换地域后，单击DataWorks管理控制台左侧导航栏的资源组，进入资源组列表。

2. 在资源组列表页面找到已创建的资源组，单击操作列的绑定工作空间。

3. 在绑定工作空间页面，找到已创建的DataWorks工作空间，单击其操作列的绑定。

完成以上步骤后，您可前往节点编辑页面右侧的调度配置中，下拉设置您需使用的调度资源组。

Python资源是否支持调用另一个Python资源？

两个资源在同一个工作空间的前提下，Python资源支持调用另一个Python资源。

PyODPS是否支持调用自定义函数来使用第三方包？

如果您不想通过DataFrame的map方法使用test函数，PyODPS同样支持直接调用自定义函数来导入第三方包，详情请参见PyODPS使用第三方包。

PyODPS 3中调用Pickle文件报错：_pickle.UnpicklingError: invalid load key, '\xef.

如果您的代码中存在特殊字符，请将代码打成zip再上传，然后在代码中进行解压使用。

如何删除MaxCompute资源？

节点删除后如何还原？

如何查看节点版本？

如何克隆业务流程？

您可以使用节点组功能：使用节点组

如何将工作空间下的节点代码导出？

您可以使用迁移助手功能：概述

如何查看业务节点提交状态？

如果您希望查看业务节点提交状态，可以选择数据开发 > 业务流程，展开对应的业务流程列表，即可查看当前业务流程下所有节点状态。如果节点名称左侧存在图标，表示该节点已提交；如果节点名称左侧不存在图标，表示该节点未提交。

当业务流程中包含多个节点时，是否可以批量配置节点的调度信息？

DataWorks不支持对业务流程配置调度信息，对于业务流程内的节点，您无法批量配置调度信息，只能逐个配置节点的调度信息。例如，一个业务流程中包含20个节点，您只能为每个节点逐个配置调度信息。

节点被删除，实例是否受影响？

调度系统每天会根据时间属性为该任务生成对应的一个或多个实例，当一个任务运行一段时间后被删除，则实例不会被删除。当实例在删除任务后被触发运行时，会由于找不到需要运行的代码而失败。

修改后的节点任务提交发布至生产环境后，是否会覆盖之前生产环境的错误节点？

不会覆盖之前的节点，未运行的实例会用最新代码运行，不会删除已生成的节点实例。如果调度参数有变化，需要重新生成实例去运行。

如何可视化新建表？

如何对生产表添加字段？

主账号可以在表管理页面，对生产表添加字段后，提交至生产环境。

子账号需要拥有运维或项目管理员角色，才可以在表管理页面，对生产表添加字段后，提交至生产环境。

如何删除表？

删除开发表：可以在数据开发界面删除。

如何将本地数据上传到MaxCompute表中？

在EMR集群中建表失败，界面提示：call emr exception？

• 可能原因：

  EMR所在的ECS集群的安全组缺失必要安全组配置。注册EMR集群时，您需要添加以下安全组策略，否则可能会出现上述建表失败提示。

  • 授权策略：允许

  • 协议类型：自定义TCP

  • 端口范围：8898/8898

  • 授权对象：100.104.0.0/16

• 解决方法：

  查看EMR所在的ECS集群的安全组配置情况，补充上述安全组策略。

如何在开发环境访问生产环境数据？

标准模式下，如果在数据开发界面需要查询生产环境的数据，请使用项目名.表名进行访问。

如果是简单模式升级到标准模式，在数据开发界面需要查询生产环境数据，则需要先申请生产者角色权限，再使用项目名.表名进行访问。申请权限具体请参考申请表权限

数据开发界面历史执行日志如何获取？

您可以进入数据开发界面左侧边栏找到运行历史模块，查看历史执行日志。

数据开发运行历史保留多长时间？

如何对节点、资源、函数等进行相关批量修改相关属性的操作？

您可以在数据开发界面左侧工具栏中进入批量操作界面。支持针对节点、资源、函数进行批量操作，批量修改完成后，您可以批量提交，并在任务发布界面批量发布，让节点变更操作生产环境生效。

如何在数据开发页面批量修改业务流程下节点使用的调度资源组？

使用Power BI连接MaxCompute报错，该如何处理？

目前MaxCompute不支持连接Power BI，建议您使用交互式分析（Hologres）进行连接，详情请参见访问域名

Openapi调用报错access is forbidden. Please first activate DataWorks Enterprise Edition or Flagship Edition.

openapi需要DataWorks企业版。详情请参见：DataWorks OpenAPI概述

如何获取Python SDK调用案例？

您可以在对应的API页面点击调试查看Python SDK的示例。

任务执行没有instanceid，如何关闭ODPS加速模式？

在运行任务的时候在odps sql节点编辑器里加上set odps.mcqa.disable=true; （需要和其他select语句一块执行）。