PyODPS是MaxCompute的Python版本的SDK,提供对MaxCompute对象的基本操作及DataFrame框架,帮助您在MaxCompute上使用Python进行数据分析,支持在DataWorks或本地环境上使用。本文为您介绍在本地环境上使用PyODPS时,如何安装PyODPS。
前提条件
安装PyODPS环境前,您需要安装3.6或以上版本的Python。安装方式请参见安装Python。
安装步骤
进入命令行。
执行如下命令安装PyODPS。
pip install pyodps
执行如下命令检查安装是否成功。若无返回值和报错信息表示安装成功。
python -c "from odps import ODPS"
如果在安装过程中出现numpy或者pyarrow等依赖包安装错误,通常显示为C代码编译错误,这可能是您的pip或者setuptools版本过低导致,可以先升级pip和setuptools的版本,再尝试安装。
pip install -U pip setuptools
如果您使用的Python不是系统默认的Python版本,您可以执行如下命令以使用您需要的Python版本。
/home/tops/bin/python3.7 -m pip install pyodps
#/home/tops/bin/python3.7为安装的python路径
如果您在安装过程中遇到urllib3 v2.0 only supports OpenSSL 1.1.1+的报错,说明您的Python使用了较旧版本的OpenSSL,而试图安装的依赖urllib3不支持这个OpenSSL版本,此时需要先安装旧版urllib3,此后再安装PyODPS。
pip install "urllib3<2.0"
后续步骤
初始化ODPS入口。
import os
from odps import ODPS
# 确保 ALIBABA_CLOUD_ACCESS_KEY_ID 环境变量设置为用户 Access Key ID,
# ALIBABA_CLOUD_ACCESS_KEY_SECRET 环境变量设置为用户 Access Key Secret,
o = ODPS(
os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
project='your-default-project',
endpoint='your-end-point',
)
其中:
ALIBABA_CLOUD_ACCESS_KEY_ID和ALIBABA_CLOUD_ACCESS_KEY_SECRET:需将该环境变量设置为您的阿里云账号的AccessKey ID和 AccessKey Secret。环境变量设置方法请参见在Linux、macOS和Windows系统配置环境变量。
说明不建议直接使用AccessKey ID和 AccessKey Secret字符串。
your-default-project和your-end-point:需替换为您设置的默认项目名称与Endpoint信息,各地域的Endpoint请参见Endpoint。
完成上述配置后,您就可以在本地环境中使用PyODPS,例如对于ODPS对象的基本操作list
、get
、exist
、create
、delete
等,更多PyODPS的使用指导请参见基本操作概述、DataFrame概述。
如无特殊说明,文档中的o对象即为ODPS对象。