本文為您介紹如何通過PyODPS讀取分區表資料。
前提條件
您需要完成以下操作:- 已開通MaxCompute。
- 已開通DataWorks。
- 在DataWorks上完成商務程序建立,本例使用DataWorks簡單模式。詳情請參見建立商務程序。
操作步驟
準備測試資料。
建立表並上傳資料。操作方法請參見建表並上傳資料。
表結構以及來源資料資訊如下。
分區表user_detail建表語句如下。
create table if not exists user_detail ( userid BIGINT comment '使用者id', job STRING comment '工作類型', education STRING comment '教育程度' ) comment '使用者資訊表' partitioned by (dt STRING comment '日期',region STRING comment '地區');
來源資料表user_detail_ods建表語句如下。
create table if not exists user_detail_ods ( userid BIGINT comment '使用者id', job STRING comment '工作類型', education STRING comment '教育程度', dt STRING comment '日期', region STRING comment '地區' );
測試資料儲存為user_detail.txt檔案。將此檔案上傳至表user_detail_ods中。
0001,互連網,本科,20190715,beijing 0002,教育,大專,20190716,beijing 0003,金融,碩士,20190715,shandong 0004,互連網,碩士,20190715,beijing
按右鍵商務程序,選擇 。
輸入節點名稱,並單擊確認。
在ODPS SQL節點中輸入如下代碼。
insert overwrite table user_detail partition (dt,region) select userid,job,education,dt,region from user_detail_ods;
單擊運行,將資料插入到分區表user_detail中。
- 使用PyODPS讀取分區表資料。
登入DataWorks控制台。
在左側導覽列,單擊工作空間列表。
選擇操作列中的 。
在資料開發頁面,按右鍵已經建立的商務程序,選擇 。
輸入節點名稱,單擊確認。
- 在PyODPS 2節點中輸入如下代碼讀取分區表資料。
import sys from odps import ODPS reload(sys) print('dt=' + args['dt']) #修改系統預設編碼。 sys.setdefaultencoding('utf8') #個人資訊憑證。 t = o.get_table('user_detail') #擷取分區表。 print t.exist_partition('dt=20190715,region=beijing') #查看所有分區。 for partition in t.partitions: print partition.name #您可以通過以下三種方式查詢分區表資料。 #第一種方式如下。 with t.open_reader(partition='dt=20190715,region=beijing') as reader1: count = reader1.count print("第一種方式查詢分區表資料:") for record in reader1: print record[0],record[1],record[2] #第二種方式如下。 print("第二種方式查詢分區表資料:") reader2 = t.open_reader(partition='dt=20190715,region=beijing') for record in reader2: print record["userid"],record["job"],record["education"] #第三種方式如下。 print("第三種方式查詢分表資料:") for record in o.read_table('user_detail', partition='dt=20190715,region=beijing'): print record["userid"],record["job"],record["education"]
單擊進階運行(帶參數運行)。
在參數對話方塊填寫配置參數,單擊確定。
配置參數說明如下:
調度資源群組:選擇預設資源群組。
dt:設定為dt=20190715。
- 在作業記錄中查看運行結果。