MaxCompute：Schema操作

當前MaxCompute Schema功能還在公測中，有些模組還沒有支援，即這些模組對MaxCompute發起的操作僅能在set odps.namespace.schema=false的模式下正常使用，具體限制如下。

• MaxCompute的Spark作業暫時支援在中國內地地區操作自訂Schema，除中國內地地區以外的地區陸續支援中。

• MaxComopute的Mars、MapReduce作業暫不支援有Schema的專案，即您的專案一旦升級為支援Schema，將無法使用這兩類作業。

• PAI、Quick BI等其他雲產品暫時不支援操作自訂Schema相關功能。

• MaxCompute Studio僅外掛程式為4.0.0及以上版本支援Schema相關功能。

• 在odps.namespace.schema=false文法下建立的View只能在同樣的文法下訪問，同理在odps.namespace.schema=true文法下建立的View只能在同樣的文法下訪問。

• Hologres V1.3及以上版本支援MaxCompute Schema相關功能。若您需要升級Hologres的執行個體，請參見執行個體升級。

• Java SDK 0.40.8及以上版本、JDBC 3.3.2及以上版本、MaxCompute用戶端v0.40.8及以上版本和PyODPS 0.11.3.1及以上版本支援Schema相關功能。

• DataWorks只有當租戶層級Schema文法開關開啟時，才會有Schema互動。若只有某些專案儲存用了自訂Schema，而租戶層級Schema文法關閉時，那麼DataWorks介面互動不支援自訂Schema的操作，Data Integration可通過指令碼模式來指定自訂Schema內的對象 。DataWorks對Schema支援詳情請參見DataWorks支援MaxCompute Schema

關於使用Schema的說明如下。

• 建立Project。

  使用Schema必須建立Project，詳情請參見建立MaxCompute專案。通過MaxCompute控制台建立專案時，如果您租戶層級文法開關開啟（odps.namespace.schema值為true）則建立的專案預設支援Schema，否則需要提交新功能測試申請將專案升級支援Schema

  。

  說明

  提交新功能測試申請後，MaxCompute將對Project進行升級，目前此升級流程日常只安排在每周一和每周四進行，提交申請後請耐心等待。

• 管理Schema。

  通過命令管理Schema

  管理Schema的命令如下所示。

  • 查看Schema列表。

    show schemas;

  • 建立Schema。

    create schema <schema_name>；

    schema_name為自訂的Schema名稱。

  • 查看Schema資訊。

    desc schema <schema_name>；

    schema_name為Schema名稱。

  • 刪除Schema。

    drop schema <schema_name>；

    schema_name為Schema名稱。

  通過管理主控台管理Schema

  1. 登入MaxCompute控制台，在左上方選擇地區。

  2. 在左側導覽列，選擇工作區 > 專案管理。

  3. 在專案管理頁面，單擊目標專案操作列的管理。

  4. 在專案配置頁面，單擊Schema。

     說明

     支援Schema的專案才可見Schema頁簽。

  5. 在Schema頁簽，您可以查看Schema列表、建立和刪除Schema。

• 操作Schema內對象。

  需要操作Schema內的對象（Table、View、Resource、Function），寫命令時按照projct.schema.table的格式進行編輯。

  • 注意事項如下。

    說明

    本文中對Table對象的所有描述，同時適用於View、Resource、Function。

    • 跨Project操作Table，則命令格式需要寫完整（project.schema.table）。

    • 同一個Project下跨Schema的命令格式可以寫成schema.table，即命令中如果寫成a.b格式，則a解析為Schema，b解析為Table，Project為當前Proejct。

    • 同一個Project下可以使用use schema <schema_name>命令指定當前Schema，命令中可直接使用類似select * from a的命令，此時a是Table，自動解析到當前的Project和指定的Schema。

    • 如果無上下文指定Schema，命令中使用類型select * from a的命令，此時a是Table，自動解析到當前Project和名稱為default 的Schema。

  • 使用樣本如下。

    • 同一個Project（projectA）下操作Schema內對象。

      • 操作default這個Schema內的對象。

        use projectA;
        set odps.namespace.schema=true;--租戶層級如果已經設定，此處就不用再指定
        --操作table t_a
        create table t_a(c1 string,c2 bigint);
        insert into/overwrite table t_a values ('a',1),('b',2),('c',3);
        select * from t_a;
        show tables;
        desc t_a;
        
        tunnel upload <path> t_a[/<pt_spc>];
        tunnel download t_a[/pt_spc] <path>;
        
        --操作resource res_a.jar
        add jar <path>/res_a.jar ;
        desc resource res_a.jar;
        list resources;
        get resource res_a.jar D:\;
        drop resource res_a.jar;
        
        --操作function fun_a
         create function fun_a as 'xx' using 'res_a.jar';
         desc function fun_a;
         list functions;
         drop function fun_a;

        path：檔案的存放路徑以及檔案名稱。pt_spc：需要指定至最末級分區，格式為：pt_spcpartition_col1=col1_value1, partition_col2=col2_value1...pt_spc。

      • 操作自訂Schema（s_1和s_2）下的對象，包括跨Schema操作。

        use projectA;
        set odps.namespace.schema=true;--租戶層級已經設定，此處就不用再指定
        
        --操作s_1下的table t_c
        use schema s_1;
        create table t_c(c1 string,c2 bigint);
        insert into/overwrite table t_c values ('a',1),('b',2),('c',3);
        select * from t_c;
        show tables;
        drop table t_c;
        
        
        tunnel upload <path> t_c[/<pt_spc>];
        tunnel download t_c[/pt_spc] <path>;
        
        --操作s_2下的table t_d
        creata table s_2.t_d(c1 string,c2 bigint);
        insert into/overwrite table s_2.t_d values ('a',1),('b',2),('c',3);
        select * from s_2.t_d;
        show tables in s_2;
        drop table s_2.t_d;
        
        tunnel upload <path> s_2.t_d[/<pt_spc>];
        tunnel download s_2.t_d[/pt_spc] <path>;
        
        
        --操作s_1下的resource res_b.jar
        use schema s_1;
        add jar <path>/res_b.jar  ;
        desc resource res_b.jar;
        list resources;
        get resource res_b.jar D:\;
        drop resource res_b.jar;
        
        --操作s_2下的resource res_c.jar
        add jar xxx ;--add resource只能在當前schema/project下操作不能跨schema/project，所以正常操作還是需要切換到schema s_2
        --跨專案或跨Schema時，resource的層級使用英文冒號（:）分隔
        desc resource s_2:res_c.jar;
        list resources in s_2;
        get resource s_2:res_c.jar D:\;
        drop resource s_2:res_c.jar;
        
        --操作s_1下的function fun_b
         use schema s_1;
         create function fun_b as 'xx' using 'res_b.jar'
         desc function fun_b;
         list functions;
         drop function fun_b;
        
         --操作s_2下的function fun_c
         create function s_2.fun_c as 'xx' using 's_2/resources/res_c.jar'
         drop function s_2.fun_c;
         desc function s_2.fun_c;
         list functions in s_2;
         drop function s_2.fun_c;

    • 跨Project操作（在ProjectA下操作ProjectB的對象）。

      use projectA;
      set odps.namespace.schema=true;  --租戶層級如果已經設定，此處不用再指定
      
      --操作projectB下的s_3的table t_f
      create table projectB.s_3.t_f(c1 string,c2 bigint);
      insert into/overwrite table projectB.s_3.t_f values ('a',1),('b',2),('c',3);
      select * from projectB.s_3.t_f;
      show tables in projectB.s_3;
      desc projectB.s_3.t_f;
      drop table projectB.s_3.t_f;
      
      tunnel upload <path> projectB.s_3.t_f[/<pt_spc>];
      tunnel download projectB.s_3.t_f[/pt_spc] <path>;
      
      --操作projectB下的s_3的resource res_f.jar
      add jar xxx ;--add resource只能在當前schema/project下操作不能跨schema/project，所以正常操作還是需要切換到projectB並使用schema s_3
      --跨專案跨Schema時，resource的層級使用英文冒號（:）分隔
      desc resource projectB:s_3:res_f.jar;
      list resources in projectB.s_3;
      get resource projectB:s_3:res_f.jar D:\;
      drop resource projectB:s_3:res_f.jar;
      
      --操作projectB下s_3的function fun_f
       create function projectB.s_3.fun_f as 'xx' using 'projectB/schemas/s_3/resources/res_f.jar'
       desc function projectB.s_3.fun_f;
       list functions in projectB.s_3;
       drop function projectB.s_3.fun_f;