2.0資料類型版本

定義

setproject odps.sql.type.system.odps2=true; --開啟MaxCompute 2.0資料類型。
setproject odps.sql.decimal.odps2=true; --開啟Decimal 2.0資料類型。
setproject odps.sql.hive.compatible=false; --關閉Hive相容模式。

適用情境

適用於在2020年04月之前無存量資料的MaxCompute專案，且該專案依賴的產品組件支援2.0資料類型版本。

基礎資料類型

複雜資料類型

與其他資料類型版本的差異

• DML文法行為差異

  • 集合操作中的LIMIT語句行為不同。

    例如，對於SELECT * FROM t1 UNION ALL SELECT * FROM t2 LIMIT 10;：

    • 1.0資料類型版本下時為SELECT * FROM t1 UNION ALL SELECT * FROM ( SELECT * FROM t2 LIMIT 10) t2;。

    • 2.0資料類型版本下時為SELECT * FROM (SELECT * FROM t1 UNION ALL SELECT * FROM t2 ) t LIMIT 10;。

    ORDER BY、DISTRIBUTE BY、SORT BY和CLUSTER BY操作也具有上述行為特點。

  • IN運算式的類型解析不同。

    例如a in (1, 2, 3) ：

    • 1.0資料類型版本時，要求IN後面的括弧裡的所有值的類型必須一致。

    • 2.0資料類型版本時，IN後面的括弧裡的所有值支援隱式類型轉換一致即可。

  • INSERT語句轉換規則不同。

    • Hive相容資料類型：來源資料類型如果可以顯式轉換為表中的資料類型，系統會自動插入轉換函式並允許運行。

    • 1.0和2.0資料類型版本：來源資料類型需要隱式轉換為表中的資料類型，否則報錯。

      --在Hive模式下成功，在其他模式下報錯。
      create table t (a bigint); 
      insert into table select 1.5; 

• 函數行為差異

  • +、 -、*、/、POW函數

    • Hive相容資料類型版本：在資料溢出時繞回（即資料超出範圍後返回初始值）。

    • 1.0和2.0資料類型版本：在資料溢出時報告異常，其它模式下返回NULL。

  • >、>=、= 、<、<=

    • Hive相容資料類型版本：在比較DOUBLE類型資料時，直接比較Double值。

    • 1.0和2.0資料類型版本：在比較DOUBLE類型資料時，如果小數點後15位以前資料相同，認為資料相同。15位以後的資料不作比較。

  • 位操作運算子&、|、^

    • Hive相容資料類型版本：返回參數類型。

    • 1.0和2.0資料類型版本：傳回型別為BIGINT。

  • LENGTH、LENGTHB、FIND_IN_SET、INSTR、SIZE、HASH、SIGN函數

    • Hive相容資料類型版本：傳回型別為INT。

    • 1.0和2.0資料類型版本：傳回型別為BIGINT。

  • FLOOR、CEIL

    • Hive相容資料類型版本：如果參數為DECIMAL類型，在Hive相容資料類型版本下傳回型別仍為DECIMAL。

    • 1.0和2.0資料類型版本：如果參數為DECIMAL類型，在1.0和2.0資料類型版本下傳回型別為BIGINT。

  • FROM_UNIXTIME

    • Hive相容資料類型版本：傳回值為STRING類型。

    • 1.0和2.0資料類型版本：傳回值為DATETIME類型。

  • CONCAT_WS

    • Hive相容資料類型版本：如果一個被串連的輸入字串為NULL，此字串被忽略。

    • 1.0和2.0資料類型版本：如果一個被串連的輸入字串為NULL，則返回NULL。

  • FIND_IN_SET

    • Hive相容資料類型版本：Null 字元串認為匹配字串尾部。

      --Hive相容模式下 
      find_in_set("","") 結果是1。
      find_in_set("", "a,") 結果是2。

    • 1.0和2.0資料類型版本：Null 字元串認為不匹配返回0。

  • REGEXP_(EXTRACT/REPLACE)

    • Hive相容資料類型版本：REGEXP的模式定義符合Java regex規範。

    • 1.0和2.0資料類型版本：REGEXP的模式定義符合MaxCompute規範。

  • SUBSTR

    string substr(string <str>, bigint <start_position>[, bigint <length>])

    start_position：必填，為BIGINT類型，預設起始位置為1。

    • Hive相容資料類型版本：當start_position為0時，與起始位置為1時相同。

    • 1.0和2.0資料類型版本：當start_position為0時，返回NULL。