DataWorks：HBase資料來源

HBase Reader

支援normal和multiVersionFixedColumn模式

• normal模式：把HBase中的表當成普通二維表（橫表）進行讀取，擷取最新版本資料。

  hbase(main):017:0> scan 'users'
  ROW                                   COLUMN+CELL
  lisi                                 column=address:city, timestamp=1457101972764, value=beijing
  lisi                                 column=address:contry, timestamp=1457102773908, value=china
  lisi                                 column=address:province, timestamp=1457101972736, value=beijing
  lisi                                 column=info:age, timestamp=1457101972548, value=27
  lisi                                 column=info:birthday, timestamp=1457101972604, value=1987-06-17
  lisi                                 column=info:company, timestamp=1457101972653, value=baidu
  xiaoming                             column=address:city, timestamp=1457082196082, value=hangzhou
  xiaoming                             column=address:contry, timestamp=1457082195729, value=china
  xiaoming                             column=address:province, timestamp=1457082195773, value=zhejiang
  xiaoming                             column=info:age, timestamp=1457082218735, value=29
  xiaoming                             column=info:birthday, timestamp=1457082186830, value=1987-06-17
  xiaoming                             column=info:company, timestamp=1457082189826, value=alibaba
  2 row(s) in 0.0580 seconds }

  讀取後的資料如下所示。

  rowKey	address:city	address:contry	address:province	info:age	info:birthday	info:company
  lisi	beijing	china	beijing	27	1987-06-17	baidu
  xiaoming	hangzhou	china	zhejiang	29	1987-06-17	alibaba

• multiVersionFixedColumn模式：把HBase中的表當成豎表進行讀取。讀出的每條記錄是四列形式，依次為rowKey、family:qualifier、timestamp和value。讀取時需要明確指定要讀取的列，把每一個cell中的值，作為一條記錄（record），若有多個版本則存在多條記錄。

  hbase(main):018:0> scan 'users',{VERSIONS=>5}
  ROW                                   COLUMN+CELL
  lisi                                 column=address:city, timestamp=1457101972764, value=beijing
  lisi                                 column=address:contry, timestamp=1457102773908, value=china
  lisi                                 column=address:province, timestamp=1457101972736, value=beijing
  lisi                                 column=info:age, timestamp=1457101972548, value=27
  lisi                                 column=info:birthday, timestamp=1457101972604, value=1987-06-17
  lisi                                 column=info:company, timestamp=1457101972653, value=baidu
  xiaoming                             column=address:city, timestamp=1457082196082, value=hangzhou
  xiaoming                             column=address:contry, timestamp=1457082195729, value=china
  xiaoming                             column=address:province, timestamp=1457082195773, value=zhejiang
  xiaoming                             column=info:age, timestamp=1457082218735, value=29
  xiaoming                             column=info:age, timestamp=1457082178630, value=24
  xiaoming                             column=info:birthday, timestamp=1457082186830, value=1987-06-17
  xiaoming                             column=info:company, timestamp=1457082189826, value=alibaba
  2 row(s) in 0.0260 seconds }

  讀取後的資料（4列） 如下所示。

  rowKey	column:qualifier	timestamp	value
  lisi	address:city	1457101972764	beijing
  lisi	address:contry	1457102773908	china
  lisi	address:province	1457101972736	beijing
  lisi	info:age	1457101972548	27
  lisi	info:birthday	1457101972604	1987-06-17
  lisi	info:company	1457101972653	beijing
  xiaoming	address:city	1457082196082	hangzhou
  xiaoming	address:contry	1457082195729	china
  xiaoming	address:province	1457082195773	zhejiang
  xiaoming	info:age	1457082218735	29
  xiaoming	info:age	1457082178630	24
  xiaoming	info:birthday	1457082186830	1987-06-17
  xiaoming	info:company	1457082189826	alibaba

HBase Writer

• rowkey 建置規則：目前HBase Writer支援源端多個欄位拼接作為HBase表的rowkey。

• 寫入HBase的版本（時間戳記）支援：

  • 指定目前時間作為版本。

  • 指定源端列作為版本。

  • 指定一個時間作為版本。

離線讀

• 支援讀取HBase資料類型及HBase Reader針對HBase類型的轉換列表如下表所示。

  類型分類	Data Integrationcolumn配置類型	資料庫資料類型
  整數類	long	short、int和long
  浮點類	double	float和double
  字串類	string	binary_string和string
  日期時間類	date	date
  位元組類	bytes	bytes
  布爾類	boolean	boolean

• HBase20xsql Reader支援大部分Phoenix類型，但也存在個別類型未被支援的情況，請注意檢查您的類型。

• HBase20xsql Reader針對Phoenix類型的轉換列表，如下所示。

  DataX內部類型	Phoenix資料類型
  long	INTEGER、TINYINT、SMALLINT、BIGINT
  double	FLOAT、DECIMAL、DOUBLE
  string	CHAR、VARCHAR
  date	DATE、TIME、TIMESTAMP
  bytes	BINARY、VARBINARY
  boolean	BOOLEAN

離線寫

支援讀取HBase資料類型，HBase Writer針對HBase類型的轉換列表，如下表所示。

單表離線同步任務配置指導

• 操作流程請參見嚮導模式配置、指令碼模式配置。

  使用嚮導模式時，由於HBase為無固定結構的資料來源，預設不會顯示欄位對應，您需要手動設定欄位對應：

  • HBase作為資料來源，需要配置來源欄位，配置格式為：欄位類型|列族:列名。

  • HBase作為資料去向，需要分別配置目標欄位和rowkey，其中，目標欄位配置格式為來源端欄位索引序號|欄位類型|列族:列名，rowkey配置為來源端主鍵索引序號|欄位類型。

  說明

  每個欄位單獨一行。

• 指令碼模式配置的全量參數和指令碼Demo請參見下文的附錄：指令碼Demo與參數說明。

離線任務指令碼配置方式

如果您配置離線任務時使用指令碼模式的方式進行配置，您需要按照統一的指令碼格式要求，在任務指令碼中編寫相應的參數，詳情請參見指令碼模式配置，以下為您介紹指令碼模式下資料來源的參數配置詳情。

HBase Reader指令碼Demo

{
    "type":"job",
    "version":"2.0",//版本號碼。
    "steps":[
        {
            "stepType":"hbase",//外掛程式名。
            "parameter":{
                "mode":"normal",//讀取HBase的模式，支援normal模式、multiVersionFixedColumn模式。
                "scanCacheSize":"256",//HBase client每次RPC從伺服器端讀取的行數。
                "scanBatchSize":"100",//HBase client每次RPC從伺服器端讀取的列數。 
                "hbaseVersion":"094x/11x",//HBase版本。
                "column":[//欄位。
                    {
                        "name":"rowkey",//欄位名。
                        "type":"string"//資料類型。
                    },
                    {
                        "name":"columnFamilyName1:columnName1",
                        "type":"string"
                    },
                    {
                        "name":"columnFamilyName2:columnName2",
                        "format":"yyyy-MM-dd",
                        "type":"date"
                    },
                    {
                        "name":"columnFamilyName3:columnName3",
                        "type":"long"
                    }
                ],
                "range":{//指定HBase Reader讀取的rowkey範圍。
                    "endRowkey":"",//指定結束rowkey。
                    "isBinaryRowkey":true,//指定配置的startRowkey和endRowkey轉換為byte[]時的方式，預設值為false。
                    "startRowkey":""//指定開始rowkey。
                },
                "maxVersion":"",//指定在多版本模式下的HBase Reader讀取的版本數。
                "encoding":"UTF-8",//編碼格式。
                "table":"",//表名。
                "hbaseConfig":{//串連HBase叢集需要的配置資訊，JSON格式。
                    "hbase.zookeeper.quorum":"hostname",
                    "hbase.rootdir":"hdfs://ip:port/database",
                    "hbase.cluster.distributed":"true"
                }
            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"//錯誤記錄數。
        },
        "speed":{
            "throttle":true,//當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
            "concurrent":1,//作業並發數。
            "mbps":"12"//限流，此處1mbps = 1MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

HBase Reader指令碼參數

HBase Writer指令碼Demo

{
    "type":"job",
    "version":"2.0",//版本號碼
    "steps":[
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"hbase",//外掛程式名。
            "parameter":{
                "mode":"normal",//寫入HBase的模式。
                "walFlag":"false",//關閉（false）放棄寫WAL日誌。
                "hbaseVersion":"094x",//Hbase版本。
                "rowkeyColumn":[//要寫入的HBase的rowkey列。
                    {
                        "index":"0",//序號。
                        "type":"string"//資料類型。
                    },
                    {
                        "index":"-1",
                        "type":"string",
                        "value":"_"
                    }
                ],
                "nullMode":"skip",//讀取的為null值時，如何處理。
                "column":[//要寫入的HBase欄位。
                    {
                        "name":"columnFamilyName1:columnName1",//欄位名。
                        "index":"0",//索引號。
                        "type":"string"//資料類型。
                    },
                    {
                        "name":"columnFamilyName2:columnName2",
                        "index":"1",
                        "type":"string"
                    },
                    {
                        "name":"columnFamilyName3:columnName3",
                        "index":"2",
                        "type":"string"
                    }
                ],
                "encoding":"utf-8",//編碼格式。
                "table":"",//表名。
                "hbaseConfig":{//串連HBase叢集需要的配置資訊，JSON格式。
                    "hbase.zookeeper.quorum":"hostname",
                    "hbase.rootdir":"hdfs: //ip:port/database",
                    "hbase.cluster.distributed":"true"
                }
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"//錯誤記錄數。
        },
        "speed":{
            "throttle":true,//當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
            "concurrent":1, //作業並發數。
            "mbps":"12"//限流
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

HBase Writer指令碼參數

"rowkeyColumn": [
          {
            "index":0,
            "type":"string"
          },
          {
            "index":-1,
            "type":"string",
            "value":"_"
          }
      ]

HBase20xsql Reader指令碼Demo

{
    "type":"job",
    "version":"2.0",//版本號碼。
    "steps":[
        {
            "stepType":"hbase20xsql",//外掛程式名。
            "parameter":{
                "queryServerAddress": "http://127.0.0.1:8765",  //填寫串連Phoenix QueryServer地址。
                "serialization": "PROTOBUF",  //QueryServer序列化格式。
                "table": "TEST",    //讀取表名。
                "column": ["ID", "NAME"],   //所要讀取列名。
                "splitKey": "ID"    //切分列，必須是表主鍵。
            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"//錯誤記錄數。
        },
        "speed":{
            "throttle":true,//當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
            "concurrent":1,//作業並發數。
            "mbps":"12"//限流，此處1mbps = 1MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

HBase20xsql Reader指令碼參數

HBase11xsql Writer指令碼Demo

{
  "type": "job",
  "version": "1.0",
  "configuration": {
    "setting": {
      "errorLimit": {
        "record": "0"
      },
      "speed": {
            "throttle":true,//當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
            "concurrent":1, //作業並發數。
            "mbps":"1"//限流，此處1mbps = 1MB/s。
      }
    },
    "reader": {
      "plugin": "odps",
      "parameter": {
        "datasource": "",
        "table": "",
        "column": [],
        "partition": ""
      }
    },
    "plugin": "hbase11xsql",
    "parameter": {
      "table": "目標hbase表名，大小寫有關",
      "hbaseConfig": {
        "hbase.zookeeper.quorum": "目標hbase叢集的ZK伺服器位址",
        "zookeeper.znode.parent": "目標hbase叢集的znode"
      },
      "column": [
        "columnName"
      ],
      "batchSize": 256,
      "nullMode": "skip"
    }
  }
}

HBase11xsql Writer指令碼參數