AnalyticDB：基於Client SDK資料寫入

Maven repositories

您可以通過Maven管理配置新SDK的版本。Maven的配置資訊如下：

<dependency>
  <groupId>com.alibaba.cloud.analyticdb</groupId>
  <artifactId>adb4pgclient</artifactId>
  <version>1.0.4</version>
</dependency>

離線Jar包下載連結：adb4pgclient-1.0.4.jar。

介面列表

程式碼範例

public class Adb4pgClientUsage {
    public void demo() {
        DatabaseConfig databaseConfig = new DatabaseConfig();
        // Should set your database real host or url
        databaseConfig.setHost("100.100.100.100");
        // Should set your database real port
        databaseConfig.setPort(8888);
        // 串連資料庫的使用者名稱。
        databaseConfig.setUser("your user name");
        // 串連資料庫的密碼。
        databaseConfig.setPassword("your password");
      // 需要串連的database。
        databaseConfig.setDatabase("your database name");
        // 設定需要寫入的表名列表。
        List<String> tables = new ArrayList<String>();
        tables.add("your table name 1");
        tables.add("your table name 2");

        // 不同schema下的表可分別addTable，但是一旦使用databseconfig 創造Client執行個體之後，table配置是不可修改的。/
        // schema傳入null, 則預設schema為public。
        databaseConfig.addTable(tables, "table schema name");

        // 設定需要寫入的表欄位。
        List<String> columns = new ArrayList<String>();
        columns.add("column1");
        columns.add("column2");
        // 如果是所有欄位，欄位列表使用 columns.add("*") 即可。
        databaseConfig.setColumns(columns, "your table name 1", "table schema name");
        databaseConfig.setColumns(Collections.singletonList("*"),"your table name 2", "table schema name");


        // If the value of column is empty, set null
        databaseConfig.setEmptyAsNull(false);
        // 使用insert ignore into方式進行插入。
        databaseConfig.setInsertIgnore(true);
        // commit時，寫入資料庫出現異常時重試的3次。
        databaseConfig.setRetryTimes(3);
        // 稍候再試的時間為1s，單位是ms。
        databaseConfig.setRetryIntervalTime(1000);
        // Initialize AdbClient，初始化執行個體之後，databaseConfig的配置資訊不能再修改。
        Adb4pgClient adbClient = new Adb4pgClient(databaseConfig);

        // 資料需要攢批，多次add，再commit，具體攢批數量見"注意事項"。
        for (int i = 0; i < 10; i++) {
            // Add row(s) to buffer. One instance for one record
            Row row = new Row(columns.size());
            // Set column
            // the column index must be same as the sequence of columns
            // the column value can be any type, internally it will be formatted according to column type
            row.setColumn(0, i); // Number value
            row.setColumn(1, "string value"); // String value
            // 如果sql長度滿了會在addRow或者addMap的時候會進行一次自動認可。
            // 如果提交失敗會返回AdbClientException異常，錯誤碼為COMMIT_ERROR_DATA_LIST。
            adbClient.addRow(row, "your table name 1", "table schema name");
        }

        Row row = new Row();
        row.setColumn(0, 10); // Number value
        row.setColumn(1, "2018-01-01 08:00:00"); // Date/Timestamp/Time value
        adbClient.addRow(row, "your table name 1", "table schema name");
        // Update column. Row執行個體可複用。
        row.updateColumn(0, 11);
        row.updateColumn(1, "2018-01-02 08:00:00");
        adbClient.addRow(row, "your table name 1", "table schema name");

        // Add map(s) to buffer
        Map<String, String> rowMap = new HashMap<String, String>();
        rowMap.put("t1", "12");
        rowMap.put("t2", "string value");
        // 這邊需要攢批的，建議多次add之後在進行commit。
        adbClient.addMap(rowMap, "your table name 2", "table schema name");

        // Commit buffer to ADS
        // Buffer is cleaned after successfully commit to ADS
        try {
            adbClient.commit();
        } catch (Exception e) {
            // TODO: Handle exception here
        } finally {
            adbClient.stop();
        }
    }

}

注意事項

• AnalyticDB PostgreSQL版Client SDK是非安全執行緒的，所以如果多線程調用的情況，需要每個線程維護自己的Client對象。

  重要

  不建議多線程共用SDK執行個體，除了安全執行緒問題外，也容易讓Client成為寫入效能的瓶頸。

• 資料必須在調用commit成功後才能認為是寫入AnalyticDB PostgreSQL版成功的。

• 針對Client拋出的異常，調用方要根據錯誤碼的意義自行判斷如何處理，如果是資料寫入有問題，可以重複提交或者記錄下有問題的資料後跳過。

• 很多時候寫入線程並不是越多越好，因為業務程式會涉及到攢資料的情境，對記憶體的消耗是比較明顯的，所以業務調用方一定要多多關注應用程式的GC情況。

• 資料攢批數量不要太小，如果太小，攢批寫入意義就不大了，條件允許的情況下可以add 10000條進行一次commit。

• DatabaseConfig配置在執行個體化client對象成功之後是不能再修改的，所有配置項必須在client對象初始化之前完成配置。

• Client SDK目的是對寫入（INSERT）提供效能最佳化，對於其他SQL操作，可以通過getConnection()獲得JDBC串連，通過標準JDBC介面進行處理。