云原生数据仓库AnalyticDB：基于Client SDK数据写入

Maven repositories

您可以通过Maven管理配置新SDK的版本。Maven的配置信息如下：

<dependency>
  <groupId>com.alibaba.cloud.analyticdb</groupId>
  <artifactId>adb4pgclient</artifactId>
  <version>1.0.4</version>
</dependency>

离线Jar包下载链接：adb4pgclient-1.0.4.jar。

接口列表

代码示例

public class Adb4pgClientUsage {
    public void demo() {
        DatabaseConfig databaseConfig = new DatabaseConfig();
        // Should set your database real host or url
        databaseConfig.setHost("100.100.100.100");
        // Should set your database real port
        databaseConfig.setPort(8888);
        // 连接数据库的用户名。
        databaseConfig.setUser("your user name");
        // 连接数据库的密码。
        databaseConfig.setPassword("your password");
      // 需要连接的database。
        databaseConfig.setDatabase("your database name");
        // 设置需要写入的表名列表。
        List<String> tables = new ArrayList<String>();
        tables.add("your table name 1");
        tables.add("your table name 2");

        // 不同schema下的表可分别addTable，但是一旦使用databseconfig 创造Client实例之后，table配置是不可修改的。/
        // schema传入null, 则默认schema为public。
        databaseConfig.addTable(tables, "table schema name");

        // 设置需要写入的表字段。
        List<String> columns = new ArrayList<String>();
        columns.add("column1");
        columns.add("column2");
        // 如果是所有字段，字段列表使用 columns.add("*") 即可。
        databaseConfig.setColumns(columns, "your table name 1", "table schema name");
        databaseConfig.setColumns(Collections.singletonList("*"),"your table name 2", "table schema name");


        // If the value of column is empty, set null
        databaseConfig.setEmptyAsNull(false);
        // 使用insert ignore into方式进行插入。
        databaseConfig.setInsertIgnore(true);
        // commit时，写入数据库出现异常时重试的3次。
        databaseConfig.setRetryTimes(3);
        // 重试间隔的时间为1s，单位是ms。
        databaseConfig.setRetryIntervalTime(1000);
        // Initialize AdbClient，初始化实例之后，databaseConfig的配置信息不能再修改。
        Adb4pgClient adbClient = new Adb4pgClient(databaseConfig);

        // 数据需要攒批，多次add，再commit，具体攒批数量见"注意事项"。
        for (int i = 0; i < 10; i++) {
            // Add row(s) to buffer. One instance for one record
            Row row = new Row(columns.size());
            // Set column
            // the column index must be same as the sequence of columns
            // the column value can be any type, internally it will be formatted according to column type
            row.setColumn(0, i); // Number value
            row.setColumn(1, "string value"); // String value
            // 如果sql长度满了会在addRow或者addMap的时候会进行一次自动提交。
            // 如果提交失败会返回AdbClientException异常，错误码为COMMIT_ERROR_DATA_LIST。
            adbClient.addRow(row, "your table name 1", "table schema name");
        }

        Row row = new Row();
        row.setColumn(0, 10); // Number value
        row.setColumn(1, "2018-01-01 08:00:00"); // Date/Timestamp/Time value
        adbClient.addRow(row, "your table name 1", "table schema name");
        // Update column. Row实例可复用。
        row.updateColumn(0, 11);
        row.updateColumn(1, "2018-01-02 08:00:00");
        adbClient.addRow(row, "your table name 1", "table schema name");

        // Add map(s) to buffer
        Map<String, String> rowMap = new HashMap<String, String>();
        rowMap.put("t1", "12");
        rowMap.put("t2", "string value");
        // 这边需要攒批的，建议多次add之后在进行commit。
        adbClient.addMap(rowMap, "your table name 2", "table schema name");

        // Commit buffer to ADS
        // Buffer is cleaned after successfully commit to ADS
        try {
            adbClient.commit();
        } catch (Exception e) {
            // TODO: Handle exception here
        } finally {
            adbClient.stop();
        }
    }

}

注意事项

• AnalyticDB PostgreSQL版Client SDK是非线程安全的，所以如果多线程调用的情况，需要每个线程维护自己的Client对象。

  重要

  不建议多线程共用SDK实例，除了线程安全问题外，也容易让Client成为写入性能的瓶颈。

• 数据必须在调用commit成功后才能认为是写入AnalyticDB PostgreSQL版成功的。

• 针对Client抛出的异常，调用方要根据错误码的意义自行判断如何处理，如果是数据写入有问题，可以重复提交或者记录下有问题的数据后跳过。

• 很多时候写入线程并不是越多越好，因为业务程序会涉及到攒数据的场景，对内存的消耗是比较明显的，所以业务调用方一定要多多关注应用程序的GC情况。

• 数据攒批数量不要太小，如果太小，攒批写入意义就不大了，条件允许的情况下可以add 10000条进行一次commit。

• DatabaseConfig配置在实例化client对象成功之后是不能再修改的，所有配置项必须在client对象初始化之前完成配置。

• Client SDK目的是对写入（INSERT）提供性能优化，对于其他SQL操作，可以通过getConnection()获得JDBC连接，通过标准JDBC接口进行处理。