实时计算Flink版：实时计算Blink产品公告（已停止新购）

Blink-2.2.7 是Blink-2.x系列中最新稳定版本，在Blink-1.x版本（最新稳定版本为Blink-1.6.4）进行了全面的升级，采用了自主研发的新一代存储Niagara作为Statebackend的底层存储，优化了SQL的性能，增加了一系列新功能：

• 主要特性

  • SQL

    • 新增Window Emit机制，可以控制Window结果的输出策略，例如：1小时窗口，每1分钟输出一次。

    • 双流Join支持miniBatch，针对不同场景优化了Retraction处理和State存储结构，提高了性能。

    • AGG支持Filter语法，可以只聚合满足条件的行。

    • 对Local-global AGG进行优化。

    • 重构了SQL的Optimize阶段，解决了SQL编译时间过长的问题。

    • SortedMapView中KEY支持多种数据类型：BOOLEAN、BYTE、SHORT、INT、LONG、FLOAT、DOUBLE、BIGDECIMAL、BIGINT、BYTE[]和STRING。

    • 优化了MIN、MAX、FIRST和LAST函数Retraction场景的性能。

    • 新增多种标量函数，例如时区相关的解析TO_TIMESTAMP_TZ、格式化DATE_FORMAT_TZ和转换函数CONVERT_TZ。

    • 对SQL和Connector模块的错误信息进行了归类，并对每种类型设计了相应的ERROR_CODE。

  • Connector

    • 支持用户自定义的TableFactory注册源表和结果表的Connector。

    • 支持用户通过UDTF方式直接解析数据源类型。

    • 支持读取和写入Kafka。

    • 支持写入到Elasticsearch。

  • Runtime

    • 通过Blink Session机制，统一了用户提交Job、获取执行结果等行为。

    • 开放了调度插件机制，允许计算模型根据需求自定义调度逻辑。

    • 在有限流的情况下，通过避免不必要的全图重启，提高了JobManager和Task FailOver的处理效率。

  • StateBackend

    • 使用NiagaraStateBackend替换RocksDBStateBackend，具备更好的读写性能。

    • (Experimental) NiagaraStateBackend支持计算存储分离，支持Failover过程中State秒级恢复。

• 与Blink1.6.4不兼容的语法

  功能项	影响	解决办法
  TableFunction接口修改	所有使用自定义TableFunction的用户。	更新代码，实现新的getResultType接口。
  ScalarFunction接口修改	所有使用自定义ScalarFunction的用户。	实现新的getResultType接口。
  AggregateFunction接口修改	所有使用自定义AggregateFunction的用户。	实现新的getAccumulatorType和getResultType接口。例如，accumulator类型为Row(STRING, LONG)，Agg result的类型为STRING，则需要实现如下代码。 public DataType getAccumulatorType\(\) { return DataTypes.createRowType\(DataTypes.String, DataTypes.LONG\); } public DataType getResultType\(\) { return DataTypes.String; }
  MapView构造函数修改	MapView构造函数形参类型由之前的TypeInformation变更为DataType。所以在自定义UDAF中声明了MapView的Job都会受影响。	更新代码，按DataType去构造MapView。例如MapView map = new MapView<>(Types.STRING, Types.INT);需要更新为MapView map = new MapView<>(DataTypes.STRING, DataTypes.INT);。
  当参数是LONG或INT时，除法和AVG返回类型改为DOUBLE	以前的除法和AVG函数返回的是入参的字段类型，现在是DOUBLE，会导致类型不匹配的错误。例如：除法和AVG的结果直接写入结果表，可能会报结果表与Query字段类型不匹配的错误。	在除法和AVG的结果上强制加上CAST。
  在比较BigDecimal 和Decimal数据类型的数据时，会考虑精度	用到Decimal的Job，可能会报BigDecimal类型不匹配的错误。	用到Decimal类型的Job，全局替换成带精度的声明方式，Decimal(38, 18)。
  NULL与字符串的比较语义	1.x版本NULL与字符串比较返回True，在2.x版本后遵循了SQL语法语义改为返回False。	所有NULL与字符串比较的地方，例如：WHERE SPLIT_INDEX(shop_list, ':', 1) <> shop_id，如果SPLIT_INDEX(shop_list, ':', 1)返回了NULL，在1.x版本上WHERE条件会返回True，在2.x上会返回False，将数据过滤。

• 如何升级到Blink-2.x

  使用Blink-1.x版本的Job升级到Blink-2.x，需要进行数据回溯升级，数据回溯是指用户根据业务需要，在启动Job的时候，指定启动位点，具体操作如下：

  1. 停止待升级Job（清除State）。

  2. 开发界面单击右下角的Flink版本下拉箭头，修改Job的Blink版本为Blink-2.2.7，上线Job。

  3. 启动修改后的Job并指定启动位点。

     如果步骤3执行不成功，需要人工介入查明原因后，进行如下操作：

     • 快速修复SQL，重复步骤1、2、3。

     • 如果无法修复SQL，回退到原有Blink版本。

     • 如果无法生成Json Plan，可以尝试设置如下参数：

       • blink.job.option.jmMemMB=4096

       • blink.job.submit.timeoutInSeconds=600

  Blink-2.0.1的UDX第三方插件安装包详情，请参见Blink PDF文档中的5.11.1章节。类似如下的异常，是因为UDX包的版本太低或者包冲突导致的。

  code:[30016], brief info:[get app plan failed], context info:[detail:[java.lang.NoClassDefFoundError: org/apache/flink/table/functions/aggfunctions/DoubleSumWithRetractAggFunction
  at java.lang.ClassLoader.defineClass1(Native Method)
  at java.lang.ClassLoader.defineClass(ClassLoader.java:788)
  at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
  at java.net.URLClassLoader.defineClass(URLClassLoader.java:467)
  at java.net.URLClassLoader.access$100(URLClassLoader.java:73)