2021-03-16版本

VVP重大功能变更

• 支持Flink 1.12版本。

• 开发控制台界面全新升级，作业上线后，您可以在开发界面继续对作业进行修正而不影响上线作业状态。

• Session模式作业支持设置Checkpoint和Savepoint。

• 优化用户管理界面，可以添加用户名并显示用户名。

• 支持Pyflink作业的提交。详情请参见部署作业。

VVP主要缺陷修复

修复作业信息另存后，作业脚本丢失的缺陷。

VVR 3.0.0版本重大功能变更

• 支持在SQL JOIN中使用Hints语法。

• Kafka的Avro格式支持用户自定义Schema。

• 支持Kafka、DataHub、SLS和MQ获取元消息列。

• 优化Mysql-CDC功能：支持多种方式启动位点，包括binlog position、timestamp、earliest-offset、latest-offset和initial。

• 新增监控指标：numBytesIn、numBytesInPerSecond、sourceIdleTime、pendingRecords、watermarkLag、numBytesOut、numBytesOutPerSecond、numRecordsOut和numRecordsIn。

• 新增Connector：FileSystem维表。

• 新增内置函数：

  • 标量函数

    函数名称
    BITAND	DATEDIFF	FROM_UNIXTIME	MURMUR_HASH_64	TO_DATE
    BITNOT	DATE_ADD	ISNAN	PARSE_URL	TO_TIMESTAMP_TZ
    BITOR	DATE_FORMAT	JSON_VALUE	REGEXP_EXTRACT	UNIX_TIMESTAMP
    BITXOR	DATE_FORMAT_TZ	KEYVALUE	REGEXP_REPLACE
    CONV	DATE_SUB	MURMUR_HASH	SPLIT_INDEX

  • 表值函数

    函数名称
    GENERATE_SERIES	JSON_TUPLE
    MULTI_KEYVALUE	STRING_SPLIT

  • 聚合函数

    函数名称
    APPROX_COUNT_DISTINCT	FIRST_VALUE	LAST_VALUE

VVR 3.0.0版本主要缺陷修复

• 修复Savepoint触发后导致Checkpoint文件丢失的缺陷。

• 修复Postgres-CDC WAL日志无限增长导致磁盘空间不足的问题。

• 修复日志中未隐藏用户名和密码等敏感信息的缺陷。

注意事项

• SQL编辑器中SQL脚本名称和作业名称变更

  原VVP平台没有做开发和运维分离，即SQL脚本和上线作业间不存在关联关系，因此SQL脚本和上线作业的命名方式未做一致性要求。新版VVP支持开发和运维分离：

  • SQL脚本名和线上作业名一一对应，原SQL脚本名中如果存在中文，升级后将会把中文用随机数替代，原SQL脚本名称将在脚本配置的Label中展示。建议将脚本重命名为线上对应名称。

  • 如果存在重复的SQL脚本名称，将在SQL脚本名后加随机数。您也可以采用重命名的方式更正SQL脚本名称。

• SQL作业Flink版本升级变更

  VVP升级后，内置的SQL编译器版本将升级到Flink 1.12。但是Flink 1.11和Flink 1.12的类不兼容，之前历史的Flink 1.11版本的SQL作业将会运行不成功。因此，对于VVP升级前，基于历史版本已创建并且已运行的SQL作业，您有两个选择：

  • 升级作业的Flink版本到最新的Flink 1.12版本。

    警告

    • 升级后不能进行降级。一旦该SQL作业的Flink版本被更新到最新的Flink 1.12，就不能再进行降级。

    • 升级操作有失败的风险。建议您复制一个新的SQL作业尝试成功后，再在原有SQL作业上操作。

  • 不升级作业的Flink版本并继续使用原有版本。

    重要

    • 原有的未上线SQL作业，需要选择Flink 1.12版本运行作业。

    • 原有的已上线的SQL作业将继续使用Flink 1.11版本运行。修改部署目标（所修改的部署目标要有Flink 1.11版本）、资源配置、日志配置、K8s配置、Flink镜像仓库名称、URL地址、Tag这些操作可以继续使用Flink 1.11运行作业。除此之外，其他修改需要将作业版本升级到Flink 1.12。

• 升级策略变更

  新版本将不再支持设置升级策略，全部都使用None模式。