文档

文档修订记录

更新时间:

本文为您介绍DataWorks文档更新的最新动态,基于此您可以及时了解DataWorks的新增特性及功能变更。

2024年2月更新记录

时间

特性

类别

描述

产品文档

2024.2.22

新增功能

账单订阅及查询分析

用户中心支持订阅不同类型的账单数据,例如,计费项明细账单、计费项账单按天汇总等。订阅成功后,账单数据会定时同步至MaxCompute,您可使用DataWorks的数据分析功能查询并分析账单数据,将分析结果生成可视化图表卡片及报告,同时,也可将您的阿里云消费分析报告分享给其他用户。

账单数据订阅及查询分析

2024.2.21

新增功能

引擎使用说明

新增DataWorks On CDP/CDH使用说明。为您介绍在DataWorks上使用CDP/CDH的基本开发流程,以及相关费用说明、环境准备、权限控制等内容。

DataWorks On CDP/CDH使用说明

2024.2.19

新增功能

数据开发

新增CDH集群节点。您可在DataWorks上进行CDH相关的Hive、Spark、MR、Presto、Impala等任务的开发和周期性调度。

2024.2.6

更新功能

数据保护伞

数据保护伞新版系统配置页面发布上线。

您可通过系统配置:

  • 设置数据保护伞的识别内容、识别范围。

  • 设置水印文件保存时间。

  • 设置是否展示风险识别的数据安全等级。

  • 设置告警信息的接收邮件及WebHook地址。

以便及时发现并处理潜在安全风险。

系统配置

2024年1月更新记录

时间

特性

类别

描述

产品文档

2024.1.25

更新功能

数据开发

Check节点支持检查FTP文件及OSS文件是否可用,当Check节点满足检查策略后会返回运行成功状态。如果某任务的运行依赖目标对象,您可使用Check节点检查目标对象,并设置该任务为Check节点的下游任务,当Check节点满足检查策略后,便会运行成功并触发下游任务执行。

Check节点

2024.1.12

新增功能

最佳实践

新增DataWorks大数据安全治理实践新增指南,为您介绍数据安全治理的常见思路、DataWorks产品的安全能力,以及在DataWorks上基于“基础防护建设”、“数据安全防护措施”、“数据安全持续运营”三个阶段落地数据安全治理项目的最佳实践。

DataWorks数据安全治理路线

2023年12月更新记录

时间

特性

类别

描述

产品文档

2023.12.29

新增功能

数据开发

若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务,需先将已创建的数据源或集群绑定至数据开发(DataStudio)模块。绑定后,才可读取数据源或集群中的数据,并进行相关开发操作。

开发前准备:绑定数据源或集群

2023.12.29

新增功能

数据源

为给您带来更统一的产品使用体验,DataWorks将MaxCompute、Hologres、AnalyticDB for PostgreSQL、AnalyticDB for MySQL、ClickHouse计算引擎合并至数据源管理;将E-MapReduce(简称EMR)、CDH/CDP引擎合并至开源集群管理。合并后,原计算引擎的相关操作(例如,创建、编辑)将通过数据源/开源集群界面执行。

2023.12.27

新增功能

开放平台

  • DeleteProject:删除项目空间前置事件。

  • ProjectDeleted:删除项目空间后置事件。

  • DownloadResources:数据下载事件。

2023.12.22

新增功能

开放平台

扩展点事件新增应用范围:

  • 租户级:租户级事件对整个租户均生效。

  • 空间级:空间级事件仅对目标工作空间生效。

注册扩展程序时,仅支持选择某一类型的扩展点事件。

2023年11月更新记录

时间

特性

类别

描述

产品文档

2023.11.29

新增功能

数据服务

独享服务资源组开通以下地域:华北3(张家口)、中国(香港)和新加坡,及对应地域资源组的规格和计费标准。

2023.11.21

新增功能

数据保护伞

使用数据保护伞识别敏感数据时,可基于脱敏场景配置数据脱敏规则。数据保护伞默认提供了数据开发/数据地图展示脱敏数据集成静态脱敏等多种一级脱敏场景,若该类场景生效的数据范围及用户范围无法满足您更细化的脱敏需求,则也可基于一级场景自定义二级脱敏场景使用。

创建数据脱敏场景

2023.11.20

新增功能

数据开发

用于检查MaxCompute分区表是否已可用(即目标分区存在或已判断分区数据写入完成)。当下游任务需依赖该MaxCompute分区表时,您可使用Check节点先检查分区数据是否可用,避免操作的数据有误。

Check节点

2023.11.10

新增功能

快速入门

新增“使用Copilot+增强分析实现一站式智能数据查询与可视化”入门实践。

使用Copilot+增强分析实现一站式智能数据查询与可视化

2023年10月更新记录

时间

特性

类别

描述

产品文档

2023.10.30

新增功能

数据建模API

DataWorks支持调用QueryPublicModelEngine接口查询单个指标所依赖模型的相关信息、查询复合指标。

QueryPublicModelEngine

2023.10.20

新增功能

上传与下载

DataWorks的上传与下载模块,提供了便捷的数据上传功能,支持将多种来源(例如,本地文件、OSS文件)的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作,致力于为您提供高效、便捷的数据传输服务,助力您快速实现数据驱动业务。

数据上传

2023.10.12

新增功能

数据源

DataWorks数据源2.0版本发布通知。

DataWorks新版数据源公告

2023年9月更新记录

时间

特性

类别

描述

产品文档

2023.9.25

更新功能

数据开发

调度依赖配置、预览依赖关系新版界面发布。

2023.9.20

新增功能

开放平台

新增表权限前置事件、新增租户删除工作空间事件。

附录:消息格式

2023.09.13

更新功能

数据保护伞

数据分类分级文档内容优化。

配置敏感数据分类分级

2023.09.12

新增功能

数据开发

开启安全隔离代码和日志后,非本工作空间中的成员将无权限查看本工作空间的任务代码及运行日志。

安全设置与其他

2023年8月更新记录

时间

特性

类别

描述

产品文档

2023.8.29

新增功能

数据服务

数据服务的独享资源组,新增3种规格:api.s2.small、api.s2.medium、api.s2.large

独享数据服务资源组计费说明:包年包月

2023.8.29

新增功能

运维中心

用于通过节点所在基线的优先级与YARN队列优先级的映射关系,来调整该节点最终的YARN队列优先级。

2023.8.28

新增功能

管理控制

DataWorks新增Role_Project_Scheduler空间级预设角色,用于调度执行生产环境的MaxCompute任务。

附录:空间级预设角色与MaxCompute引擎权限的映射关系

2023.8.25

新增功能

数据建模

用于帮助您快速构建数据仓库模型架构图,直观展示数据仓库中各模型之间的关系。一个关系图承载一个数据仓库模型,一个账号支持创建多个关系图。

关系图

2023.8.25

新增功能

数据集成

Amazon Redshift数据源为您提供读取和写入Amazon Redshift的双向通道,方便您后续可以通过向导模式和脚本模式配置数据同步任务。

Amazon Redshift数据源

2023.8.24

新增功能

运维中心

在原有调度配置基础上,新增自定义调度日历功能,可通过该功能实现更灵活的任务调度日期与调度方式定义。

配置调度日历

2023.08.16

更新功能

管理控制

为给您带来更为统一的产品使用体验,DataWorks将MaxCompute计算引擎相关操作合并至新版MaxCompute数据源。合并后,原MaxCompute计算引擎相关操作(例如,创建、编辑)将通过MaxCompute数据源界面执行,并且MaxCompute数据源相关权限存在一定变更。

2023.08.15

新增功能

运维中心

当对象类型选择工作空间时,新增出错实例数、出错实例占比、任务日志含关键字等触发条件。

规则管理

2023.08.07

新增功能

数据分析

数据分析提供卡片和报告功能,您无需下载数据,即可快速完成数据可视化分析与报告创作,轻松打造个性化可视化作品,讲述数据故事、表达数据观点。

增强分析(卡片和报告)

2023.08.04

新增功能

数据集成

以Kafka实时入湖写入至OSS场景为例,为您介绍如何通过数据集成实时入湖

Kafka单表实时入湖OSS(HUDI)

2023年7月更新记录

时间

特性

类别

描述

产品文档

2023.7.31

优化体验

数据服务

数据服务架构及内容优化。

数据服务概述

2023.7.31

更新功能

数据治理中心

数据治理中心目前支持处理MaxCompute和E-MapReduce的检查项事件、治理项问题。

2023.7.25

更新功能

管理控制台

新版管理控制台更新上线。

管理控制台功能概览

2023.7.18

新增功能

数据集成

为您介绍如何LogHub(SLS)实时ETL同步至Hologres任务

LogHub(SLS)实时ETL同步至Hologres

2023.7.16

新增功能

数据建模

为您提供由派生指标通过运算规则进行计算而形成的复合指标,帮助您更加灵活且细粒度地定义业务指标。

复合指标

2023.7.13

新增功能

数据集成

实时ETL同步方案根据来源Kafka指定Topic的内容结构对目的Hologres表结构做初始化,然后将Kafka指定Topic的存量数据同步至Hologres,同时也持续将增量数据实时同步至Hologres。

Kafka实时ETL同步至Hologres

2023.07.08

新增功能

管理控制

当您第一次使用DataWorks,或开通新地域的DataWorks服务时,将自动生成默认工作空间。

默认工作空间内置逻辑说明

2023.07.06

新增功能

数据建模

智能数据建模支持售卖个人版规格。

智能数据建模产品计费标准

2023年6月更新记录

时间

特性

类别

描述

产品文档

2023.6.30

新增功能

数据开发

配置代码模板支持PyODPS3、EMR Spark SQL等多种模板类型。

配置代码模板

2023.6.29

新增功能

数据开发

DataWorks为您提供函数计算节点,您可通过该节点周期性调度处理事件函数,并完成与其他类型节点的集成和联合调度。

函数计算节点

2023.6.29

新增功能

管理控制

创建E-MapReduce计算引擎数据源:

  • 支持选择EMR on ACK中的Spark集群类型。

  • 支持配置全局Spark属性。

  • 配置 OPENLDAP账号映射或Kerberos账号映射时,支持上传Keytab文件。

注册EMR集群至DataWorks

2023.6.27

更新功能

运维中心

运维大屏功能改版,支持展示工作空间的运维稳定性评估、重点关注的运维指标、调度资源使用及周期任务运行概况,以及数据集成同步任务的运行详情,助力您从宏观角度快速了解空间任务的整体概况,及时发现并处理异常任务,提升运维效率。

查看运维大屏

2023.6.25

新增功能

数据建模

数仓规划 > 系统管理支持自定义使用代码模式建模时,其他引擎DDL语句中Comment字段对应可视化建模界面中的名称还是描述信息。

系统管理

2023.6.16

新增功能

数据开发

  • 流程参数支持Hologres SQL节点使用。

  • 更新流程参数的赋值逻辑。

使用流程参数

2023.6.10

更新功能

数据开发

优化创建ODPS Spark节点文档的结构及内容。

开发ODPS Spark任务

2023年5月更新记录

时间

特性

类别

描述

产品文档

2023.5.22

新增功能

管理控制

当在DataWorks控制台进行引擎相关操作时(如新增引擎实例、编辑已有引擎),界面会提示您需先完成授权相关操作,您根据界面提示完成授权操作后,系统会自动为您创建好对应服务的关联角色。

附录:DataWorks访问其他引擎产品的服务关联角色

2023.5.11

新增功能

数据开发

您可通过关联远程仓库云效的方式,将Function Studio上的代码迁移至一站式BizDevOps平台云效统一管理。为您介绍如何将Function Studio中的代码迁移至云效服务平台。

迁移Function Studio数据至云效服务平台

2023.5.10

更新功能

开放平台

控制台界面更新优化。

开放平台概览

2023年4月更新记录

时间

特性

类别

描述

产品文档

2023.4.23

新增功能

数据集成

数据集成的MaxCompute同步任务默认使用公共传输资源上传、下载数据至MaxCompute,为满足您业务增长对传输资源的更高要求,MaxCompute推出了独享传输资源能力,可以为您提供更好的数据同步稳定性和同步的并发数。

使用MaxCompute独享Tunnel进行数据同步

2023.4.19

新增功能

数据集成

以阿里云EMR Hive离线同步写入MaxCompute场景为例,为您介绍如何一次性把EMR Hive整个数据库的数据离线同步至MaxCompute。

EMR Hive数据整库离线同步至MaxCompute

2023.4.17

优化体验

管理控制

在创建DataWorks工作空间时,您需要选择工作空间所在地域,默认情况下DataWorks工作空间所在地域对应的时区即为调度时区(即任务定时调度时间所使用的时区)。同时,还支持您切换工作空间的调度时区。

场景:切换调度时区

2023.4.14

新增功能

数据集成

以MySQL离线同步写入Hive场景为例,为您介绍如何一次性把MySQL整个数据库的数据离线同步至Hive。

MySQL整库数据离线同步至Hive

2023.4.12

更新功能

数据集成

补充行模式列模式两种数据读取与写入方式,可针对宽表与时序表进行数据读取与写入。

2023.4.7

新增功能

数据集成

DataWorks数据集成支持使用IoT Reader插件读取物联网企业实例数据服务中提供的系统表、产品表、自定义存储表。

IoT数据源

2023年3月更新记录

时间

特性

类别

描述

产品文档

2023.3.28

更新功能

数据地图

为您介绍如何创建采集器,将各数据源的元数据信息汇集至DataWorks。

元数据采集

2023.3.23

新增功能

数据集成

离线和实时任务支持使用Logview查看任务运行信息。

2023.3.21

更新功能

数据建模

数仓分层新增维度相关内容。数仓分层检查器功能优化,所有模型或指标检查器统一使用一种强弱程度的规则,即统一为强规则,或统一为弱规则。

2023.3.16

新增功能

数据建模

DataWorks智能数据建模联合具备丰富行业建模经验的数据架构师,总结阿里云百万用户最全面的业务场景,结合阿里巴巴技术创新能力,提供零售电子商务、金融、制造等多个领域的行业模型最佳实践。您可使用该模板快速构建属于您的数据仓库。

行业模型模板

2023.3.02

新增功能

数据集成

以ClickHouse离线同步写入Hologres场景为例,为您介绍如何一次性把ClickHouse整个数据库的数据离线同步至Hologres。

ClickHouse整库数据离线同步至Hologres

2023.3.02

新增功能

数据开发

新增调度属性概述介绍。若任务需要周期性调度运行,您需定义该任务的调度相关属性,包括调度周期、调度依赖、调度参数等。

任务调度属性配置概述

2023年2月更新记录

时间

特性

类别

描述

产品文档

2023.2.28

新增功能

数据治理中心

DataWorks支持您根据业务需要,将治理工作台 > 治理项问题页面待解决的治理项问题以通知的形式,通过系统提示、邮件、钉钉群消息等发送给指定人员,方便及时查看并处理。

配置消息通知

2023.2.26

更新功能

数据开发

优化周期调度任务的下线流程、恢复流程、任务下线后对于已生成实例及正在运行实例平台侧的处理方案。

下线任务

2023.2.25

新增功能

数据开发

为您介绍参数配置相关的典型场景及最佳实践汇总。

调度参数典型场景配置示例

2023.2.21

新增功能

数据开发

DataWorks将不同类型引擎任务封装为不同节点,通过节点来定义数据开发任务。同时,支持使用资源、函数、以及相关逻辑处理节点开发更多复杂的任务。您可参考数据开发任务的通用开发流程进行任务的数据开发。

通用开发流程

2023.2.17

优化体验

数据集成

调整数据集成模块整体架构。

数据集成概述

2023.2.16

更新功能

数据开发

优化OSS对象检查节点的配置说明及使用步骤。

OSS对象检查节点

2023.2.14

新增功能

迁移助手

导出开源引擎任务新增导出DolphinScheduler类型任务。

导出DolphinScheduler任务

2023.2.09

更新功能

数据开发

调整创建并使用SQL组件节点的架构,并优化组件节点的使用逻辑。

SQL组件概述

2023年1月更新记录

时间

特性

类别

描述

产品文档

2023.1.17

新增功能

数据开发

为您介绍任务调试的基本流程,您可根据需要,通过运行、带参运行、快捷运行等功能调试完整代码或代码片段的正确性,并在调试完成后查看运行结果。

任务调试流程

2023.1.17

更新功能

数据开发

补充节点组的删除说明,优化节点组的相关内容。

使用节点组

2023.1.11

新增功能

运维中心

任务实际执行受多方因素影响,您可通过运行诊断功能快速定位任务未运行成功的原因。

任务运行诊断

2023.1.10

新增功能

数据开发

您可通过操作类型、操作人、操作时间进行筛选,查看人员在当前工作空间中的操作记录。

查看数据开发操作记录

2023.1.9

新增功能

数据智能建模

用于管理数据仓库建表管控策略(例如,是否允许用户在没有数据模型的情况下,可在数据开发DataStudio生产环境下直接创建MaxCompute物理表)。策略启用后,凡是未通过智能数据建模生成的MaxCompute物理表,在创建或修改表时均会触发表名检测,保障建表的规范性。

系统管理

2023.1.6

新增功能

数据智能建模

模型支持发布至EMR、Hologres引擎。

发布模型至引擎

2022年12月更新记录

时间

特性

类别

描述

产品文档

2022.12.29

功能更新

数据开发

优化创建及使用MaxCompute表的相关内容,包括可视化创建表、提交发布表、MaxCompute表数据写入与导出、查询MaxCompute表数据等。

创建并使用MaxCompute表

2022.12,23

优化体验

数据开发

更新表管理相关内容的设置(定义表相关格式、定义表主题、定义表层级)。

表管理

2022.12.23

新增功能

开始使用

更新创建数据源入口及相关权限说明。

创建并管理数据源

2022.12.15

新增功能

数据开发

新增DataWorks On MaxCompute、DataWorks On Hologres引擎开发流程。

2022.12.6

新增功能

开放平台

新增工作流状态变更事件。

附录:消息格式

2022年11月更新记录

时间

特性

类别

描述

产品文档

2022.11.25

新增功能

数据开发

您可参考调度参数的最佳实践配置,在代码中定义参数,并在调度配置中对参数进行赋值使用。

调度参数配置最佳实践

2022.11.24

新增功能

数据开发

新增调度依赖配置指引及复杂场景依赖配置原则,帮助您了解调度依赖的配置流程及重点难点内容。配置调度依赖前请先了解此内容,避免因调度依赖配置有误导致数据异常。

2022.11.23

新增功能

数据开发

新增使用可视化方式创建Hologres内部表及外部表。

2022.11.18

更新功能

开放平台

更新进入开放平台的入口。

开放平台概览

2022.11.17

新增功能

数据地图

加入或查看专辑:您可将当前表加入目标数据专辑中进行管理,或查看当前表已加入的数据专辑。

查看表详情

2022.11.3

新增功能

安全中心

新增数据查询与分析管控功能,授权用户可查询指定数据源,以及管控查询结果的相关操作。

数据查询与分析管控

2022年10月更新记录

时间

特性

类别

描述

产品文档

2022.10.21

更新功能

管理控制

  • 调整管理控制模块整体架构。

  • 优化工作空间管理、数据源管理、资源组管理模块文档逻辑结构及内容描述。主要包括创建并管理工作空间、创建与管理计算引擎、简单模式与标准模式的区别等。

管理控制台功能概览管理中心功能概览

2022.10.20

新增功能

资源组

首次使用独享资源组时,系统会自动创建AliyunServiceRoleForDataWorks服务关联角色,用来访问专有网络VPC(Virtual Private Cloud)、弹性网卡ENI(Elastic Network Interface)及安全组中的资源。您也可使用RAM用户创建该服务关联角色。

DataWorks服务关联角色

2022年09月更新记录

时间

特性

类别

描述

产品文档

2022.9.23

更新功能

管理控制台

运维助手功能改造,为您提供在独享调度资源组上进行新建、执行和删除命令的工具,以及查看命令执行结果等操作的功能。

运维助手

2022.9.22

新增功能

数据开发

简单模式支持强制代码评审功能,为您介绍简单模式工作空间的节点发起强制代码评审的流程及相关介绍。

代码评审

2022.9.20

新增功能

运维中心

查看实例详情界面增加查看关联的自定义规则及智能基线的情况,同时,为您提供快速创建任务运行状态监控以及智能基线的入口。

查看周期实例执行测试并查看测试实例附录:DAG图功能介绍

2022.9.19

更新功能

数据集成

DM插件补充向导模式。

DM ReaderDM Writer

2022.9.06

新增功能

数据建模

DataWorks支持在维度建模中规划并创建维度,后续创建维度表时进行关联,关联后即可通过不同维度分析呈现不同视角的业务数据状况。

创建概念模型:维度

2022.9.06

新增功能

数据建模

DataWorks智能数据建模新增通用导入工具,您可基于数据模型、数据标准等多种类型的对象模板,批量导入并创建相应对象。

导入

2022年08月更新记录

时间

特性

类别

描述

产品文档

2022.8.30

更新功能

数据集成

  • 调整数据集成模块整体架构。

  • 优化数据集成模块文档逻辑结构及内容描述。主要包括选择数据同步场景、同步前准备、离线数据同步、实时数据同步和同步解决方案等。

  • 补充整库实时同步至Oracle、PolarDB、MySQL文档和整库离线同步至OSS文档。

数据集成概述

2022.8.22

新增功能

运维中心

周期实例界面新增业务流程运维视角,通过可视化图标为您展示业务流程的运行状态,并支持您直接操作业务流程,业务流程视角下单个实例的操作与周期实例视角操作一致。

查看周期实例

2022.8.18

新增功能

数据建模

DataWorks智能数据建模新增如下功能:

  • 支持批量导入导出指标。

  • 支持管理指标版本、查看指标的关联表。

  • 新增指标及表名检查器,规范目标分层中模型及指标的命名,统一同一分层中模型及指标的命名格式。

  • 应用层支持逆向建模。

  • 模型发布时支持选择资源组。

2022.8.05

新增功能

数据开发

DataWorks支持一键同步MaxCompute表结构及表数据至Hologres:

  • 同步表结构:帮助您快速批量创建与目标MaxCompute表结构相同的Hologres外部表,后续您可使用Hologres外部表加速查询MaxCompute表的数据。

  • 同步表数据:帮助您一键同步MaxCompute数据至Hologres,您可使用该方式快速查询MaxCompute表数据。

2022.8.02

新增功能

数据开发

  • 为您介绍在DataWorks上运行EMR任务时所使用DataLake集群的最优配置。

  • 为您介绍如何在DataWorks上运行PySpark作业的。

2022年07月更新记录

时间

特性

类别

描述

产品文档

2022.7.29

新增功能

数据建模

  • 模型在导入字段时,支持自动填充显示名及描述为空的字段。

  • 支持将模型信息导出为对应引擎的建表DDL语句或ETL语句,便于复制或直接导出代码文件。

发布模型至引擎

2022.7.29

新增功能

数据建模

模型开发支持绑定已有DataStudio节点,您可在绑定成功后直接跳转至对应的节点页面进行数据开发。

基于模型生成ETL代码

2022.7.29

新增功能

数据建模

数仓分层检查器支持创建指标检查器,用于规范目标分层中指标的命名,帮助您减少后期的运维成本。

配置及使用数仓分层检查器

2022.7.8

新增功能

数据开发

DataWorks支持绑定EMR的DataLake(新版数据湖)集群为执行EMR任务使用的引擎,您可基于DataLake集群运行开发任务。为您介绍DataWorks On EMR开发流程的事项、相关配置、权限说明。

2022.7.2

更新功能

数据开发

补充虚拟节点如下应用场景:

  • 复杂依赖场景下的业务管理

  • 调度无血缘关系的节点

  • 管理多分支结果的业务流程,实现跨业务流程的调度依赖

虚拟节点

2022年06月更新记录

时间

特性

类别

描述

产品文档

2022.6.28

新增功能

数据建模

逆向建模的配置逆向策略支持表名匹配规则模糊匹配。

逆向建模:物理表反向建模

2022.6.27

新增功能

数据保护伞

在敏感数据识别界面新增自定义扫描范围功能,同时,支持您可视化查看数据识别进度、数据识别执行日志。

配置数据识别规则

2022.6.22

更新功能

开放平台

OpenEvent实现消息订阅与消费的方式由Kafka更改为EventBridge。

2022.6.16

更新功能

数据开发

补充跨业务流程节点依赖的调度配置场景,该场景主要为您介绍跨业务流程、跨工作空间场景下,如何设置节点的调度依赖。

场景3:如何配置跨业务流程、跨工作空间的调度依赖

2022.6.13

新增功能

数据开发

DataStudio会根据您的角色权限展示预设的功能模块,并支持按照您的需要定制化展示所需模块,降低DataStudio使用门槛。

场景:数据开发定制化展示

2022.6.2

新增功能

数据集成

当同步任务执行完成,新同步到MaxCompute的数据能被查询到。

MaxCompute Writer

2022.6.2

新增功能

数据集成

StarRocks数据源为您提供读取和写入StarRocks双向通道的功能,您可以通过向导模式和脚本模式配置同步任务。

配置StarRocks数据源

2022年05月更新记录

时间

特性

类别

描述

产品文档

2022.5.23

新增功能

审批中心

数据集成审批策略支持管理员从DataWorks空间级别为数据集成任务的保存操作定义审批策略。

2022.5.22

更新功能

数据保护伞

  • 设置白名单生效时间后,对于符合白名单条件的敏感数据,将在指定有效期内不进行脱敏处理

  • 白名单条件不可以全部设置为全部

创建数据脱敏规则

2022.5.18

新增功能

数据保护伞

新增数据血缘功能,支持可视化展示敏感数据的血缘关系,自动分析字段之间的异常关联关系、敏感数据识别结果异常的字段,帮助您梳理敏感数据的扩散情况及影响面,提高数据识别效率。

查看敏感数据血缘(公测)

2022.5.18

新增功能

数据建模

新增首页功能,为您展示了当前租户内创建的模型及派生指标数量,以及近三十天内当前工作空间成功发布至生产环境的模型列表,帮助您了解模型动态概况。

首页

2022.5.13

新增功能

API

获取导入导出迁移任务列表。

ListMigrations

2022.5.11

新增功能

数据集成

HBase20xsql Reader插件实现了从Phoenix(Hbase中的SQL表)中读取数据。

HBase20xsql Reader

2022.5.12

更新功能

商业化

计费逻辑文档重构。

计费逻辑说明

2022.5.10

新增功能

智能监控

  • 智能监控功能支持您通过配置自定义规则,实现对任务运行状态及资源使用情况的监控。

  • 通过配置智能基线,保障复杂依赖场景下重要数据在预期时间内正常产出。

  • 您还可以根据业务需求自定义资源组运维规则,实现资源组的自动化运维。

智能监控概述

2022年04月更新记录

时间

特性

类别

描述

产品文档

2022.04.29

更新功能

产品计费及资源组

  • 调整产品版本规格与资源组产品计费模块整体架构。

  • 优化上述模块文档逻辑结构及内容描述。主要包括购买指引、资源组概述等。

  • 补充规格变更、扩缩容操作、扣费与欠费、到期说明及续费操作等其他操作指引。

2022.04.20

新增功能

数据地图

数据建模对接数据地图,通过建模创建的模型表会集成至数据地图中,您可以在数据地图中查看表的基础信息、产出信息和血缘信息等详情。

2022.04.17

更新功能

产品版本规格与资源组

资源组规格变更体验优化。新增变更前准备、操作影响确认、支持设置是否重跑任务等功能。

变更规格操作

2022.04.15

更新功能

智能基线

  • 优化智能基线界面布局,原基线管理、基线实例、事件管理页面合并。

  • 支持为基线设置告警规则,包括基线告警和事件告警。

  • 在操作历史页面,支持查看基线变更记录:新增、修改、开启、关闭、删除。

2022.04.15

新增功能

数据分析师

数据分析师角色的用户默认只有数据分析模块的操作权限。

2022.04.14

新增功能

管控台基础操作

选择地域后,默认情况下将DataWorks工作空间所在地域对应的时区设置为调度时区(即任务定时调度时间所使用的时区),美国(硅谷)、德国(法兰克福)地域首次创建工作空间时,会出现弹框提示,可提交工单联系技术支持人员修改调度时区为东八区。

工作空间管理概述

2022.04.13

新增功能

数据保护伞

  • 新版风险识别管理。

    新版功能提供了多维度的关联分析及算法,智能化的分析技术帮助您通过风险识别规则,主动发现风险操作并预警,使用可视化方式进行一站式审计。DataWorks内置了多种场景的风险识别规则,您可以直接使用,也可以根据业务场景自定义规则。

  • 新版数据风险。

    新版功能从多维度呈现了通过配置的风险识别规则命中的风险数据,方便您了解不同维度的风险分布、指定时间的风险趋势及风险项目空间排名,获取风险高发的时间及项目空间,也可以查看产生风险的用户、时间、操作等详情,及时定位并处理风险。

2022.04.08

新增功能

数据质量

新增规则列表,您可以在此界面查看指定引擎或数据库下的数据质量规则详情。

数据质量规则生效逻辑说明

2022年03月更新记录

时间

特性

类别

描述

产品文档

2022.03.31

新增功能

发布中心

DataWorks的发布中心为当前任务发布功能的升级版,主要解决多环境间节点、函数、资源、组件等对象的发布问题。通常,当目标端需要创建与原端相同的对象时,可以借助该功能快速实现对象的发布。您可以参考发布中心的应用场景、逻辑说明、发布流程等内容,基于不同发布场景进行环境配置,发布所需内容。

发布中心概述

2022.03.28

新增功能

数据开发

DataWorks的快捷运行功能,帮助您在节点编辑页面,快速运行选中的代码片段。您可以通过该功能测试代码片段编写是否正确。本文为您介绍如何快捷运行目标代码。

调试代码片段:快捷运行

2022.03.25

更新功能

数据开发

DataWorks数据开发(DataStudio)界面功能更新,方便您总览数据开发模块的整体布局,快速了解各组件、模块的使用并获取相关文档。同时,新增如下功能:

  • 快速新建节点:新建节点时,系统会显示最近一次使用的节点类型,单击该类型,即可自动输入最近一次使用的引擎实例及节点类型。如果您需要创建近期使用过的类型节点,则可使用该方式快速创建。

  • 删除业务流程:删除业务流程时,针对无法删除的文件,您可以选择终止,不再继续删除文件跳过,继续删除其他文件处理策略。

数据开发功能索引

2022.03.21

更新功能

数据治理

查看治理排行榜的个人视角支持您按照用户角色过滤治理项及检查项事件的排行榜列表。

查看治理结果

2022.03.20

更新功能

产品更新

  • 工作空间列表展示优化。

  • 报警联系人删除一键应用功能。

2022.03.17

更新功能

数据地图

  • 表详情页面新增数据质量模块为您展示当前表配置的数据质量监控规则详情及DQC告警列表。

  • 数据总览页面总项目数为实时统计数据。

2022.03.17

更新功能

调度参数

调度参数是DataWorks任务调度时使用的参数,调度参数会根据任务调度的业务日期、定时时间及参数的取值格式自动替换为具体的值,实现在任务调度时间内参数的动态替换。本次主要调整调度参数章节整体架构,并梳理内容逻辑。方便您快速学习相关内容并着手使用。

调度参数支持的格式

2022.03.16

更新功能

数据服务

过滤器配置入口变化,当您需要对API的请求参数进行预处理或对查询结果进行二次加工时,您可以在API编辑页面的右侧导航栏中,单击过滤器,根据需要勾选使用前置过滤器使用后置过滤器

2022.03.09

新增功能

数据集成

神策数据(Sensors Data)是神策大数据厂商针对企业提供的一款进行用户行为分析的应用类产品。通过在DataWorks中新增Sensors Data数据源,您可以访问神策数据的存储资源。

2022.03.07

更新功能

数据保护伞

  • 数据识别规则

    • 内容识别规则、元数据识别规则支持配置且、或关系。

    • 识别规则支持配置命中阈值。

  • 全局脱敏规则

    • 新增置空、取整、区间变换、字符替换脱敏方式。

    • 优化假名脱敏、掩盖脱敏规则配置方式。

    • HASH增加SHA256、SHA512、SM3脱敏方式。

  • 手动修正数据

    • 增加批量修正功能。

    • 手动修正数据页面筛选条件优化。

    • 增加导出识别结果功能。

    • 支持用户手动新增识别结果。

    • 手动修正数据列表展示优化。

2022年02月更新记录

时间

特性

类别

描述

产品文档

2022.02.08

更新功能

数据集成

离线同步插件补充向导模式。

2022.02.15

更新功能

数据开发

界面风格设置功能更新:

  • 个人设置:用于自定义您的DataStudio模块和编辑器的界面显示、主题风格。

  • 代码模板:用于在创建节点后,默认展示在该节点代码编辑器界面最前端的内容。您可以根据实际需求设置ODPS SQL、ODPS MR、SHELL类型节点的代码模板。

  • 安全设置与其他:

    • 数据安全:用于控制在当前DataWorks工作空间中使用数据开发(DataStudio)执行查询操作时,是否对返回结果涉及的敏感信息进行脱敏展示。

    • 代码强制评审:开启代码强制评审,配置代码审核人员,把控开发任务的代码质量。

    • 强制冒烟测试:开启后,仅当任务的冒烟测试运行成功后该任务才可发布。

    • 删除DataBlau DDM数据模型:批量删除所有不再使用的DataBlau DDM数据模型。

2022.02.20

新增功能

调度依赖

为您介绍开启自动解析后,提交节点时,出现调度依赖配置不一致情况的相关说明。

配置同周期调度依赖

2022.02.25

更新功能

数据开发

为您介绍新建归并节点后 ,如何进入节点编辑页面定义归并逻辑。

归并节点

2022年01月更新记录

时间

特性

类别

描述

产品文档

2022.01.20

新增功能

数据建模

为您介绍如何创建应用表。应用表是面向具体业务场景时,用于组织相同时间周期、相同维度的多个原子指标、派生指标或统计粒度的统计数据,为后续的业务查询,OLAP分析,数据分发等提供基础。

创建逻辑模型:应用表

2022.01.18

新增功能

数据建模

为您介绍如何创建并管理维度。维度管理用于标准化定义维度,帮助您对数据建模过程中产生的维度进行统一创建和管理,保证维度唯一,避免重复创建。

维度管理

2022.01.18

新增功能

数据建模

DataWorks智能数据建模新增应用层建模,包括数据集市、主题域:

  • 数据集市是基于业务分类,面向特定应用场景或者产品的数据组织。通常位于数据应用层,依赖于公共层的整合数据。本文为您介绍如何创建数据集市并管理主题域。

  • 主题域用于将数据集市按照分析视角进行划分,通常是联系较为紧密的数据主题的集合。您可以根据业务的关注点,将这些数据主题划分至不同的主题域。例如,电商行业通常分为交易域、会员域、商品域等。

2022.01.16

新增功能

数据开发

当节点配置完调度依赖后,您可以单击预览依赖,通过任务依赖实例依赖维度,查看节点的上下游依赖关系,以便当节点的上下游依赖不符合预期时及时调整。

配置同周期调度依赖

2022.01.15

更新功能

数据开发

为您介绍如何配置调度资源组。周期任务的运行依赖于调度资源组,您可以在目标任务调度配置的资源属性区域,选择任务调度运行时需要使用的资源组。

配置资源属性

2022.01.14

新增功能

数据开发

为您介绍如何开启调度功能并设置相应调度参数的默认配置。您需要进入DataStudio的调度设置页面启用调度周期后,周期任务才能自动调度运行。

调度设置

2022.01.14

新增功能

数据开发

DataWorks调度设置 > 时间属性页面,新增重跑相关参数的默认值设置入口。

时间属性配置说明

2022.01.14

新增功能

数据开发

配置调度参数新增系统参数赋值。

调度参数支持的格式

2022.01.12

新增功能

数据分析

DataWorks的SQLNotes功能用于编写Markdown文本、SQL代码并可直接查询和保存查询结果。

SQLNotes

2022.01.06

更新功能

数据开发

为您介绍DataWorks数据开发(DataStudio)界面各按钮的功能,方便您了解数据开发模块的整体布局,快速了解各组件、模块的使用并获取相关文档。

数据开发功能索引

2021年12月更新记录

时间

特性

类别

描述

产品文档

2021.12.27

新增功能

数据地图

新增DataWorks的数据抽样采集器功能,从CDH Hive表中随机抽取表的部分数据用于数据保护伞的敏感数据识别。如果您在数据保护伞中配置了脱敏规则,那么在数据地图表详情页面进行数据预览时,命中的敏感字段将会被脱敏。

CDH Hive数据抽样采集器

2021.12.24

新增功能

API

  • 新增GetDISyncTask,获取数据集成实时同步任务和同步解决方案的详情。

  • 新增DeployDISyncTask,发布实时同步任务和同步解决方案任务。

  • 新增GetDISyncInstanceInfo,获取实时同步任务和同步解决方案任务的运行状态。

  • 新增TerminateDISyncInstance,下线数据集成实时同步任务。

GetDISyncTaskDeployDISyncTaskGetDISyncInstanceInfoTerminateDISyncInstance

2021.12.20

新增功能

数据服务

新增支持Aviator函数类型及最佳实践。为您介绍如何创建Aviator函数,并使用Aviator函数作为API的前置或后置过滤器。

创建Aviator函数使用Aviator函数作为过滤器的最佳实践

2021.12.14

新增功能

数据质量

新增按模板配置监控规则方式。数据质量为您提供数十种预设表级别、字段级别的监控模板。本文为您介绍如何按模板配置监控规则。

配置规则:按模板(批量)

2021.12.09

更新功能

使用分析

DataWorks为您提供数据生产、数据使用、数据管理视角下的主要数据治理情况。您可以根据需求选择合适的视角,高效的进行数据治理工作。

使用透视功能便于数据开发者及管理者查看和分析工作空间内的表、任务的运行状态、资源占用情况,为合理使用整体资源做辅助判断。

全景视角透视分析:按资源类型

2021.12.02

新增功能

API

  • 新增数据开发过程中,检查扩展点事件的系列API。

  • 新增数据集成异步同步任务系列API。

2021年11月更新记录

时间

特性

类别

描述

产品文档

2021.11.24

主要更新

数据集成

HDFS Reader和HDFS Writer增加向导开发模式。

HDFS ReaderHDFS Writer

2021.11.20

新增功能

API

新增运维中心相关API,您可以根据OpSeq(补数据唯一标识)获取单次补数据的所有Dag详情。

ListDags

2021.11.14

新增功能

数据开发

DataWorks支持对节点、资源、函数进行批量修改责任人等批量编辑操作,并支持批量提交并发布,将变更操作发布至生产环境生效。

批量操作

2021.11.08

新增功能

数据开发

DataWorks的资源组编排功能,帮助您在数据开发阶段,批量修改指定业务流程下目标节点使用的调度资源组。当您的工作空间中有多个调度资源组时,可以根据实际业务需求,使用该功能快速为目标节点重新分配资源组,促进资源的合理使用。

资源组编排

2021年10月更新记录

时间

特性

类别

描述

产品文档

2021.10.26

新增功能

数据建模

  • 命名词典为您提供管理业务名词、物理表、字段的词根和词素及其标准化翻译功能,您可以在DataWorks新建命名词典,或将已有词典导出。

  • 当您已通过其他建模工具生成模型,此时,想更换为DataWorks的智能建模进行后续建模工作,则可以使用逆向建模功能。该功能无需您再次执行建模操作,即可帮助您快速将已有模型反向建模至DataWorks的维度建模中,节省了大量的时间成本。

2021.10.22

主要更新

数据保护伞

  • 数据分类分级支持您按照数据的价值、内容敏感程度、影响和分发范围不同对数据进行敏感级别划分。不同敏感级别的数据有不同的管控原则和数据开发要求。

  • DataWorks支持通过内置敏感字段类型和自定义敏感字段类型,有效识别组织内的敏感数据。

2021.10.15

新增功能

API

  • 新增ListDeployments,查询发布包列表信息。

  • 新增UpdateIDEEventResult。用于在数据开发过程中触发扩展点时,通过调用UpdateIDEEventResult接口,将扩展程序对扩展点事件的检查结果返回给DataWorks的数据开发系统。

  • 新增GetIDEEventDetail,根据DataWorks开放消息的消息ID,查询触发扩展点事件时的扩展点数据快照。

2021.10.14

新增功能

API

为您介绍如何使用OpenAPI创建数据集成同步任务,同步来源端数据至去向端。

通过OpenAPI创建、修改、删除离线同步任务

2021.10.11

新增功能

数据开发

DataWorks的代码搜索功能,用于通过关键字搜索节点中的代码片段,并展示包含该代码片段的所有节点及片段的详细内容。当目标表数据产生变更,您需要查找操作源(即导致目标表数据变更的任务)时,可以使用该功能。

代码搜索

2021年9月更新记录

时间

特性

类别

描述

产品文档

2021.09.30

新增功能

数据开发调度配置

调度参数是DataWorks任务调度时使用的参数,调度参数会根据任务调度的业务时间及调度参数的取值格式自动替换取值,实现在任务调度时间内参数的动态取值。为您介绍调度参数的最新配置详情。

调度参数支持的格式

2021.09.30

新增功能

数据开发调度配置

DataWorks的调度依赖中,跨周期(即依赖上一周期),是指本次节点的周期实例运行依赖某个节点的上一周期实例运行,即节点当前周期实例是否运行取决于其所依赖的节点上一周期实例是否正常运行。为您介绍跨周期依赖的配置说明及依赖形式。

配置依赖上一周期(跨周期依赖)

2021.09.26

新增功能

数据地图

新增搜索API和查看API详情功能,支持对当前租户下所有工作空间的API进行搜索和定位,实现API的高效查找。同时在API详情页面,支持查看API的基础信息、参数信息、返回示例等详情。

数据服务API

查看API详情

2021.09.15

新增功能

数据分析

新增SQL查询功能,支持您对已有数据源进行快速的数据查询及分析。

SQL查询

2021.09.02

新增功能

运维中心

周期任务的补数据功能新增高级模式。用于灵活选择一批节点进行批量补数据操作,节点之间可以不存在依赖关系。您可以在DAG图上使用可视化方式添加节点,也可以在任务列表中添加节点。

执行补数据并查看补数据实例

2021年8月更新记录

时间

特性

类别

描述

产品文档

2021.08.29

新增功能

数据集成

为您介绍如何使用数据脱敏功能对实时同步的单表数据进行脱敏,然后存储到指定的数据库位置。

配置数据脱敏

2021.08.22

新增功能

数据集成

为您介绍如何使用DataWorks的数据集成功能,同步数据至Kafka。

资源规划与配置

2021.08.11

新增功能

新增SSL认证

DataWorks在配置MySQL、SQLServer、PostgreSQL、数据源时,支持开启第三方认证功能,开启该功能后,只有可信的应用和服务才能访问数据资源。第三方认证机制用于用户和服务的强身份验证,通过该机制,可以有效地避免不受信任的程序或服务来获取数据访问权限,提高数据同步过程中访问数据资源的安全性。

2021.08.07

主要更新

权限体系

基于产品外部权限体系RAM访问控制的权限及产品内部权限体系DataWorks产品内的权限控制,为您介绍了DataWorks的权限管理体系。

DataWorks权限体系功能概述

2021.08.06

新增功能

新增资源组

独享数据服务资源组上线杭州、上海地域。在调用数据服务API需要高QPS和SLA保障的情况下,企业需要使用独享的数据服务资源来保障调用成功。同时,独享数据服务资源组能够满足高并发、高频率的接口调用并及时返回结果数据。

独享数据服务资源组

2021.08.01

新增功能

迁移助手

DataWorks迁移助手8.1日正式商业化。迁移助手可以帮您快速复制DataWorks上不同的版本、主账号、地域和工作空间中的开发成果。迁移助手支持迁移周期任务、手动任务、资源、函数、数据源、表元数据、临时查询和组件等对象。您可以根据业务需求,选择全量导出、增量导出或自选导出等方式导出DataWorks中的开发成果。

迁移助手

2021年7月更新记录

时间

特性

类别

描述

产品文档

2021.07.23

新增功能

DataWorks智能数据建模

DataWorks数据建模支持数仓规划设计、制定并沉淀企业数据标准、维度建模、数据指标定义,通过使用DataWorks数据建模,您可以将建模设计产出的维度表、事实表和汇总表物化到计算引擎中并进一步应用。

概述

2021.07.22

新增功能

新增API

新增数据集成相关API,您可以通过API创建数据集成同步任务的相关内容。

CreateDISyncTask

2021.07.14

新增功能

管理控制台配置

您可以通过报警联系人页面,将目标RAM用户或RAM角色添加为报警联系人,添加后,DataWorks会将任务运行出错时产生的报警发送至对应联系人,方便您及时发现并处理异常任务。

查看和设置报警联系人

2021.07.09

新增功能

产品计费

华东2(上海)金融云、华南1(深圳)金融云新增产品计费说明。

DataWorks版本服务计费说明

2021.07.03

新增功能

数据保护伞

DataWorks的数据溯源功能,支持通过提取数据泄露文件中数据的水印信息,帮助您定位到可能会泄露目标数据的责任人。

敏感数据溯源

2021.07.02

新增功能

数据保护伞

DataWorks支持将您提供的样本文件生成样本库,后续可以将样本库配置为数据识别规则用来识别数据。当需要识别的目标数据包含样本库中的数据时,则会命中该识别规则。该功能通常用于识别可以使用枚举值罗列的数据,例如,员工姓名、用户地址等。本文为您介绍如何创建并管理样本库。

通过样本库识别

2021.07.02

新增功能

数据保护伞

DataWorks支持通过您提供的样本字段,进行模型训练,帮助您寻找目标字段的内容特征,生成相应的规则模型。该功能通常用于发现您的数据资产中与该特征内容相似的数据。

通过自定义模型识别

2021年6月更新记录

时间

特性

类别

描述

产品文档

2021.06.11

新增功能

数据开发

EMR Streaming SQL节点支持使用SQL语句来开发流式分析作业。

-

2021.06.11

新增功能

数据开发

EMR Spark Streaming节点用于处理高吞吐量的实时流数据,并具备容错机制,可以帮助您快速恢复出错的数据流。

-

2021.06.09

新增功能

运维中心

DataWorks的实时计算任务页面为您展示了任务实例的基本信息及运行详情,方便您查看目标任务的运行情况。同时,您还可以为目标任务设置监控报警,在任务运行出错时及时发现并处理异常。

实时计算任务运行与管理

2021年5月更新记录

时间

特性

类别

描述

产品文档

2021.05.20

新增功能

运维中心

您可以使用DataWorks值班表功能设置实例运维报警的值班机制。当自定义规则的报警接收人设置为值班表后,DataWorks将按照排班将报警信息发送给对应的值班人,以便值班人员及时发现并处理问题。

值班表

2021.05.17

新增功能

数据开发

您可以创建ClickHouse SQL节点,实现分布式SQL查询引擎处理结构化数据,提高作业的执行效率。

ClickHouse SQL

2021.05.15

新增功能

数据集成

为您介绍如何使用DataWorks的数据集成功能,同步数据至AnalyticDB for MySQL 3.0。

2021年4月更新记录

时间

特性

类别

描述

产品文档

2021.04.29

新增教程

快速入门

DataWorks为您提供了常用的AI体验教程,帮助您快速了解相关任务的开发流程。

大数据体验教程

2021.04.28

新增功能

数据集成

同步数据至Hologres解决方案为您提供了一键增加及删除同步表功能,方便您为已成功配置运行的同步任务快速添加新表或删除已有同步表。

增加或删除已运行任务的同步表

2021.04.22

新增功能

数据开发

FTP Check节点可用于通过FTP协议周期性检测指定文件是否存在。如果文件存在,则启动调度下游任务,不存在,则按照配置的间隔时间重复检测,直到满足检测的停止条件时停止检测。该节点通常作为DataWorks调度系统与其他调度系统之间传递信号使用。

FTP Check节点

2021.04.06

新增API

新增API

新增安全中心模块API文档。

GetPermissionApplyOrderDetail

2021.4.05

新增功能

数据集成

为您介绍如何使用DataWorks的数据集成功能,实时同步数据至Kafka。

资源规划与配置

2021年3月更新记录

时间

特性

类别

描述

产品文档

2021.3.19

新增功能

自定义角色

为您介绍如何在DataWorks的工作空间自定义角色。

空间级模块权限管控

2021.3.11

新增引擎

导入导出开源任务新增引擎。

为您介绍如何导入Airflow引擎任务至DataWorks,及向DataWorks中导入Airflow引擎任务。

2021.3.11

新增功能

引擎运维

为您介绍如何使用DataWorks的引擎运维功能,查看各个E-MapReduce作业的详细信息,及时查找并清理运行有误的作业,避免该类作业阻塞下游任务,影响实例任务的正常运行。

引擎运维

2021.3.9

新增功能

周期任务DAG的聚合分析。

周期任务运维中,新增DAG的聚合视图及分析功能,您可以通过DAG图,快速查看目标类别任务的详细信息并执行相关操作。

2021.3.3

新增功能

新增API

新增运维中心、数据保护伞、迁移助手模块相关功能API。

2021年2月更新记录

时间

特性

类别

描述

产品文档

2021.2.24

新增功能

新增查看数据集成任务运行状态功能

为您介绍如何快速查看已运行的同步解决方案任务的分布及运行情况,及时发现并处理异常任务,提升任务的运维效率。

全增量同步任务运维

2021.2.5

新增功能

新增功能

为您介绍如何创建ApsaraDB for OceanBase数据源,用于后续配置同步任务同步数据。

配置ApsaraDB for OceanBase数据源

2021年1月更新记录

时间

特性

类别

描述

产品文档

2021.1.28

新增功能

新增数据开发节点类型

为您介绍如何创建并使用MySQL及AnalyticDB for MySQL节点,直接使用SQL语句对目标数据源进行数据开发。

2021.1.20

新增功能

新增同步解决方案

为您介绍如何创建整库离线及实时同步任务,将指定数据库中的部分或全部表的数据同步至ElasticSearch中,并在创建完成后查看任务运行情况。

2021.1.19

新增功能

新增数据地图白名单及类目管理权限功能

为您介绍如何配置白名单及类目管理权限,保证您能正常使用数据地图的元数据采集和类目管理功能。

元数据采集的数据源有白名单访问控制时需要配置的白名单

2021.1.13

新增功能

新增操作审计功能

为您介绍如何在操作审计(ActionTrail)中查询DataWorks的行为事件日志。您可以通过查询到的事件日志进行行为分析、安全分析、资源变更行为追踪和行为合规性审计等操作。

通过操作审计查询行为事件日志

2021.1.13

新增功能

新增数据建模功能模块计费标准

为您介绍数据建模功能模块的计费详情。

DATABLAU数据建模计费标准数据建模功能模块计费标准

2020年12月更新记录

时间

特性

类别

描述

产品文档

2020.12.14

新增功能

新增功能

为您介绍如何新建采集器,并采集OTS元数据至DataWorks。采集完成后,您可以在数据地图查看数据。

采集OTS元数据

2020年11月更新记录

时间

特性

类别

描述

产品文档

2020.11.18

新增

新增OpenAPI

调用CreateManualDag触发手动业务流程执行。

CreateManualDag

2020.11.18

新增功能

新增OpenAPI

调用GetManualDagInstances获取手动业务流程执行实例的信息。

GetManualDagInstances

2020.11.18

新增功能

新增OpenAPI

调用GetDag,根据DagId获取Dag详情。

GetDag

2020.11.18

新增功能

新增OpenAPI

调用SearchNodesByOutput,根据输出精确查询节点。

SearchNodesByOutput

2020.11.16

新增功能

新增功能

本文为您介绍如何使用角色SSO的方式登录DataWorks。

(进阶)RAM角色登录并使用DataWorks

2020年10月更新记录

时间

特性

类别

描述

产品文档

2020.10.26

新增常见问题

体验优化

为您汇总运维中心的相关问题。

问题汇总

2020.10.23

新增功能

新增功能

阿里云DataWorks联合建模工具DDM(Datablau Data Modeler)为您提供一体化的数据建模解决方案(DATABLAU),将数据模型设计管控、引标落标等能力融入DataWorks规范化开发流程,助力用户实现数据资产价值化输出,在数据全生命周期上夯实数据基础,为客户的数据价值化提供有力支撑。

数据建模(Datablau)

2020.10.14

新增功能

新增功能

DataWorks提供代码评审功能,开启强制代码评审开关后,开发人员提交的节点必须通过评审人对代码的审核才可以发布。

代码评审

2020年9月更新记录

时间

特性

类别

描述

产品文档

2020.09.21

新增功能

新增功能

Hologres与MaxCompute在底层无缝连接,您无须移动数据,即可使用标准的PostgreSQL语句查询分析MaxCompute中的海量数据,快速获取查询结果。

Hologres SQL节点

2020.09.18

主要更新

体验优化

DataWorks数据分析用于在线洞察分析、编辑和分享数据。

数据分析

2020.09.08

主要更新

新增功能

数据地图的表详情界面更新,表的血缘关系支持多层展开,一条血缘连线上支持展示多个任务。并且支持基于同步任务的异构数据源之间的血缘关系。

查看表详情

2020.09.01

新增功能

新增功能

为您介绍如何导入从开源引擎导出的任务至DataWorks。

导入开源引擎任务

2020.09.01

新增功能

新增功能

DataWorks提供任务搬站功能,支持将开源调度引擎Oozie、Azkaban的任务快速迁移至DataWorks。本文为您介绍导出任务的文件要求等相关信息。

导出开源引擎任务

2020.09.01

功能介绍

体验优化

为您介绍实时同步的收费策略、支持的地域、功能亮点、支持的数据源、功能入口和架构。

实时同步能力说明

2020年8月更新记录

时间

特性

类别

描述

产品文档

2020.08.31

支持的数据源

体验优化

数据集成包括离线同步和实时同步,本文为您介绍离线和实时同步支持的数据源类型。

支持的数据源及同步方案

2020.08.28

新增功能

新增功能

DataWorks支持基于EMR(E-MapReduce)计算引擎创建Hive、MR、Presto和Spark SQL等节点,实现EMR任务工作流的配置、定时调度和元数据管理等功能,帮助EMR用户更好地生产数据。

准备工作:绑定EMR引擎

2020.08.17

新增插件

新增插件

本文为您介绍GDB(Graph Database) Reader支持的数据类型、字段映射和数据源等参数及配置示例。

GDB Reader

2020.08.14

新增最佳实践

体验优化

本文以阿里云RDS数据库为例,为您介绍专有网络VPC的数据源如何连通独享数据集成资源组。

专有网络VPC的数据源连通独享数据集成资源组

2020.08.10

新增API

新增API

调用CreateProjectMember,添加一个用户至DataWorks工作空间。

CreateProjectMember

2020.08.10

新增API

新增API

调用RemoveProjectMemberFromRole,将DataWorks工作空间内的用户从DataWorks角色中移除。

RemoveProjectMemberFromRole

2020.08.10

新增API

新增API

调用ListProjectRoles获取工作空间所有角色的列表。

ListProjectRoles

2020.08.10

新增API

新增API

调用DeleteProjectMember,从DataWorks工作空间移除用户。

DeleteProjectMember

2020.08.10

新增API

新增API

调用AddProjectMemberToRole,添加DataWorks工作空间用户至角色。用户需要先添加至DataWorks工作空间内。

AddProjectMemberToRole

2020.08.07

新增功能

新增功能

您可以创建EMR(E-MapReduce) Impala节点,对PB级大数据进行快速、实时的交互式SQL查询。

创建EMR Impala节点

2020.08.07

新增功能

新增功能

本文为您介绍如何注册EMR(E-MapReduce)函数。

创建EMR函数

2020.08.07

新增功能

新增功能

本文为您介绍如何创建EMR(E-MapReduce)表。

创建EMR表

2020.08.07

新增功能

新增功能

DataWorks支持创建EMR(E-MapReduce) JAR资源。

创建和使用EMR资源

2020.08.05

版本升级

主要更新

数据服务升级版本,更新生成API的操作,并新增业务流程、服务编排、前置过滤器等功能。

数据服务

2020年7月更新记录

时间

特性

类别

描述

产品文档

2020.07.31

功能更新

主要更新

DataStudio(数据开发)支持ODPS SQL、Shell等多种节点。

节点配置

2020.07.30

新增功能

新增功能

数据集成支持分库分表。您可以在一个任务中配置多个数据源多张表后,同步至一个目标表中。

场景:配置分库分表离线同步任务

2020.07.30

新增功能

新增功能

您可以在数据源管理页面,分享数据源权限给相应的工作空间,并进入被分享的工作空间查看该数据源。本文为您介绍如何管理数据源权限及查看分享的数据源。

管理数据源权限

2020.07.30

新增常见问题

体验优化

本文为您汇总数据源权限管理相关的常见问题。

数据源权限管理

2020.07.23

新增API公测说明

体验优化

DataWorks OpenAPI于2020年7月16日正式开启公测,本文为您介绍公测的相关说明。

DataWorks OpenAPI公测说明

2020.07.22

新增功能

新增功能

您可以通过配置同步解决方案,一次性实时同步指定数据源中的数据至MaxCompute。

一键实时同步至MaxCompute

2020.07.22

新增功能

新增功能

您可以在资源组列表页面实时查看独享资源组的使用率,自主监控具体任务占用资源的情况并及时调整。

查看独享资源组的使用率

2020.07.10

新增API

新增API

新增租户、元数据、数据开发、运维中心、数据质量和数据服务等商业化API。

API参考

2020.07.09

新增说明

体验优化

本文为您介绍生成API的两种模式及其区别。

生成API概述

2020.07.08

新增功能

新增功能

迁移助手可以帮您快速复制DataWorks上不同的版本、主账号、地域和工作空间中的开发成果。

迁移助手

2020.07.02

新增功能

新增功能

本文为您介绍发布API后,如何对API进行授权,并查看已获得授权或授权给他人的API。

授权API

2020年6月更新记录

时间

特性

类别

描述

产品文档

2020.06.29

新增功能

新增功能

本文为您介绍如何新建采集器,采集Hologres元数据至DataWorks。采集完成后,您可以在数据地图查看数据。

采集Hologres元数据

2020.06.24

新增功能

新增功能

数据集成支持同步解决方案功能,您可以通过配置同步规则同步整库的离线全量和实时增量数据。

选择同步解决方案

2020.06.08

新增功能

新增功能

您可以通过报警资源页面,查看当前账号指定地域下的报警资源,并设置每日报警短信和电话数量的上限。

查看和设置报警资源

2020.06.08

新增功能

新增功能

针对资源优化扫描出的治理成本高、响应速度慢的治理项,您可以根据业务需求添加白名单。本文为您介绍如何添加、查看、撤销和关闭白名单。

管理白名单

2020.06.04

新增操作说明

体验优化

为您介绍如何新增自定义调度资源组,并修改任务运行的资源组。

新增和使用自定义调度资源组

2020.06.01

新增节点

新增功能

您可以通过创建EMR(E-MapReduce)Presto节点,进行大规模结构化和非结构化数据的交互式分析查询。

创建EMR Presto节点

2020年5月更新记录

时间

特性

类别

描述

产品文档

2020.05.25

新增功能

新增功能

为您介绍如何添加阿里云VPC和IDC网络环境下的路由。

通用参考:添加路由

2020.05.21

新增节点

新增节点

为您介绍如何创建PyODPS 3节点,以及在DataWorks使用PyODPS 3的限制。

开发PyODPS 3任务

2020.05.20

新增重要功能发布记录

体验优化

为您介绍DataWorks产品功能和对应的文档动态。

功能发布记录 2022年之前

2020.05.18

新增数据源

新增数据源

Vertica数据源为您提供读取和写入Vertica双向通道的功能,您可以通过脚本模式配置同步任务。

配置Vertica数据源

2020.05.18

新增数据源

新增数据源

ApsaraDB for OceanBase数据源为您提供读取和写入ApsaraDB for OceanBase双向通道的功能,您可以通过脚本模式配置同步任务。

配置ApsaraDB for OceanBase数据源

2020.05.13

新增使用说明

体验优化

您可以通过DataWorks独享调度资源组绑定专有网络,以访问专有网络下的数据源。

Gbase8a Reader

2020年4月更新记录

时间

特性

类别

描述

产品文档

2020.04.29

新增使用说明

体验优化

为您介绍如何在表详情页面,使用数据服务生成API。

使用数据服务生成API

2020.04.29

新增使用说明

体验优化

为您介绍如何收藏和取消收藏表,以及查看收藏记录。

收藏表

2020.04.29

新增使用说明

体验优化

为您介绍如何在安全中心和数据地图申请表权限。

申请表权限

2020.04.28

新增功能

新增功能

您可以在数据发现模块新建采集器,采集E-MapReduce、MySQL、SQL Server、PostgreSQL、Oracle、AnalyticDB for PostgreSQL、AnalyticDB for MySQL 2.0、AnalyticDB for MySQL 3.0和OSS等类型的元数据至DataWorks。采集完成后,您可以在数据地图查看数据。

数据发现

2020.04.26

新增数据源

新增数据源

Elasticsearch数据源为您提供读取和写入Elasticsearch双向通道的功能,您可以通过脚本模式配置同步任务。

配置Elasticsearch数据源

2020.04.24

新增数据源

新增数据源

HBase数据源为您提供读取和写入HBase双向通道的功能,您可以通过脚本模式配置同步任务。

配置HBase数据源

2020.04.24

新增功能

新增功能

PolarDB输入插件仅支持PolarDB MySQL数据库。

配置PolarDB输入

2020.04.21

新增功能

新增功能

您可以通过交互式分析Hologres的实时写入能力,构建实时数仓。

配置Hologres输出

2020.04.21

新增功能

新增功能

大数据计算服务MaxCompute(原名ODPS)为您提供完善的数据导入方案,能够快速解决海量数据的计算问题。

配置MaxCompute输出

2020.04.20

新增功能

新增功能

您可以在资源属性区域选择任务调度运行时,需要使用的调度资源组。

配置资源属性

2020.04.17

新增功能

新增功能

数据同步时,一个任务只能使用一种资源组。您需要在每种资源组上单独测试连通性,以保证同步任务使用的数据集成资源组能够与数据源连通,否则将无法正常执行数据同步任务。

配置资源组与网络连通

2020.04.15

新增常见问题

体验优化

本文为您介绍DataWorks独享资源组的相关问题。

独享资源组

2020.04.14

新增功能

新增功能

DataWorks支持实时同步数据,本文为您介绍如何新建、发布和运维实时同步节点。

实时同步任务运维

2020.04.03

新增功能

新增功能

为您介绍如何新建AnalyticDB for PostgreSQL表。

创建AnalyticDB for PostgreSQL表

2020年3月更新记录

时间

特性

类别

描述

产品文档

2020.03.26

新增计算器

体验优化

如果您购买的是DataWorks独享资源组,可以使用DataWorks独享资源组计算器预估费用。

DataWorks独享资源组计算器

2020.03.25

新增功能

新增功能

DataWorks数据质量支持通过统一管理自定义规则,形成自建的规则模板库,帮助您提升规则配置的效率。

创建并管理自定义规则模板

2020.03.24

新增功能

新增功能

为您介绍数据质量的校检逻辑及离线数据的内置模板规则。

查看内置规则模板

2020.03.24

新增功能

新增功能

DataWorks运维中心为您提供运行诊断功能,帮助您掌握任务运行的全链路信息,以迅速定位问题。

智能诊断

2020.03.23

新增功能

新增数据源

Hologres数据源为您提供读取和写入Hologres双向通道的功能,您可以通过向导模式和脚本模式配置同步任务。

配置Hologres数据源

2020.03.20

新增视频

体验优化

为您演示Workshop的开发流程。

DataWorks Workshop操作

2020.03.20

新增视频

体验优化

为您介绍DataWorks数据集成与开源Sqoop的对比及注意事项,并为您提供DataWorks数据集成的操作演示。

DataWorks数据集成与开源Sqoop的对比

2020.03.20

新增视频

体验优化

为您提供DataWorks移动版和智能监控的功能说明和操作演示。

DataWorks移动版及智能监控

2020.03.20

新增视频

体验优化

为您提供DataWorks商业化资源组的说明和操作演示。

DataWorks商业化资源组

2020.03.20

新增视频

体验优化

为您提供DataWorks调度任务迁移的操作演示。

DataWorks调度任务迁移

2020.03.20

新增视频

体验优化

为您提供DataWorks数据集成实时同步的功能介绍和操作演示。

DataWorks数据集成实时同步

2020.03.20

新增视频

体验优化

为您提供基于DataWorks数据服务快速搭建疫情大屏的操作演示。

基于DataWorks数据服务快速搭建疫情大屏

2020.03.19

新增功能

新增插件

Holo Writer实现了导入数据至交互式分析(Hologres)的功能,您可以把多种数据源的数据导入Hologres进行实时分析。

Hologres Writer

2020.03.19

新增功能

新增插件

Holo Reader实现了从交互式分析(Hologres) 数仓导出数据的功能,您可以根据数据集成标准协议从Hologres Table中导出数据至其他数据源。

Hologres Reader

2020.03.17

新增使用说明

体验优化

DataWorks支持公共资源组、独享资源组和自定义资源组,本文为您介绍三种资源组的使用场景和使用方式。

DataWorks资源组概述

2020.03.12

新增功能

新增功能

您可以在报告模板管理页面动态配置数据质量核查报告模板,DataWorks数据质量支持自动根据报告模板定时生成并发送报告。

配置监控报告模板

2020.03.12

新增功能

新增数据源

GBase8a数据源为您提供读取和写入GBase8a双向通道的功能,您可以通过向导模式和脚本模式配置同步任务。

配置GBase8a数据源

2020.03.11

新增功能

新增插件

ApsaraDB For OceanBase是阿里云和蚂蚁金服自主研发的金融级分布式关系数据库。

ApsaraDB For OceanBase Writer

2020.03.11

新增功能

新增插件

ApsaraDB For OceanBase是阿里云和蚂蚁金服自主研发的金融级分布式关系数据库。

ApsaraDB For OceanBase Reader

2020.03.10

新增功能

新增插件

ClickHouse是面向联机分析处理(OLAP)和列式存储的开源的数据库管理系统(DBMS)。

ClickHouse Writer

2020年2月更新记录

时间

特性

类别

描述

产品文档

2020.02.29

新增最佳实践

体验优化

本文为您介绍如何使用独享数据集成资源,将您在ECS上自建的MySQL数据库中的数据,迁移到MaxCompute。

迁移ECS自建MySQL数据库至MaxCompute

2020.02.26

新增功能

新增功能

本文将为您介绍如何打通DataWorks元数据服务、用户独享资源组至AnalyticDB for PostgreSQL的专有网络(VPC)。

采集AnalyticDB for PostgreSQL元数据

2020.02.25

新增使用教程

体验优化

本教程为您介绍MaxCompute数据仓库构建的原理和流程。

构建与优化数据仓库

2020.02.25

新增插件

新增功能

DataHub是流式数据的处理平台,为您提供发布、订阅和分发流式数据的功能,让您可以轻松构建基于流式数据的分析和应用。

DataHub Reader

2020.02.18

新增数据源

新增功能

Hive数据源为您提供读取和写入Hive双向通道的功能,您可以通过向导模式和脚本模式配置同步任务。

配置Hive数据源

2020.02.14

新增最佳实践

体验优化

您可以通过阿里云MaxCompute、云数据库RDS MySQL、DataWorks等产品进行数据分析,且可以通过Quick BI进行可视化展示。

基于MaxCompute进行大数据BI分析

2020.02.14

新增最佳实践

体验优化

电商网站的销售数据通过大数据进行分析后,可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。

互联网、电商行业离线大数据分析

2020.02.13

新增最佳实践

体验优化

电商网站智能推荐基于阿里巴巴的大数据和人工智能技术,结合在电商行业的多年积累,为开发者提供个性化推荐服务,提升商品的购买率和转化率。

电商网站智能推荐

2020.02.11

新增功能说明

体验优化

您可以通过在业务流程面板连线、自动解析配置和自定义依赖三种方式设置节点的依赖关系。

调度依赖配置指引

2020年1月更新记录

时间

特性

类别

描述

产品文档

2020.01.13

新增插件

新增功能

为您介绍Gbase8a Reader支持的数据类型、字段映射和数据源等参数及配置示例。

Gbase8a Reader

2020.01.13

新增插件

新增功能

为您介绍Gbase8a Writer支持的数据类型、字段映射和数据源等参数及配置示例。

Gbase8a Writer

2020.01.06

新增最佳实践

体验优化

为您介绍如何配置相同区域下不同的MaxCompute项目,以及如何实现数据迁移。

通过DataWorks实现MaxCompute跨项目迁移

2019年12月更新记录

时间

特性

类别

描述

产品文档

2019.12.31

新增最佳实践

体验优化

为您介绍如何通过DataWorks数据同步功能,迁移Oracle上的数据至MaxCompute。

迁移Oracle数据至MaxCompute最佳实践

2019.12.27

产品升级

DataWorks V3.0

运维中心包括运维大屏、周期任务运维、手动任务运维和智能监控。

运维中心

2019.12.27

产品升级

DataWorks V3.0

您可以通过MaxCompute函数面板,查看在MaxCompute计算引擎中存在的函数、函数的变更历史,并可以一键添加函数至数据开发面板的业务流程中。

MaxCompute函数管理

2019.12.27

产品升级

DataWorks V3.0

SQL组件是一种带有多个输入参数和输出参数的SQL代码过程模板,SQL代码的处理过程通常是引入一到多个源数据表,通过过滤、连接和聚合等操作,加工出新的业务需要的目标表。

引用SQL组件

2019.12.27

产品升级

DataWorks V3.0

您可以创建EMR(E-MapReduce) HIVE节点,用类SQL语句来协助读写及管理存储在分布式存储系统上的大数据集的数据仓库,完成海量日志数据的分析和开发工作。

创建EMR Hive节点

2019.12.27

产品升级

DataWorks V3.0

DataWorks提供PyODPS节点类型,集成了MaxCompute的Python SDK。

PyODPS 2节点

2019.12.27

产品升级

DataWorks V3.0

ODPS SQL采用类似SQL的语法,适用于海量数据(TB级)但实时性要求不高的分布式处理场景。

开发ODPS SQL任务

2019.12.27

产品升级

DataWorks V3.0

调度依赖关系是您构建有序业务流程的根本,只有正确构建任务依赖关系,才能保障业务数据有效、适时地产出,形成规范化的数据研发场景。

配置同周期调度依赖

2019.12.27

产品升级

DataWorks V3.0

目前调度参数支持系统参数和自定义参数两种形式。

调度参数支持的格式

2019.12.27

产品升级

DataWorks V3.0

数据开发模式升级,包括工作空间>解决方案>业务流程3级结构,抛弃陈旧的目录组织方式。

数据开发

2019.12.27

产品升级

DataWorks V3.0

为您介绍如何通过数据集成的脚本模式配置任务。

通过脚本模式配置离线同步任务

2019.12.27

产品升级

DataWorks V3.0

为您介绍如何通过数据集成向导模式进行任务配置。

通过向导模式配置离线同步任务

2019.12.27

产品升级

DataWorks V3.0

MySQL数据源为您提供读取和写入MySQL双向通道的功能,您可以通过向导模式和脚本模式配置同步任务。

配置MySQL数据源

2019.12.27

产品升级

DataWorks V3.0

为您介绍数据同步支持的数据源。

支持的数据源与读写插件

2019.12.27

产品升级

DataWorks V3.0

在数据集成任务高并发执行且无法错峰运行的情况下,企业需要独享的计算资源来保障数据快速、稳定地传输,此时您可以选择独享数据集成资源。

新增和使用独享数据集成资源组

2019.12.27

产品升级

DataWorks V3.0

您可以新增自定义资源组运行数据同步任务,解决DataWorks公共资源组与您的数据源不通的问题,或实现更高速度的传输能力。

新增和使用自定义数据集成资源组

2019.12.27

产品升级

DataWorks V3.0

为您介绍当选择不同区域的DataWorks时,如何添加对应的不同白名单的内容。

添加白名单

2019.12.27

产品升级

DataWorks V3.0

数据集成是稳定高效、弹性伸缩的数据同步平台,致力于提供复杂网络环境下、丰富的异构数据源之间数据高速稳定的数据移动及同步能力。

数据集成

2019.12.27

产品升级

DataWorks V3.0

您可以通过资源组列表页面,查看当前账号下所有的独享资源组和公共资源组,并对其进行管理。

查看资源组列表

2019.12.27

产品升级

DataWorks V3.0

您可以在DataWorks V3.0的工作空间管理模块,进行工作空间配置、成员管理、MaxCompute高级配置和数据源管理等操作。

工作空间管理

2019.12.09

新增插件

新增功能

SAP HANA是一款支持企业预置型部署和云部署模式的内存计算平台,为您提供高性能的数据查询功能。

SAP HANA Reader

2019.12.02

新增插件

新增功能

Kafka Writer通过Kafka服务的安装Java SDK向Kafka写入数据。

Kafka Writer

2019年11月更新记录

时间

特性

类别

描述

产品文档

2019.11.25

新增功能说明

新增功能

运维助手为您提供在独享资源组上进行新建、执行和删除命令,以及查看命令执行结果、环境命令基线编排等操作的功能。

运维助手

2019.11.21

新增配置说明

体验优化

当整个业务流程需要对同一个变量进行统一的赋值或替换参数值时,请选择使用流程参数功能。

使用流程参数

2019.11.20

新增数据综合治理

新增功能

数据综合治理为您提供统一的数据视图,以掌握数据资产的现状、助力数据质量的提升、提高获取数据的效率、保障数据安全的合规和提升数据查询的分析效率。

数据综合治理

2019.11.12

新增插件

新增功能

Vertica是一款基于列存储的MPP架构的数据库,Vertica Reader插件实现了从Vertica读取数据的功能。

Vertica Reader

2019.11.12

新增插件

新增功能

Vertica是一款基于列存储的MPP架构的数据库,Vertica Writer插件实现了向Vertica写入数据的功能。

Vertica Writer

  • 本页导读 (1)
文档反馈