本文为您介绍了MaxCompute 2020年内容更新的最新动态,基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更,提升项目开发效率。

2020年12月更新记录

时间 特性 类别 描述 产品文档
2020-12-28 新增Streaming Tunnel服务。 新功能 MaxCompute Streaming Tunnel服务是MaxCompute批量数据通道的扩展服务,提供了一套全新的API及后端服务,方便流式服务做为上游服务将数据写入MaxCompute。
2020-12-24 新增MaxCompute Spark使用及常见问题视频。 新视频 介绍MaxCompute Spark使用及常见问题。 MaxCompute Spark使用及常见问题
2020-12-24 新增MaxCompute Logview2.0参数详解及常见问题视频。 新视频 介绍MaxCompute Logview2.0参数及常见问题。 MaxCompute Logview2.0参数详解及常见问题
2020-12-21 新增STACK和GET_USER_ID函数。 新说明 新增STACK函数用于将指定的数据分隔为指定列数。新增GET_USER_ID函数用于获取当前账号的账号ID。 其他函数
2020-12-21 新增通过DataWorks管理项目角色权限描述。 新说明 支持通过DataWorks管理项目角色权限。 通过DataWorks管理项目角色权限
2020-12-21 新建MaxCompute项目默认提供Information Schema服务。 更新说明 新建MaxCompute项目默认提供Information Schema服务,无需手动安装Information Schema权限包。 Information Schema概述
2020-12-16 新增包年包月分时配额最佳实践。 新实践 对包年包月计算资源按照时间段设置资源配额,协助您更快上手使用分时配额功能,提高计算资源使用率。 包年包月资源分时配额
2020-12-15 新增Mars版本变更说明。 新说明 提供Mars各版本的变更记录。 Mars版本更新记录
2020-12-15 新增MMA2.0版本变更说明。 新说明 提供MMA2.0各版本的变更记录。 版本更新记录
2020-12-15 新增Java SDK版本变更说明。 新说明 提供Java各版本的变更记录。 Java SDK版本更新记录
2020-12-15 新增JDBC版本变更说明。 新说明 提供JDBC各版本的变更记录。 JDBC版本更新记录
2020-12-11 元数据视图列表新增TASK视图。 新说明 TASK视图用于保存运行中作业的实时快照信息。 元数据视图列表
2020-12-10 新增添加项目空间成员并设置角色操作指导。 新说明 如果您使用阿里云账号创建了项目空间,需要RAM用户协助开发时,可以将RAM用户添加为项目空间成员并设置角色,RAM用户才可以协同开发。 添加项目空间成员并设置角色
2020-12-09 新增AdminEvent事件。 新说明 新增CreateProject、UpdateProject、DeleteProject事件,记录项目相关日志。 审计日志
2020-12-08 常用命令整改并优化内容。 更新说明 调整常用命令内容并完善命令示例。 常用命令列表
2020-12-08 Insert语句整改并优化内容。 更新说明 调整Insert语句内容并完善命令示例。
2020-12-08 DDL语句整改并优化内容。 更新说明 调整DDL语句内容并完善命令示例。

2020年11月更新记录

时间 特性 类别 描述 产品文档
2020-11-30 MaxCompute Lightning升级为MaxCompute交互式分析(MC-Hologres)。 新功能 MC-Hologres是为大数据设计的实时交互式分析产品,它与MaxCompute无缝打通,支持数据实时写入,支持PB级数据进行高并发、低延时的分析处理。兼容PostgreSQL协议,可以使用您最熟悉的BI工具对海量数据进行自助的多维分析透视和业务探索,同时也支持超高QPS点查能力,满足数仓分析、服务一体化需求。 MaxCompute Lightning升级为MaxCompute交互式分析(MC-Hologres)
2020-11-27 更新升级和降配操作流程。 更新说明 通过新版MaxCompute控制台执行升级和降配操作。 升级和降配
2020-11-27 支持将消息队列Kafka版数据导入MaxCompute。 新功能 MaxCompute与消息队列Kafka版服务紧密集成,借助消息队列Kafka版服务的MaxCompute Sink Connector,无需第三方工具及二次开发,即可满足将指定Topic数据持续导入MaxCompute数据表的需求。极大简化Kafka消息队列数据进入MaxCompute的集成链路,并显著降低开发和运维成本。 消息队列Kafka版数据导入MaxCompute
2020-11-26 刷新审计日志字段内容。 更新说明 刷新审计日志字段内容。 审计日志
2020-11-20 支持解除order by必须带limit的限制。 新说明 支持解除order by必须带limit的限制。 SELECT语法
2020-11-20 MaxCompute支持以RAM角色身份访问使用服务。 新说明 MaxCompute项目空间在云账号、RAM用户基础上,增加对RAM角色的支持。管理员可添加RAM角色到项目空间并对RAM角色赋权,通过STS认证方式登录访问服务,实现无AccessKey认证的安全访问需求。MaxCompute Web控制台支持以STS访问认证,使用RAM角色在Web控制台操作访问MaxCompute项目空间,进行数据分析、数据开发。
2020-11-17 新增Python UDF使用第三方包操作指导。 新说明 MaxCompute支持您在Python UDF中引用第三方包,例如Numpy包、需要编译的第三方包或依赖动态链接库的第三方包。 Python UDF使用第三方包
2020-11-12 支持突破屏显10000行限制。 新说明 当使用无LIMITSELECT语句或LIMITnumber数量超过设置的屏显上限时,如果您直接从屏显窗口查看结果,最多只能输出屏显上限设置的行数。每个项目空间的屏显上限可能不同,您可以根据提供的解决方案进行设置。 SELECT语法
2020-11-04 补充配置JDBC启用MCQA功能下的可选配置参数。 更新说明 补充配置JDBC启用MCQA功能下的可选配置参数。 使用说明

2020年10月更新记录

时间 特性 类别 描述 产品文档
2020-10-30 SEMI JOIN支持MAPJOIN Hint。 更新说明 SEMI JOIN支持MAPJOIN Hint,提高LEFT SEMI或ANTI JOIN的性能,为数据倾斜问题提供解决方案。 SEMI JOIN(半连接)
2020-10-30 MaxCompute支持SORT BY不带 DISTRIBUTE BY。 更新说明 MaxCompute支持不带DISTRIBUTE BY的SORT BY,提供数据重排的解决方案,提高SQL执行的过滤性能。 SELECT语法
2020-10-30 INSERT命令支持ZORDER BY子句,提升查询时的过滤性能。 新功能 支持把数据相近的行排列在一起,提升查询时的过滤性能,同时降低存储成本。 插入或覆写数据(INSERT INTO | INSERT OVERWRITE)
2020-10-30 支持通过条件筛选方式批量删除分区。 新功能 如果用户希望一次性删除符合某个规则条件的一个或多个分区,可以使用条件表达式匹配分区进行批量删除。 分区和列操作
2020-10-30 OSS外部表CSV或TSV文件支持GBK编码格式。 更新说明 odps.text.option.encoding属性支持GBK编码格式。 内置Extractor访问OSS
2020-10-30 时间函数YEAR/QUARTER/MONTH/DAY/HOUR/MINUTE/SECOND增加对DATETIME输入数据类型的支持。 更新说明 时间函数YEAR/QUARTER/MONTH/DAY/HOUR/MINUTE/SECOND增加对DATETIME输入数据类型的支持。 日期函数
2020-10-30 新增WIDTH_BUCKET函数。 新功能 支持获取某个字段值落入的分组编号。 数学函数
2020-10-12 查询加速(MCQA)功能商业化。 更新说明 查询加速(MCQA)功能商业化,正式开始收费。 MCQA概述
2020-10-10 支持修改表的聚簇属性。 新说明 新增修改表的聚簇属性说明。 表操作

2020年9月更新记录

时间 特性 类别 描述 产品文档
2020-09-30 MaxCompute控制台改版。 新功能 MaxCompute控制台改版,新版用户界面和新功能简化了用户在开通服务、创建项目、管理及监控计算资源和分析SQL查询结果等方面的操作。
2020-09-17 新增创建RAM用户描述。 新说明 新增创建RAM用户描述。 创建RAM用户
2020-09-11 新增Logview 2.0功能。 新功能 使用Logview 2.0查看Job运行信息
2020-09-08 更新服务注销说明。 更新说明 更新服务注销操作说明。 服务注销与资源释放
2020-09-03 更新Tunnel Upload说明。 更新说明 更新Tunnel Upload命令使用说明。 Tunnel命令
2020-09-01 新增BigQuery数据迁移至MaxCompute最佳实践。 新实践 为您介绍如何将BigQuery数据迁移至MaxCompute。 BigQuery数据迁移至MaxCompute
2020-09-01 新增Amazon Redshift数据迁移至MaxCompute最佳实践。 新实践 为您介绍如何将Amazon Redshift数据迁移至MaxCompute。 Amazon Redshift数据迁移至MaxCompute
2020-09-01 新增内建函数常见问题。 新说明 为您介绍内建函数的常见问题。 内建函数

2020年8月更新记录

时间 特性 类别 描述 产品文档
2020-08-20 新增查询加速(MCQA)功能。 新功能 为您介绍MaxCompute查询加速MCQA(MaxCompute Query Acceleration)功能,并帮助您了解该功能的系统架构、关键特性、应用场景、使用限制和使用说明。 MCQA概述
2020-08-20 新增备份存储计费详情。 更新说明 为您介绍备份存储计费详情。 存储费用(按量计费)
2020-08-17 新增数据科学(Mars)和备份存储计费方式。 更新说明 为您介绍数据科学(Mars)和备份存储计费方式。 计费方式
2020-08-17 新增数据科学(Mars)和查询加速(MCQA)计费详情。 更新说明 为您介绍数据科学(Mars)和查询加速(MCQA)计费详情。 计算费用(按量计费)
2020-08-05 新增SERDEPROPERTIES支持的属性项odps.text.option.use.quote 新说明 指定是否识别CSV的列分隔符" 内置Extractor访问OSS

2020年7月更新记录

时间 特性 类别 描述 产品文档
2020-07-29 新增迁移MaxCompute数据至OTS最佳实践。 新实践 为您介绍如何将MaxCompute数据迁移至表格存储OTS。 MaxCompute数据迁移至OTS
2020-07-29 新增迁移MaxCompute数据至OSS最佳实践。 新实践 为您介绍如何使用DataWorks的数据同步功能将MaxCompute数据迁移至对象存储OSS。 MaxCompute数据迁移至OSS
2020-07-24 新增数据加密功能。 新功能 MaxCompute支持通过密钥管理服务KMS(Key Management Service)对数据进行加密存储,提供数据静态保护能力,满足企业监管和安全合规需求。 数据加密
2020-07-23 新增聚合函数。 新说明 新增APPROX_DISTINCTANY_VALUEARG_MAXARG_MIN函数。 聚合函数
2020-07-23 Python UDF增加支持的数据类型。 新说明 Python UDF增加支持的数据类型。
2020-07-23 新增SQL语言定义函数。 新功能 MaxCompute支持通过SQL语言定义函数(SQL Function)在SQL脚本中使用SQL定义的UDF。 SQL语言定义函数
2020-07-23 新增代码嵌入式UDF。 新功能 MaxCompute支持通过代码嵌入式UDF(Embedded UDF)将Java或Python代码嵌入SQL脚本。
2020-07-23 MaxCompute的包年包月项目支持对指定SQL作业使用按量计费资源。 新功能 MaxCompute管家支持设置包年包月项目使用包年包月CU资源,而项目中的某些作业使用按量计费CU资源。只支持设置SQL类型作业使用按量计费CU资源。 包年包月项目使用按量计费资源
2020-07-23 MaxCompute管家升级。 更新功能 MaxCompute管家支持如下新功能:
  • 支持对包年包月项目的配额组设置分时时间段。
  • 支持对包年包月项目设置按量计费配额组。
  • 项目页面增加按量计费项目。
  • 作业页面增加按量计费项目作业快照。
MaxCompute管家
2020-07-23 新增包年包月作业优先级功能。 新功能 新增包年包月作业优先级功能,并提供开启、设置和查看作业优先级的操作指导。 作业优先级
2020-07-02 新增备份与恢复功能。 新功能 新增备份与恢复功能,并提供相关操作命令和参考示例。 备份与恢复

2020年6月更新记录

时间 特性 类别 描述 产品文档
2020-06-03 新增Tunnel overwrite命令。 新说明 支持Tunnel overwrite命令。 Tunnel命令
2020-06-01 优化Spark访问VPC实例。 新说明和示例 新增内容如下:
  • Spark访问VPC的白名单和地域的限制说明。
  • Spark访问不同实例时,合并JSON文本的结果示例。
Spark访问VPC实例
2020-06-01 Policy和Download权限控制。 新示例 新增Policy授权和撤销的用法示例。 Policy和Download权限控制

2020年5月更新记录

时间 特性 类别 描述 产品文档
2020-05-25 新增数据科学(Mars)。 新说明 新增数据科学(Mars)。
2020-05-25 新增创建PyODPS 3节点。 新说明 介绍如何创建PyODPS 3节点。 创建PyODPS 3节点
2020-05-11 新增Spark访问OSS配置说明。 新说明 新增Spark访问OSS配置说明。 Spark访问OSS
2020-05-11 新增审计日志功能。 新功能 新增审计日志功能。完整地记录您在MaxCompute服务内的各项操作行为。 审计日志
2020-05-08 新增华东2(金融云)区域。 新说明 新增华东2(金融云)区域。 配置Endpoint
2020-05-08 1.0数据类型版本新增复杂数据类型。 新说明 介绍数据类型版本新增复杂数据类型。 1.0数据类型版本
2020-05-08 MMA迁移工具升级为2.0版本。 新说明 MMA迁移工具升级为2.0版本。

2020年4月更新记录

时间 特性 类别 描述 产品文档
2020-04-21 MaxCompute权限新增Label、Download和Policy相关功能。 新说明 新增权限相关功能如下:
  • 支持将Label授权给角色(Role)。
  • Policy支持GRANT方式授权。
  • 支持Download权限控制。
2020-04-20 MaxCompute数据存储格式全面升级为AliORC,为您提供MaxCompute数据存储性能参照。 新说明 通过TPC-DS测试数据对AliORC、Apache ORC和Apache Parquet进行测试对比,为您提供MaxCompute数据存储性能参照。 存储性能
2020-04-10 新增基于MaxCompute的大数据BI分析最佳实践。 新视频 介绍如何使用Quick BI可视化分析MaxCompute数据。 基于MaxCompute的大数据BI分析最佳实践
2020-04-03 新增MaxCompute管家详解。 新视频 介绍MaxCompute管家的功能和使用方法。 MaxCompute管家详解
2020-04-03 新增MaxCompute支持限制单SQL消费功能。 新说明 介绍Project级别和Session级别的单SQL限制消费。 消费监控告警

2020年3月更新记录

时间 特性 类别 描述 产品文档
2020-03-27 支持三种MaxCompute数据类型版本。 新说明 介绍三种MaxCompute数据类型版本配置、适用场景和支持的数据类型。
2020-03-27 新增MaxCompute购买规格说明。 新视频 介绍MaxCompute购买规格和适用场景。 MaxCompute规格详解
2020-03-25 新增概览页面和查看历史作业快照功能。 新功能 新增概览页面和查看历史作业快照功能。 MaxCompute管家
2020-03-20 新增支持MaxCompute Spark访问VPC实例。 新说明 您可以通过MaxCompute Spark访问VPC实例,包括用户自定义私有域名。 Spark访问VPC实例
2020-03-16 新增LOAD语法。 新说明 您可以通过LOAD命令从外部存储导入数据,向表或表的分区中追加数据、覆盖重写数据。 LOAD
2020-03-16 新增内建函数MUMERIC_HISTOGRAMPERCENTILE_APPROXPERCENTILE_APPROX 新说明
  • MUMERIC_HISTOGRAM:统计指定列的近似直方图。
  • PERCENTILE_APPROX:返回给定百分比下数值的近似百分比值。
  • FORMAT_NUMBER:将数字格式化为指定形式的字符串。
2020-03-04 新增使用独享数据集成资源,将您在ECS上自建的MySQL数据库中的数据,迁移到MaxCompute的示例。 新实践 新增使用独享数据集成资源,将您在ECS上自建的MySQL数据库中的数据,迁移到MaxCompute的示例。 迁移ECS自建MySQL数据库至MaxCompute

2020年2月更新记录

时间 特性 类别 描述 产品文档
2020-02-26 新增内建函数TABLE_EXISTSPARTITION_EXISTS 新说明 新增内建函数TABLE_EXISTSPARTITION_EXISTS
2020-02-26 表级别支持禁止生命周期。 新说明 表级别支持禁止生命周期。 禁止或恢复生命周期
2020-02-26 OSS外表功能增强。 更新功能
  • 外表访问OSS支持HTTPS。
  • 支持MSCK REPAIR TABLE语法。
内置Extractor访问OSS
2020-02-26 MaxCompute提供了CLONE TABLE功能,将表数据复制到另一个表中,让数据移动和复制更便捷。 新功能 MaxCompute提供了CLONE TABLE功能,支持将表数据复制到另一个表中,让数据移动和复制更便捷。 CLONE TABLE
2020-02-26 MaxCompute正式支持Python 3 UDF。 新功能 Python 2官方即将停止维护,越来越多的三方库也开始只支持 Python 3,因此MaxCompute也正式支持Python 3 UDF。 Python 3 UDF
2020-02-26 MaxCompute扩充了GROUPING的表达方式,支持CUBE、 ROLLUP和GROUPING SETS的嵌套使用。 新说明 MaxCompute扩充了GROUPING的表达方式,支持CUBE、ROLLUP和GROUPING SETS的嵌套使用。 GROUPING SETS
2020-02-25 对MaxCompute SQL与Hive进行对比分析。 新视频 对MaxCompute SQL与Hive进行对比分析。 MaxCompute SQL与Hive对比分析
2020-02-25 介绍Spark on MaxCompute。 新视频 介绍Spark on MaxCompute。 Spark on MaxCompute介绍
2020-02-18 新增设置子账号为超级管理员最佳实践。 新实践 介绍将子账号设置为超级管理员的操作方法、提供了超级管理员在工作中的使用建议。 MaxCompute项目设置RAM子账号为超级管理员
2020-02-03 新增Super_Administrator内置角色。 新说明 内置Super_Administrator角色,拥有项目内所有管理权限和资源权限。

2020年1月更新记录

时间 特性 类别 描述 产品文档
2020-01-14 新增MMA迁移工具说明。 新说明 对迁移工具MMA的原理、安装以及使用的说明。
2020-01-14 SQL兼容性升级。 新说明 get_idcard_ageconcat_wslike函数行为变更说明。
2020-01-09 新增参数说明。 新说明 对示例中的参数进行详细的说明。 项目空间的数据保护
2020-01-07 新增结巴分词自定义词典最佳实践。 新实践 在PyODPS节点实现结巴中文分词的基础上新增自定义词典的示例。 PyODPS节点实现结巴中文分词