本文为您介绍了MaxCompute 2021年内容更新的最新动态,基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更,提升项目开发效率。

MaxCompute的重要功能发布记录请参见产品重大更新

2021年4月更新记录

时间 特性 类别 描述 产品文档
2021-04-29 新增数加体验馆页面。 新说明 链接至数加体验馆,方便用户快速基于场景使用MaxCompute。 AI体验教程
2021-04-06 新增动态过滤功能。 新功能 利用等值JOIN的特性,基于运行时动态生成过滤器,以便在Shuffle或JOIN之前提前过滤数据,实现加速查询运行。 动态过滤器(Dynamic Filter)
2021-04-02 根据用户反馈补充常见SQL问题。 更新说明 补充SQL语句使用过程中的常见问题。 SQL语句

2021年3月更新记录

时间 特性 类别 描述 产品文档
2021-03-25 补全MaxCompute错误码列表信息。 更新说明 完善MaxCompute错误码列表。
2021-03-19 补充常见问题。 更新说明 根据用户反馈问题合入常见问题。
2021-03-16 建表语法支持指定列的NOT NULL属性。 更新说明 禁止该列的值为NULL。 表操作
2021-03-16 新增FROM_JSON和TO_JSON函数。 新说明 FROM_JSON函数可以将JSON转换成MaxCompute的数据类型,或提取JSON中的信息,根据JSON字符串jsonStr和schema信息,返回ARRAY、MAP或STRUCT类型。TO_JSON函数可以将给定的复杂类型ARRAY、MAP或STRUCT,以JSON字符串格式输出。 字符串函数
2021-03-16 新增OSS外部表支持处理压缩格式数据功能。 新功能 如果OSS上的数据为LZO或SNAPPY压缩格式,您需要在创建OSS外部表时,指定压缩格式相关信息。 支持压缩格式数据
2021-03-16 新增作业超时报警功能。 新功能 MaxCompute支持通过配置阈值报警规则,监控作业运行时长。当作业运行超时后,系统会将报警信息发送至报警联系人,助力及时识别异常作业,提升运维效率。 作业超时监控告警
2021-03-16 支持Transactional表的ACID属性。 新功能 Transactional表的ACID特性在MaxCompute并发写操作的ACID特性基础上新增了新特性。 ACID语义
2021-03-12 MaxCompute管家支持SQL持续空输出和全表扫描推荐。 新功能 MaxCompute支持定期检查并列出持续执行空输出或全表扫描的TOP级SQL周期任务。如果有该类型任务,列表中会显示最近一次执行的Instance ID,建议您检查作业并进行优化,避免产生不必要的资源消耗。 MaxCompute管家
2021-03-12 支持列级别权限控制。 更新说明 对表列级别进行权限控制。 授权
2021-03-12 支持通过Java SDK查询权限信息。 新功能 MaxCompute支持您通过Java SDK方式查询指定用户、角色或资源的授权信息,以JSON格式展示权限查询结果,满足多样化展示需求。 通过Java SDK查询权限信息
2021-03-12 支持对Package进行权限控制。 新功能 安装Package后,如果您需要对Package进行更细微的权限控制,例如控制只能访问Package内的部分资源或控制只能访问Package内表的部分列,您可以通过MaxCompute提供的细粒度授权或LABEL授权实现。 Package的权限控制
2021-03-12 支持通过属性打开或关闭Download权限。 更新说明 开启或关闭该功能,需要Project Owner或具备Super_Administrator角色的用户在Project级别配置属性。 Policy和Download权限控制
2021-03-01 新增MaxCompute湖仓一体功能。 新功能 MaxCompute提供湖仓一体方案,该方案可以打破数据湖与数据仓库割裂的体系,并将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合,助力构建数据湖和数据仓库相融合的数据管理平台。 MaxCompute湖仓一体

2021年2月更新记录

时间 特性 类别 描述 产品文档
2021-02-25 流式数据计费单价变更。 更新说明 单价由0.12元/GB变更为0.08元/GB。 流式数据写入费用(按量计费)
2021-02-23 新增Python 2 UDTF使用示例。 新示例 新增Python 2 UDTF读取MaxCompute资源示例。 Python 2 UDF
2021-02-23 新增Python 3 UDTF使用示例。 新示例 新增Python 3 UDTF读取MaxCompute资源示例。 Python 3 UDF
2021-02-23 新增Spark作业引用外部文件描述。 新说明 新增Spark作业引用外部文件描述。 搭建开发环境
2021-02-20 新增UDTF与Lateral View结合的使用示例。 新示例 新增UDTF与Lateral View结合的使用示例。 UDTF使用说明
2021-02-09 补充清除用户权限描述。 新说明 补充清除用户权限描述。 用户管理
2021-02-09 新增MaxCompute SQLML功能。 新功能 SQLML是MaxCompute提供的应用机器学习能力的SQL语言入口。MaxCompute SQLML在底层依赖机器学习PAI平台做模型创建、预测、评估等操作。
2021-02-07 删除VALUES中只能使用常量的限制。 更新说明 删除VALUES中只能使用常量的限制。 VALUES
2021-02-07 OSS外部表支持分片上传功能。 新说明 支持使用OSS的分片上传(Multipart Upload)功能通过INSERT操作向OSS外部表写入数据。 将数据输出到OSS
2021-02-07 新增array_intersect函数,修改sort_array函数。 新说明 新增array_intersect,用于计算两个array的交集。sort_array增加isAsc参数,对给定数组排序时让用户选择是升序还是降序,默认是升序。 其他函数
2021-02-07 新增过滤条件表达式和count_if函数。 新说明 增加过滤条件表达式支持,可以对select子句中某个聚合函数指定过滤条件,便于您在同一个聚合语句中单独控制某个聚合函数的数据范围。新增count_if函数对满足if条件的记录进行计数。 聚合函数
2021-02-07 增强日期函数datedatediffdatepartdatetrunc对DATE、TIMESTAMP日期数据类型的支持。 新说明 增强日期函数datedatediffdatepartdatetrunc对DATE、TIMESTAMP日期数据类型的支持。 日期函数
2021-02-07 新增base64unbase64parse_url函数。 新说明 新增字符串函数parse_url对URL进行解析;新增base64unbase64函数实现二进制和BASE64格式字符串互转。 字符串函数
2021-02-07 MaxCompute命令行支持关闭表头显示,便于Shell调用。 新说明 在Shell(或Windows命令行)执行窗口,用户会可能需要使用odpscmd -e SQL语句执行得到的动态返回值,Shell的变量会获取这个动态返回值,然后在Shell中执行后续作业。此场景需要返回值不包含运行信息、表头等额外信息。您可以通过set odps.sql.select.output.format={needHeader:false,fieldDelim:""};关掉表头显示,将计算结果stdout部分输出到目标句柄。 客户端
2021-02-07 MaxCompute支持通过UNLOAD命令把数据导出到OSS外部存储。 新功能 MaxCompute支持通过UNLOAD命令导出数据到OSS,方便用户使用OSS存储结构化数据,并方便用户使用OSS上其他计算引擎处理和分析MaxCompute导出的数据。 UNLOAD
2021-02-07 支持SkewJoin Hint。 新功能 当两张表Join存在热点,导致出现长尾问题时,您可以通过取出热点key,将数据分为热点数据和非热点数据两部分处理,最后合并的方式,提高Join效率。SkewJoin Hint可以通过自动或手动方式获取两张表的热点key,分别计算热点数据和非热点数据的Join结果并合并,加快Join的执行速度。
2021-02-07 MaxCompute推出Freeride及Analyze两种优化器元数据收集工具。 新功能 MaxCompute目前提供两种方式收集表的元数据:
  • 异步收集(Analyze):需要您通过命令对表进行主动、异步收集。扫描表数据会产生计费。
  • 同步收集(Freeride):需要您在create table ... as ...insert语句前设置运行参数,配置收集计划启用Freeride功能,在数据生成的同时,自动收集列统计信息。这种方式更加自动化,但对查询时延有影响。
优化器信息收集
2021-02-07 MaxCompute外部表支持通过JDBC方式读写MC-Hologres。 新功能 MaxCompute外部表支持使用数据库JDBC驱动机制访问MC-Hologres数据源数据。您可以使用在MaxCompute上创建MC-Hologres外部表的方式,基于PostgreSQL JDBC驱动查询MC-Hologres数据源的数据。该方式无冗余存储,无需导入导出数据,可实现快速获取查询结果。当前读写MC-Hologres外部表处于公测阶段,不收取计算费用,也暂时不保证SLA。 MC-Hologres外部表
2021-02-07 MaxCompute支持云HBase外部表。 新功能 MaxCompute支持通过专有网络连接方案,访问用户的云HBase。用户完成网络连通和授权,可以创建HBase外部表,通过Hive提供的HBaseStorageHandler读写HBase中的表的数据。使用HBase外部表,可以同步HBase中的数据到MaxCompute进行后续ETL处理,也可以关联HBase外部表进行联邦计算,或将MaxCompute数据输出到HBase表。目前读写HBase外部表处于公测阶段,不收取计算费用,也暂时不保证SLA。 HBase外部表
2021-02-07 MaxCompute支持RDS外部表。 新功能 MaxCompute支持通过专有网络连接方案,访问用户的RDS。用户完成网络连通和授权,可以创建RDS外部表并读写RDS中的数据。使用RDS外部表,用户可以同步RDS中的数据(例如维度数据、业务数据)到MaxCompute进行后续ETL处理,也可以关联RDS外部表进行联邦计算,或将MaxCompute数据输出到RDS数据库。当前读写RDS外部表处于公测阶段,不收取计算费用,也暂时不保证SLA。 RDS外部表
2021-02-01 新增Mars v0.6.3版本变更记录。 新说明 新增Mars v0.6.3版本变更记录。 版本更新记录

2021年1月更新记录

时间 特性 类别 描述 产品文档
2021-01-22 支持配置JDBC使用FineBI。 新功能 介绍如何通过MaxCompute JDBC驱动,使用FineBI对MaxCompute的数据进行可视化分析。 配置JDBC使用FineBI
2021-01-21 get_json_object函数返回行为变更。 更新说明 新建MaxCompute项目的get_json_object函数的默认返回行为由JSON保留字符转义的方式变更为保留原始字符串的方式 GET_JSON_OBJECT
2021-01-19 SELECT目录整改并优化内容。 更新说明 调整SELECT模块内容并完善命令示例。 SELECT语法
2021-01-13 新增MaxCompute云数据仓库最佳实践。 新视频 介绍MaxCompute云数据仓库最佳实践。
2021-01-13 新增MaxCompute Tunnel视频。 新视频 介绍MaxCompute Tunnel实现与操作。 MaxCompute Tunnel
2021-01-13 新增MaxCompute消费预警与控制视频。 新视频 介绍MaxCompute消费预警与控制实现操作。 MaxCompute 消费预警与控制
2021-01-11 存储计费规则变更。 更新说明 自2021年1月10日起,MaxCompute数据存储服务由阶梯定价调整为固定定价,新定价将降低中小数据规模客户的MaxCompute存储成本:MaxCompute存储由梯度定价(小于等于10 TB单价:0.0072元/GB/天、大于10 TB小于等于100 TB单价:0.006元/GB/天、大于100 TB单价:0.004元/GB/天)调整为统一定价:0.12元/GB/月(即0.004元/GB/天)。 存储费用(按量计费)
2021-01-07 新增查询加速(MCQA)免费体验功能。 新功能 MaxCompute为使用包年包月资源的SQL作业提供了查询加速(MCQA)免费体验功能,当前处于公测阶段。 免费体验
2021-01-07 MaxCompute管家新增作业管理及权限设置功能。 新功能 MaxCompute提供作业管理功能,数据开发人员和管理员可基于MaxCompute管家查看历史作业和正在运行的作业,方便了解作业运行详情。

MaxCompute管家针对项目、配额、作业等功能入口进行了权限管控,主要对以RAM用户身份登录MaxCompute管家的用户进行权限控制,提升作业管理安全性。

2021-01-05 新增流式数据通道(Streaming Tunnel)。 新功能 新增流式数据通道、SDK接口及SDK示例。
2021-01-05 新增数据迁移目录。 新说明 数据上传下载及迁移工具内容调整到新增目录。
2021-01-04 新增统计MaxCompute TOPN费用账号及耗时作业的最佳实践。 新实践 介绍如何统计MaxCompute TOPN费用账号及耗时作业的最佳实践。 统计MaxCompute TOPN费用账号及耗时作业
2021-01-04 新增包年包月资源隔离最佳实践。 新实践 介绍通过MaxCompute管家对包年包月资源进行隔离的最佳实践。 包年包月资源隔离