本文为您介绍了MaxCompute 2021年内容更新的最新动态,基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更,提升项目开发效率。
MaxCompute的重要功能发布记录请参见产品重大更新。
2021年3月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2021-03-25 | 补全MaxCompute错误码列表信息。 | 更新说明 | 完善MaxCompute错误码列表。 | |
2021-03-19 | 补充常见问题。 | 更新说明 | 根据用户反馈问题合入常见问题。 | |
2021-03-16 | 建表语法支持指定列的NOT NULL属性。 | 更新说明 | 禁止该列的值为NULL。 | 表操作 |
2021-03-16 | 新增FROM_JSON和TO_JSON函数。 | 新说明 | FROM_JSON函数可以将JSON转换成MaxCompute的数据类型,或提取JSON中的信息,根据JSON字符串jsonStr和schema信息,返回ARRAY、MAP或STRUCT类型。TO_JSON函数可以将给定的复杂类型ARRAY、MAP或STRUCT,以JSON字符串格式输出。 | 字符串函数 |
2021-03-16 | 新增OSS外部表支持处理压缩格式数据功能。 | 新功能 | 如果OSS上的数据为LZO或SNAPPY压缩格式,您需要在创建OSS外部表时,指定压缩格式相关信息。 | 支持压缩格式数据 |
2021-03-16 | 新增作业超时报警功能。 | 新功能 | MaxCompute支持通过配置阈值报警规则,监控作业运行时长。当作业运行超时后,系统会将报警信息发送至报警联系人,助力及时识别异常作业,提升运维效率。 | 作业超时监控告警 |
2021-03-16 | 支持Transactional表的ACID属性。 | 新功能 | Transactional表的ACID特性在MaxCompute并发写操作的ACID特性基础上新增了新特性。 | ACID语义 |
2021-03-12 | MaxCompute管家支持SQL持续空输出和全表扫描推荐。 | 新功能 | MaxCompute支持定期检查并列出持续执行空输出或全表扫描的TOP级SQL周期任务。如果有该类型任务,列表中会显示最近一次执行的Instance ID,建议您检查作业并进行优化,避免产生不必要的资源消耗。 | MaxCompute管家 |
2021-03-12 | 支持列级别权限控制。 | 更新说明 | 对表列级别进行权限控制。 | 授权 |
2021-03-12 | 支持通过Java SDK查询权限信息。 | 新功能 | MaxCompute支持您通过Java SDK方式查询指定用户、角色或资源的授权信息,以JSON格式展示权限查询结果,满足多样化展示需求。 | 通过Java SDK查询权限信息 |
2021-03-12 | 支持对Package进行权限控制。 | 新功能 | 安装Package后,如果您需要对Package进行更细微的权限控制,例如控制只能访问Package内的部分资源或控制只能访问Package内表的部分列,您可以通过MaxCompute提供的细粒度授权或LABEL授权实现。 | Package的权限控制 |
2021-03-12 | 支持通过属性打开或关闭Download权限。 | 更新说明 | 开启或关闭该功能,需要Project Owner或具备Super_Administrator角色的用户在Project级别配置属性。 | Policy和Download权限控制 |
2021-03-01 | 新增MaxCompute湖仓一体功能。 | 新功能 | MaxCompute提供湖仓一体方案,该方案可以打破数据湖与数据仓库割裂的体系,并将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合,助力构建数据湖和数据仓库相融合的数据管理平台。 | MaxCompute湖仓一体 |
2021年2月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2021-02-25 | 流式数据计费单价变更。 | 更新说明 | 单价由0.12元/GB变更为0.08元/GB。 | 流式数据写入费用(按量计费) |
2021-02-23 | 新增Python 2 UDTF使用示例。 | 新示例 | 新增Python 2 UDTF读取MaxCompute资源示例。 | Python 2 UDF |
2021-02-23 | 新增Python 3 UDTF使用示例。 | 新示例 | 新增Python 3 UDTF读取MaxCompute资源示例。 | Python 3 UDF |
2021-02-23 | 新增Spark作业引用外部文件描述。 | 新说明 | 新增Spark作业引用外部文件描述。 | 搭建开发环境 |
2021-02-20 | 新增UDTF与Laterval View结合的使用示例。 | 新示例 | 新增UDTF与Laterval View结合的使用示例。 | UDTF使用说明 |
2021-02-09 | 补充清除用户权限描述。 | 新说明 | 补充清除用户权限描述。 | 用户管理 |
2021-02-09 | 新增MaxCompute SQLML功能。 | 新功能 | SQLML是MaxCompute提供的应用机器学习能力的SQL语言入口。MaxCompute SQLML在底层依赖机器学习PAI平台做模型创建、预测、评估等操作。 | |
2021-02-07 | 删除VALUES中只能使用常量的限制。 | 更新说明 | 删除VALUES中只能使用常量的限制。 | VALUES |
2021-02-07 | OSS外部表支持分片上传功能。 | 新说明 | 支持使用OSS的分片上传(Multipart Upload)功能通过INSERT操作向OSS外部表写入数据。 | 将数据输出到OSS |
2021-02-07 | 新增array_intersect 函数,修改sort_array 函数。
|
新说明 | 新增array_intersect ,用于计算两个array 的交集。sort_array 增加isAsc参数,对给定数组排序时让用户选择是升序还是降序,默认是升序。
|
其他函数 |
2021-02-07 | 新增过滤条件表达式和count_if 函数。
|
新说明 | 增加过滤条件表达式支持,可以对select 子句中某个聚合函数指定过滤条件,便于您在同一个聚合语句中单独控制某个聚合函数的数据范围。新增count_if 函数对满足if 条件的记录进行计数。
|
聚合函数 |
2021-02-07 | 增强日期函数date 、datediff 、datepart 、datetrunc 对DATE、TIMESTAMP日期数据类型的支持。
|
新说明 | 增强日期函数date 、datediff 、datepart 、datetrunc 对DATE、TIMESTAMP日期数据类型的支持。
|
日期函数 |
2021-02-07 | 新增base64 、unbase64 和parse_url 函数。
|
新说明 | 新增字符串函数parse_url 对URL进行解析;新增base64 和unbase64 函数实现二进制和BASE64格式字符串互转。
|
字符串函数 |
2021-02-07 | MaxCompute命令行支持关闭表头显示,便于Shell调用。 | 新说明 | 在Shell(或Windows命令行)执行窗口,用户会可能需要使用odpscmd -e SQL 语句执行得到的动态返回值,Shell的变量会获取这个动态返回值,然后在Shell中执行后续作业。此场景需要返回值不包含运行信息、表头等额外信息。您可以通过set odps.sql.select.output.format={needHeader:false,fieldDelim:""}; 关掉表头显示,将计算结果stdout部分输出到目标句柄。
|
客户端 |
2021-02-07 | MaxCompute支持通过UNLOAD命令把数据导出到OSS外部存储。 | 新功能 | MaxCompute支持通过UNLOAD命令导出数据到OSS,方便用户使用OSS存储结构化数据,并方便用户使用OSS上其他计算引擎处理和分析MaxCompute导出的数据。 | UNLOAD |
2021-02-07 | 支持SkewJoin Hint。 | 新功能 | 当两张表Join存在热点,导致出现长尾问题时,您可以通过取出热点key,将数据分为热点数据和非热点数据两部分处理,最后合并的方式,提高Join效率。SkewJoin Hint可以通过自动或手动方式获取两张表的热点key,分别计算热点数据和非热点数据的Join结果并合并,加快Join的执行速度。 | |
2021-02-07 | MaxCompute推出Freeride及Analyze两种优化器元数据收集工具。 | 新功能 | MaxCompute目前提供两种方式收集表的元数据:
|
优化器信息收集 |
2021-02-07 | MaxCompute外部表支持通过JDBC方式读写MC-Hologres。 | 新功能 | MaxCompute外部表支持使用数据库JDBC驱动机制访问MC-Hologres数据源数据。您可以使用在MaxCompute上创建MC-Hologres外部表的方式,基于PostgreSQL JDBC驱动查询MC-Hologres数据源的数据。该方式无冗余存储,无需导入导出数据,可实现快速获取查询结果。当前读写MC-Hologres外部表处于公测阶段,不收取计算费用,也暂时不保证SLA。 | MC-Hologres外部表 |
2021-02-07 | MaxCompute支持云HBase外部表。 | 新功能 | MaxCompute支持通过专有网络连接方案,访问用户的云HBase。用户完成网络连通和授权,可以创建HBase外部表,通过Hive提供的HBaseStorageHandler读写HBase中的表的数据。使用HBase外部表,可以同步HBase中的数据到MaxCompute进行后续ETL处理,也可以关联HBase外部表进行联邦计算,或将MaxCompute数据输出到HBase表。目前读写HBase外部表处于公测阶段,不收取计算费用,也暂时不保证SLA。 | HBase外部表 |
2021-02-07 | MaxCompute支持RDS外部表。 | 新功能 | MaxCompute支持通过专有网络连接方案,访问用户的RDS。用户完成网络连通和授权,可以创建RDS外部表并读写RDS中的数据。使用RDS外部表,用户可以同步RDS中的数据(例如维度数据、业务数据)到MaxCompute进行后续ETL处理,也可以关联RDS外部表进行联邦计算,或将MaxCompute数据输出到RDS数据库。当前读写RDS外部表处于公测阶段,不收取计算费用,也暂时不保证SLA。 | RDS外部表 |
2021-02-01 | 新增Mars v0.6.3版本变更记录。 | 新说明 | 新增Mars v0.6.3版本变更记录。 | 版本更新记录 |
2021年1月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2021-01-22 | 支持配置JDBC使用FineBI。 | 新功能 | 介绍如何通过MaxCompute JDBC驱动,使用FineBI对MaxCompute的数据进行可视化分析。 | 配置JDBC使用FineBI |
2021-01-21 | get_json_object 函数返回行为变更。
|
更新说明 | 新建MaxCompute项目的get_json_object 函数的默认返回行为由JSON保留字符转义的方式变更为保留原始字符串的方式
|
GET_JSON_OBJECT |
2021-01-19 | SELECT目录整改并优化内容。 | 更新说明 | 调整SELECT模块内容并完善命令示例。 | SELECT语法 |
2021-01-13 | 新增MaxCompute云数据仓库最佳实践。 | 新视频 | 介绍MaxCompute云数据仓库最佳实践。 | |
2021-01-13 | 新增MaxCompute Tunnel视频。 | 新视频 | 介绍MaxCompute Tunnel实现与操作。 | MaxCompute Tunnel |
2021-01-13 | 新增MaxCompute消费预警与控制视频。 | 新视频 | 介绍MaxCompute消费预警与控制实现操作。 | MaxCompute 消费预警与控制 |
2021-01-11 | 存储计费规则变更。 | 更新说明 | 自2021年1月10日起,MaxCompute数据存储服务由阶梯定价调整为固定定价,新定价将降低中小数据规模客户的MaxCompute存储成本:MaxCompute存储由梯度定价(小于等于10 TB单价:0.0072元/GB/天、大于10 TB小于等于100 TB单价:0.006元/GB/天、大于100 TB单价:0.004元/GB/天)调整为统一定价:0.12元/GB/月(即0.004元/GB/天)。 | 存储费用(按量计费) |
2021-01-07 | 新增查询加速(MCQA)免费体验功能。 | 新功能 | MaxCompute为使用包年包月资源的SQL作业提供了查询加速(MCQA)免费体验功能,当前处于公测阶段。 | 免费体验 |
2021-01-07 | MaxCompute管家新增作业管理及权限设置功能。 | 新功能 | MaxCompute提供作业管理功能,数据开发人员和管理员可基于MaxCompute管家查看历史作业和正在运行的作业,方便了解作业运行详情。
MaxCompute管家针对项目、配额、作业等功能入口进行了权限管控,主要对以RAM用户身份登录MaxCompute管家的用户进行权限控制,提升作业管理安全性。 |
|
2021-01-05 | 新增流式数据通道(Streaming Tunnel)。 | 新功能 | 新增流式数据通道、SDK接口及SDK示例。 | |
2021-01-05 | 新增数据迁移目录。 | 新说明 | 数据上传下载及迁移工具内容调整到新增目录。 | |
2021-01-04 | 新增统计MaxCompute TOPN费用账号及耗时作业的最佳实践。 | 新实践 | 介绍如何统计MaxCompute TOPN费用账号及耗时作业的最佳实践。 | 统计MaxCompute TOPN费用账号及耗时作业 |
2021-01-04 | 新增包年包月资源隔离最佳实践。 | 新实践 | 介绍通过MaxCompute管家对包年包月资源进行隔离的最佳实践。 | 包年包月资源隔离 |
在文档使用中是否遇到以下问题
更多建议
匿名提交