本文为您介绍了MaxCompute 2024年内容更新的最新动态,基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更,提升项目开发效率。
MaxCompute的重要功能发布记录请参见产品重大更新。
2024年04月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
2024-04-28 | 新增MaxCompute近实时增全量一体化架构介绍 | 新说明 | 面对当前日益复杂且对数据时效性要求极高的近实时业务场景,MaxCompute基于Transaction Table2.0推出了集大规模存储、高效批量处理和近实时能力于一体的近实时增量一体化架构。本文为您介绍该架构的工作原理及其优势。 | |
2024-04-24 | 新增基于MaxFrame实现大语言模型数据处理 | 新说明 | 相较于昂贵的GPU资源,MaxCompute的海量弹性CPU资源能够成为LLM海量数据处理的资源基础,而MaxFrame分布式计算能力可以帮助您更加高效、便捷地完成LLM数据处理工作。 | |
2024-04-24 | 新增基于MaxFrame实现分布式Pandas处理 | 新说明 | MaxFrame可以在分布式环境下使用与Pandas相同的API来分析数据,通过MaxFrame,您能够以高于开源Pandas数十倍的性能在MaxCompute上快速完成数据分析和计算工作。本文为您介绍如何通过MaxFrame使用常用的Pandas算子。 | |
2024-04-23 | 新增租户属性 | 新说明 | 您可以在租户属性页面进行租户级别的操作,包括查看租户ID,用于进行租户级别的资源授权。 | |
2024-04-19 | 新增MaxFrame快速入门 | 新说明 | 本文以具体数据及开发场景为例,为您介绍在DataWorks数据开发的PyODPS 3节点中,如何创建和操作MaxFrame中的DataFrame对象,以及使用DataFrame完成基本的数据处理,帮助您在十分钟内快速使用MaxFrame进行开发。 | |
2024-04-03 | 新增使用MaxCompute控制台(离线) | 新说明 | MaxCompute控制台提供数据上传功能,支持您将本地文件或阿里云对象存储服务OSS中的文件数据离线(非实时)上传至MaxCompute进行分析处理及相关管理操作。 |
2024年03月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
2024-03-29 | 新增操作审计事件数据迁移至MaxCompute | 新说明 | 操作审计(ActionTrail)功能允许您追踪和记录阿里云账号在最近90天内的操作事件。当您需要分析更长时间的操作事件时,可以通过操作审计创建跟踪,将操作事件数据投递至MaxCompute,并对其进行查询和分析。 | |
2024-03-26 | 新增Pandas API | 新说明 | MaxFrame提供了兼容Pandas的API接口,您可以用类似于Pandas的方式来操作MaxCompute中的数据,同时利用MaxCompute强大的分布式计算能力,简化您在大数据环境下的数据处理工作。 | |
2024-03-26 | 新增MaxFrame数据输入输出 | 新说明 | MaxFrame支持直连MaxCompute,允许对MaxCompute中的数据进行高效直接读写操作,运行时无需将数据拉取至本地计算,消除了不必要的本地数据传输,提高了执行效率。 | |
2024-03-26 | 新增准备工作 | 新说明 | MaxCompute支持通过标准MaxFrame SDK(本地MaxFrame客户端)、MaxCompute Notebook及DataWorks节点三种方式使用MaxFrame,本文为您介绍使用MaxFrame前需要准备的运行环境。 | |
2024-03-25 | 新增StarRocks Connector | 新说明 | StarRocks Connector通过实现External Catalog机制,无需数据导入或创建外部表即可无缝访问MaxCompute数据源,并执行复杂的SQL查询,提升了数据分析效率并降低了运维难度和成本。 | |
2024-03-22 | 新增FROM_CHARSET | 新说明 | MaxCompute FROM_CHARSET支持将指定编码格式的二进制数据转换为UTF-8格式的字符串,以便后续进行计算时使用。 | |
2024-03-21 | 新增MaxCompute TIMESTAMP_NTZ数据类型介绍 | 新说明 | MaxCompute 2.0新增了无时区时间戳类型(TIMESTAMP_NTZ),该类型表示不包含时区信息的日期和时间点,所有数据均基于统一的时间基准(如UTC)。相较于其他带有时区的时间戳类型(TIMESTAMP),TIMESTAMP_NTZ无需进行时区转换,因此在比较和运算时更为简便。 | |
2024-03-14 | 新增基于Flink创建MaxCompute Paimon外表 | 新说明 | MaxCompute支持通过创建Paimon外部表来与存储在OSS上的Paimon表目录建立映射关系,并访问其中的数据。 | |
2024-03-14 | 新增ECS资源复用版 | 新说明 | ECS资源复用版是MaxCompute按量付费类型中的一种实例规格,旨在将ECS闲置实例转换为可用的MaxCompute计算资源,该方式可以充分利用已有的计算资源,而不需要额外购买新的MaxCompute计算资源,从而在满足大数据处理需求的同时,提高资源利用率并降低总体资源成本。 | |
2024-03-03 | 新增GetTableInfo - 获取表信息 | 新说明 | 获取表信息。 |
2024年02月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
2024-02-27 | 新增正则表达式 | 新说明 | 本文为您介绍MaxCompute SQL中正则表达式支持的元字符、字符组和转义字符。 | |
2024-02-23 | 新增跨地域灾备 | 新说明 | 当您需要保证MaxCompute作业持续运行时,MaxCompute提供跨地域(Region)灾备功能,支持以项目(Project)为单位远程备份数据和元数据,确保备份地点与数据源的地理距离超过一百公里,以提升数据安全性。您能够自定义选择备份目标地域,并监控备份进度。当遇到地域级别的故障时,该功能允许您将项目迅速切换到备份集群地域,并利用已备份的数据恢复业务。 | |
2024-02-08 | 新增镜像管理 | 新说明 | MaxCompute提供镜像管理功能,内置数据分析、科学计算、机器学习(如Pandas、Numpy、Scikit-learn、Xgboost)等各类常用镜像,并已对镜像进行预先加热,您可在SQL UDF、PyODPS开发等场景中直接引用已有镜像,无需执行繁琐的镜像打包、上传等流程。 |
2024年01月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
2024-01-05 | 新增MaxCompute+DLF+OSS湖仓一体的湖查询和湖数据入仓实践 | 新说明 | MaxCompute、DLF和OSS是阿里云提供的一体化解决方案,可以实现数据湖查询和湖数据入仓。通过配置DLF,将数据从OSS导入到MaxCompute中,并使用MaxCompute进行数据湖查询。该方案可以方便地进行数据分析和处理,并保证数据的可靠性和安全性。 |
- 本页导读 (1)