日常工作中,企业通常会对ECS、容器、移动端、开源软件、网站服务、JS等的实时日志数据进行开发。本文为您介绍如何通过Tunnel、DataHub、日志服务SLS以及DataWorks的数据集成将日志数据迁移至MaxCompute。

方案 说明 适用场景
Tunnel命令 使用MaxCompute自带的Tunnle命令,将日志数据上传至MaxCompute。

更多详情请参见通过Tunnel命令迁移日志数据至MaxCompute

Tunnel主要用于批量上传数据到离线表中,适用于离线计算的场景。
DataHub DataHub数据迁移功能通过DataConnector实现。DataHub DataConnector可以将DataHub服务中的流式数据同步到MaxCompute中。您只需要向DataHub中写入数据,并在DataHub服务中配置同步功能,便可以在MaxCompute中使用这份数据。

更多详情请参见通过DataHub迁移日志数据至MaxCompute

此方法多用于公测和自研。DataHub用于实时上传数据的场景,主要用于流式计算场景。

数据上传后会保存到实时表里,后续会在几分钟内通过定时任务的形式同步到MaxCompute离线表里,供离线计算使用。

LogHub 日志服务提供了数据投递功能,将LogHub实时采集的日志投递至MaxCompute。

更多详情请参见通过LogHub迁移日志数据至MaxCompute

此方法适用于海量数据场景,对数据量不设上限。同时,支持行、列、TextFile等各种存储格式以及用户自定义分区等配置。
DataWorks数据集成 通过配置数据集成的离线同步节点和同步任务将日志数据同步至MaxCompute。

更多详情请参见通过DataWorks数据集成迁移日志数据至MaxCompute

此方法为定时任务,配置一次可以多次执行。