日常工作中,企业通常会对实时日志数据进行开发。其中:日志数据来源可以为ECS、容器、移动端、开源软件、网站服务或JavaScript。本文为您介绍如何通过Tunnel、DataHub、LogHub以及DataWorks数据集成将日志数据迁移至MaxCompute。

方案 说明 适用场景
Tunnel 通过MaxCompute的Tunnel功能,将日志数据上传至MaxCompute。

详情请参见通过Tunnel迁移日志数据至MaxCompute

Tunnel主要用于批量上传数据至离线表,适用于离线计算的场景。
DataHub DataHub数据迁移功能通过Connector实现。DataHub Connector可以将DataHub中的流式数据同步至MaxCompute。您只需要向DataHub中写入数据,并在DataHub中配置同步功能,便可以在MaxCompute中使用这些数据。

详情请参见通过DataHub迁移日志数据至MaxCompute

此方法多用于公测和自研。DataHub用于实时上传数据,主要适用于流式计算场景。

数据上传后会保存到实时表,后续会在几分钟内通过定时任务的形式同步到MaxCompute离线表,供离线计算使用。

LogHub 日志服务SLS提供数据投递功能,将LogHub实时采集的日志投递至MaxCompute。

详情请参见通过LogHub迁移日志数据至MaxCompute

此方法适用于海量数据场景,对数据量不设上限,同时支持行、列和TEXTFILE等各种存储格式以及用户自定义分区配置。
DataWorks数据集成 通过DataWorks配置离线同步节点和同步任务将日志数据同步至MaxCompute。

详情请参见通过DataWorks数据集成迁移日志数据至MaxCompute

此方法为定时任务,配置一次可以多次执行同步任务。