离线数据处理用于执行数据研发过程中的离线计算任务,同时管理数据研发过程中使用的函数和文件。

Dataphin支持创建MAX_COMPUTRE_SQLMAX_COMPUTE_MRSPARK_JAR_ON_MAX_COMPUTESHELLPYTHONVIRTUAL类型的离线计算任务,详细内容请参见新建离线计算任务。离线计算任务适用于实现数据同步、创建目标表、创建复杂的数据模型、逻辑表的后续加工等场景。

离线计算任务的研发流程:
  1. 请参见新建资源,完成资源的创建。
  2. 请参见新建用户自定义函数,完成离线计算函数的创建。
  3. 请参见新建离线计算任务,完成离线计算任务的创建。