数据引入支持通过创建数据同步任务及代码任务的方式,将业务数据源的数据表同步至Dataphin平台的目标数据库。

数据引入支持通过界面配置及编写代码的方式构建同步任务,以满足不同业务场景的数据同步:
  • 界面配置的方式构建同步任务的流程。数据引入流程
    1. 请参见新建同步任务文件夹,完成管理同步任务文件夹的创建。
    2. 请参见新建同步目标表,完成同步任务中目标表的创建。
    3. 请参见新建同步任务,完成同步任务的创建。
    4. 请参见配置同步任务,完成同步任务的配置。
      说明 系统默认为同步任务分配0.5核CPU、1GB内存,暂不支持扩大资源量。
    5. 请参见调度配置,完成配置同步任务的调度参数的配置。
      说明 系统仅支持周期性节点的同步任务进行调度配置。
      • 如果您的开发模式是Dev-Prod模式,请参见发布管理,将同步任务发布到生成环境。
      • 如果您的开发模式是Basic模式,同步代码任务提交后,即可参与生成环境的调度运维。
  • 编写代码的方式构建代码任务,以实现数据同步的流程:
    1. (可选)请参见新建资源,完成应用函数资源的上传。
    2. (可选)请参见新建用户自定义函数,完成脚本中使用到函数的创建。
    3. 请参见新建同步目标表,完成同步目标表的创建。
    4. 请参见新建代码任务,完成代码任务的创建。
    5. 请参见调度配置,完成代码任务调度参数的配置。
      • 如果您的开发模式是Dev-Prod模式,请参见发布管理,将同步任务发布到生成环境。
      • 如果您的开发模式是Basic模式,同步代码任务提交后,即可参与生成环境的调度运维。