数据管理DMS提供数据导入功能,支持大批量数据快速导入至数据库,节省人力物力成本。

前提条件

您的数据库实例为MySQL、OceanBase或PolarDB-X(原DRDS)。

背景信息

  • 应用场景
    • 应用数据初始化
    • 应急平台数据导入(快速回滚数据)
  • 支持的文件类型
    • TXT格式(目前文件大小限制为5GB。)
    • SQL脚本(目前文件大小限制为5GB。安全协同模式下,默认仅放开INSERT和REPLACE类型。如需调整,可以由DBA或管理员角色在安全规则 > SQL变更 > 批量数据导入中修改。)
    • CSV格式(必须以逗号为分隔符,并且第一行必须为列名。)

注意事项

  • 如果只是少量SQL变更,为保证变更的稳定性,建议使用普通数据变更无锁数据变更工单。详情请参见普通数据变更无锁数据变更
  • 在执行批量数据导入期间不会自动切换到无锁结构变更(即使实例开启了无锁结构变更优先)。
  • 为了避免执行期间数据库性能受到影响,建议使用SQL性能较好的语句,如INSERT、使用主键索引的UPDATEDELETE

操作步骤

  1. 登录DMS控制台
  2. 在页面顶部的导航栏中,单击数据方案 > 数据导入
  3. 数据导入页签中,根据下表填写工单申请。
    配置项 说明
    原因类别(必选) 根据实际情况选择数据导入的原因。
    业务背景(必选) 详细填写本次操作的业务背景。
    变更相关人(可选) 选择执行本次操作的账号。
    数据库(必选) 数据导入操作的目标数据库。
    说明 管控模式自由操作稳定变更的实例数据库需要登录后方可选择。
    文件编码(必选) 选择数据库的文件编码。可选项:
    • UTF-8
    • GBK
    • ISO-8859-1
    • 自动识别
    变更SQL(必选) 根据实际情况选择SQL脚本或CSV格式,并上传需要执行批量导入的文件。如果选择上传CSV格式,需要在CSV格式右侧的文本框中输入目标表名称。
    回滚SQL(可选)
    • 文本:在下方输入框中书写回滚SQL。
    • 附件:上传SQL文件,支持TXT和SQL文件类型。(目前文件大小限制为15MB。)
    工单附件(可选) 可以上传工单相关信息的图片或文档来补充当前工单信息。
  4. 单击提交申请,等待系统预检查通过,如果预检查失败,请根据提示检查失败原因后重新提交申请。
    说明 系统会预检查您上传的SQL,如果是CSV文件,会生成相应的INSERT语句。
  5. 单击审批流程中的提交审批,等待审批通过。
  6. 待审批通过后,单击执行流程中的执行变更
  7. 在弹出的任务设置对话框中,可以选择是否立即执行,如果不想立即执行,可以关闭是否立即执行开关,并选择一个期望开始执行时间,系统会在该时间自动执行。单击确定执行
    说明 执行期间,系统流式读取解析好的SQL,分批执行到数据库(每批大小1MB)。

示例文件