全部产品
云市场
云游戏

数据导入

更新时间:2020-04-16 14:43:53

数据管理DMS提供数据导入功能,支持大批量数据快速导入至数据库,节省人力物力成本。

应用场景

  • 应用数据初始化
  • 应急平台数据导入(快速回滚数据)

支持的文件类型

  • TXT格式(目前文件大小限制为5GB。)
  • SQL脚本(目前文件大小限制为5GB。安全协同模式下,默认仅放开INSERT和REPLACE类型。如需调整,可以由DBA或管理员角色在安全规则 > SQL变更 > 批量数据导入中修改。)
  • CSV格式(必须以逗号为分隔符,并且第一行必须为列名。)

支持的数据库引擎

  • MySQL
  • OceanBase
  • PolarDB-X(原DRDS)

注意事项

  • 如果只是少量SQL变更,为保证变更的稳定性,建议使用普通数据变更无锁数据变更工单。详情请参见数据变更无锁数据变更
  • 在执行批量数据导入期间不会自动切换到无锁结构变更(即使实例开启了无锁结构变更优先)。
  • 为了避免执行期间数据库性能受到影响,建议使用SQL性能较好的语句,如INSERT、使用主键索引的UPDATEDELETE
  • 安全协同模式下,默认的安全规则仅放开INSERT语句,如果需要执行其他SQL类型的语句,需要DBA或管理员角色调整安全规则。

操作流程

  1. 登录数据管理DMS
  2. 在页面顶部的导航栏中,单击数据方案 > 数据导入
    数据导入
  3. 数据导入页签中,根据下表填写工单申请。
    导入数据2
    项目 说明
    原因类别(必选) 根据实际情况选择数据导入的原因。
    业务背景(必选) 详细填写本次操作的业务背景。
    变更相关人(可选) 选择执行本次操作的账号。
    数据库(必选) 数据导入操作的目标数据库。(管控模式自由操作稳定变更的实例数据库需要登录后方可选择。)
    文件编码(必选) 选择数据库的文件编码。可选项:
    - UTF-8
    - GBK
    - ISO-8859-1
    - 自动识别
    变更SQL(必选) 根据实际情况选择SQL脚本或CSV格式,并上传需要执行批量导入的文件。如果选择上传CSV格式,需要在CSV格式右侧的文本框中输入目标表名称。
    回滚SQL(可选) - 文本:在下方输入框中书写回滚SQL。
    - 附件:上传SQL文件,支持TXT和SQL文件类型。(目前文件大小限制为15MB。)
    工单附件(可选) 可以上传工单相关信息的图片或文档来补充当前工单信息。
  4. 单击提交申请,等待系统预检查通过,如果预检查失败,请根据提示检查失败原因后重新提交申请。

    系统会预检查用户上传的SQL,如果是CSV文件,会生成相应的insert语句。

  5. 单击审批流程中的提交审批,等待审批通过。
    数据导入3
  6. 单击执行流程中的执行变更
  7. 在弹出的任务设置对话框中,可以选择是否立即执行,如果不想立即执行,可以关闭是否立即执行开关,并选择一个期望开始执行时间,系统会在该时间自动执行。单击确定执行

    执行期间,系统流式读取解析好的SQL,分批执行到数据库(每批大小1M)。

示例文件

CSV文件示例
SQL附件示例