本文介绍如何将本地的数据文件导入分析型数据库MySQL版中。

准备工作

  • 安装Java环境。
  • 数据是格式化的,目前只支持csv格式和特定分隔符的text文件。
  • csv数据文件的编码格式转换为utf8(目前只支持utf8)。
  • 针对特别大的数据文件,为提高导入性能,请将大数据文件切分成多个文件进行并发。
  • 已创建数据库、创建表组、创建表,详细操作请参见快速入门

操作步骤

  1. 下载adbuploader
  2. 执行以下命令将本地数据导入分析型数据库MySQL版。
     java -server -Xmx1g -Xms1g -Xmn256m -jar adbuploader-1.0.0.jar [options]

options用法

usage: java adbupload [option]
 -c,--conn <arg>        the connection info of your analyticdb. e.g.
                        localhost:10001
 -C,--col <arg>         the column list of table which want to insert.
                        split by ','. e.g. "col1,col2".
 -d,--database <arg>    the database of your analyticdb
 -F,--format <arg>      the format type of message. e.g. csv, text
 -h,--help              help info
 -H,--header            skip the header of files
 -n,--name <arg>        the name of source. dir or filepath
 -num <arg>             the concurrence num of writer. default is 4
 -p,--password <arg>    the AccessKeySecret of your aliyun account
 -readnum <arg>         the concurrence num of reading source if the
                        source is dir. default is 1
 -S,--source <arg>      dir or file, default file
 -s,--separator <arg>   the separator of message if the format is text.
                        default ','
 -t,--table <arg>       the table which want to insert
 -u,--username <arg>    the AccessKeyId of your aliyun account

参数说明

  • -c,--conn <arg>:分析型数据库MySQL版的连接信息,通过分析型数据库MySQL版控制台查看连接信息。
  • -u,--username <arg>:阿里云账号的AccessKeyId,用于连接分析型数据库MySQL版。
  • -p,--password <arg>:阿里云账号的AccessKeySecret,用于连接分析型数据库MySQL版。
  • -d,--database <arg>:在分析型数据库MySQL版上创建的数据库库名。
  • -t,--table <arg>:需要导入的表名。
  • -C,--col <arg>:需要写入的表的字段列表,字段的顺序需要与数据文件中记录拆分的顺序一致。
  • -S,--source <arg>:本地数据文件或目录的类型,有dir(目录)或file(文件)两种,默认file,可不填。
  • -F,--format <arg>:数据文件的记录格式,目前仅支持csv和text。
  • -s,--separator <arg>:设置分隔符,如果为text文本文件,可以设置多字符的分隔符(比如##)。默认为”,”,可不填。
  • -n,--name <arg>:数据文件(目录)的名字或路径,请用绝对路径。
  • -readnum <arg>:当source为dir时,设置读取文件的并发数,不要超过文件数,默认为1,可不填。
  • -num <arg>:写入分析型数据库MySQL版的并发数(并发数不超过CPU核数)。默认为4,可不填。
  • -H:跳过文件头部的第一行(csv称为表头)。
  • -h,--help:帮助信息。

示例

将/user/lilei/test文件(csv格式)导入到adb_test的orders表的o_orderkey,o_custkey,o_orderstatus,o_totalprice,o_orderdate,o_orderpriority,o_clerk,o_shippriority,o_comment字段中。

java -server -Xmx4g -Xms4g -Xmn1g -jar adbuploader-1.0.0.jar -S file -n /user/lilei/test -F csv -c adb-test-56cbade4.cn-shanghai-1.ads.aliyuncs.com:10033 -u ***** -p ***** -d adb_test -t orders -C "o_orderkey,o_custkey,o_orderstatus,o_totalprice,o_orderdate,o_orderpriority,o_clerk,o_shippriority,o_comment" -num 32