本文为您介绍MMA3.0运行前的环境准备、程序启动及停止命令以及MMA配置说明。

环境准备

其他环境要求根据不同的数据源会有所不同,具体请根据实际情况参见Hive数据迁移MaxCompute数据迁移

  • 安装Linux操作系统。
  • 安装JDK1.8及以上版本的Java。
  • 安装MySQL Server 5.7及以上版本。
  • 下载并安装与Hive版本对应的MMA工具。MMA工具获取途径请参见MMA安装包
    说明 本文示例对应的MMA版本为v3.0.0,对应的安装包为mma-3.0.0-hive3.jar。

配置config.ini文件

您需要新建一个config.ini文件,文件示例及参数说明如下。

  • 示例文件。
    [mysql]
    host = mysql-host
    port = 3306
    ; can be any database name
    db = mmav3
    username = user
    password = pass
    [mma]
    listening_port = 6060
  • 参数说明。
    参数名称 描述 备注
    host 登录MySQL所使用的IP地址。 请根据实际情况填写。
    port MySQL服务器的端口号。 默认为3306。
    db 数据库名称。 自定义。
    username MySQL数据库的登录用户名。 请根据实际情况填写。
    password MySQL数据库的登录密码。 请根据实际情况填写。
    listening_port MMA所在服务器的监听端口号。 配置为6060。

启动MMA

您可以根据实际情况执行以下命令启动MMA程序。
说明 建议使用nohup启动程序。
nohup java -jar mma-3.0.0-hive3.jar -c config.ini > nohup.log &

停止MMA

您可以直接找到MMA程序的进程号,然后根据实际情况执行以下命令停止该进程。
 ps aux | grep mma-3.0.0-hive3.jar | grep -v grep | awk '{print $2}' | xargs kill -9

初次访问与MMA配置

MMA程序启动后,可以根据实际情况在浏览器端打开 http://MMA拉起服务的ip:6060 (6060通过 config.ini中的 listening_port进⾏配置)访问MMA。浏览器打开MMA后,会进入 MMA配置⻚⾯,页面详情及参数说明如下。
说明 此处的MaxCompute配置项是⽬的MaxCompute的信息。
配置项
配置项 描述
mc.endpoint ⽤于MMA访问MaxCompute的Endpoint,要求MMA所在服务器能够连通mc.endpoint,具体的Endpoint信息可以参考Endpoint
mc.data.endpoint (可选)
  • 通过Hive UDTF迁移数据时⽤于UDTF访问MaxCompute,此时要求Hive集群的节点能够连通该地址。
  • MaxCompute跨Region迁移时,该地址为⽬的端MaxCompute所在区域的VPC或经典⽹Endpoint。
  • MaxCompute同Region迁移时不需要填写该地址。
mc.tunnel.endpoint (可选)
  • 通过Hive UDTF迁移数据时⽤于UDTF访问MaxCompute,此时要求Hive集群的节点能够连通该地址。
  • MaxCompute跨Region迁移时,该地址为⽬的端MaxCompute所在区域的VPC或经典⽹Tunnel Endpoint。
  • MaxCompute同Region迁移时不需要填写该地址。
mc.auth.access.id ⽤于访问MaxCompute的AccessKey ID。获取方式请参见准备阿里云账号
mc.auth.access.key ⽤于访问MaxCompute的AccessKey Secret。获取方式请参见准备阿里云账号
mc.default.project MMA会使⽤该项⽬的配额在MaxCompute上执⾏SQL命令。
mc.projects 要迁往的MaxCompute项⽬名列表。多个项⽬名之间以英⽂逗号分隔。
task.max.num ⽤于迁移数据的MMA任务最⼤并发数,该参数是调节迁移速度的重要参数之⼀,如:
  • 通过Hive UDTF迁移数据时,该参数是MMA向Hive同时提交的SQL任务最⼤数量。
  • 通过OSS迁移Hive数据时,该参数是MMA执⾏INSERT OVERWRITE ... SELECT命令的最⼤数量。
  • MaxCompute同Region项⽬迁移时,该参数是执⾏INSERT OVERWRITE SELECT命令的最⼤数量。