通过DataX导入Prometheus数据

步骤一：环境准备

• Linux

• JDK（1.8 以上，推荐 1.8）

• Python（推荐 Python 2.6.x）

• Prometheus（目前只支持兼容 2.9.x，其他版本暂不保证兼容）

• Lindorm时序引擎（目前只支持兼容 2.4.x 及以上版本，其他版本暂不保证兼容）

步骤二：下载 DataX 及其插件

点击 链接

步骤三：利用 DataX 自带的迁移任务，检查迁移流程能否走通

这里，我们先以最简单的 Stream Reader 到 Stream Writer 为例。因为这两个插件不依赖任何的外部环境，特别适合用来测试流程是否能走通。简单介绍下这两个插件，其中 Stream Reader 会随机地产生字符串，而 Stream Writer 则会将接受到的字符串输出到控制台，以此模拟一个最简单的数据迁移过程。

• 工具部署

  将下载后的安装包，解压至某个目录（作为 DATAX_HOME），即可运行迁移任务：

  $ cd ${DATAX_HOME}
  $ python bin/datax.py job/job.json        

• 检查任务是否成功

  下面是任务结束后的汇总信息，看到如下内容，即可表示迁移任务已成功完成：

  任务启动时刻                    : 2019-04-26 11:18:07
  任务结束时刻                    : 2019-04-26 11:18:17
  任务总计耗时                    :                 10s
  任务平均流量                    :          253.91KB/s
  记录写入速度                    :          10000rec/s
  读出记录总数                    :              100000
  读写失败总数                    :                   0
                          

  录制的命令行：数据迁移 Quick Start

步骤四：配置和启动OpenTSDB到时序引擎的迁移任务

通过上述 Stream Reader 到 Stream Writer 的迁移任务，我们就可以确保整个 DataX 流程是没有问题的。下面就可以真正开始 Prometheus Reader到TSDB Writer迁移任务了。

• 配置迁移任务

  配置一个从 Prometheus 数据库同步抽取数据到 TSDB 的任务，命名为prometheus2tsdb.json，完整的配置信息如下（针对各个配置参数的详细说明，请看下一章节”参数说明”）：

  {
    "job": {
      "content": [
        {
          "reader": {
            "name": "prometheusreader",
            "parameter": {
              "endpoint": "http://localhost:9090",
              "column": [
                "up"
              ],
              "beginDateTime": "2019-05-20T16:00:00Z",
              "endDateTime": "2019-05-20T16:00:10Z"
            }
          },
          "writer": {
            "name": "tsdbhttpwriter",
            "parameter": {
              "endpoint": "http://localhost:8242"
            }
          }
        }
      ],
      "setting": {
        "speed": {
          "channel": 1
        }
      }
    }
  }
                          

• 启动OpenTSDB 2时序引擎迁移任务

  $ cd ${DATAX_HOME}/..
  $ ls
    datax/  datax.tar.gz  prometheus2tsdb.json
  $ python datax/bin/datax.py prometheus2tsdb.json
                          

• 检查任务是否成功

  下面是任务结束后的汇总信息，看到如下内容，即可表示迁移任务已成功完成：

  任务启动时刻                    : 2019-05-20 20:22:39
  任务结束时刻                    : 2019-05-20 20:22:50
  任务总计耗时                    :                 10s
  任务平均流量                    :           122.07KB/s
  记录写入速度                    :            1000rec/s
  读出记录总数                    :                10000
  读写失败总数                    :                   0
                          

  录制的命令行：从 Prometheus到TSDB数据迁移

Prometheus Reader 相关

TSDB Writer 相关

确保与时序引擎的网络是连通的

因为 TSDB Writer 写入数据的方式是调用 HTTP 接口（/api/put）来完成的，所以需要确保迁移任务的进程能正常访问到时序引擎暴露出来的 HTTP 接口的。否则，会报错 Connect Exception 异常。

确保与Prometheus的网络是连通的

因为 Prometheus Reader 读取数据是通过调用 HTTP 接口（/api/v1/query_range）来完成的，所以需要确保迁移任务的进程能正常访问到 Prometheus 暴露出来的 HTTP 接口的。否则，会报错 Connect Exception 异常。