数据节点

创建数据节点

1. 登录资金安全监控控制台，在左侧导航栏单击 数据节点。

2. 在数据节点列表页，单击 新建数据节点。

3. 在 新建数据节点 页面，填写以下基本信息：

   • 数据节点名称：节点的名称，租户内唯一。长度为 1-100 个字符，可包含中英文、数字和下划线（_）。

   • 创建类：支持 文件、DB、离线。一旦完成创建，该项不能修改。

   • 描述：节点的备注信息，选填。长度为 1-500 个字符。

4. 根据上一步选择的 创建类，进行相应的配置。

   • 文件/DB

     • 数据源：选择对应的数据源配置，也可通过输入数据源配置名称关键字来选择。如果尚未创建数据源配置，可单击右侧的 新建数据源配置。详情请参见 创建数据源配置。

     • 参与核对字段：需要参与核对的字段。对于 文件 是指文件属性中的字段。对于 DB 是指 SQL 中查询出来的字段。

       说明

       如果有多个需要参与核对的字段，则中间用英文逗号（,）隔开。

     • 排序字段：用于指定对当前数据进行排序所依据的字段。可从输入的核对字段中选择。

     • 取数策略：可选择 每次取 1 行 或 取固定字段。

       • 每次取 1 行：核对时从排序后的数据中两边各取一条数据，然后进行比较。

       • 取固定字段：将值相同的数据一次取出。

         重要

         该固定字段必须与排序字段相同。

     • 散列字段：用于数据分片时进行散列计算的字段。当核对的数据量较大时，可选择参与核对字段的某个字段，针对某几位进行散列，读取到的数据就会按照散列后的值散列到不同分片中，支持后续并发排序和核对，从而提升核对效率。

       说明

       散列字段可以与排序字段保持一致。

     • 散列位数：自定义的散列位数。例如 4-6，表示取 4、5 两位。

     • 高级配置：默认保持关闭。如果开启，则需要填写过滤表达式。

       说明

       关于 过滤表达式，即对数据进行逐条过滤处理，支持 Groovy 语法。

     • 是否汇总核对：默认保持关闭。如果开启，需配置相关参数（见下图）。如需配置多条，单击 新增属性 即可。

   • 离线

     • 离线数据源配置：选择对应的离线数据源配置，也可通过输入数据源配置名称关键字来选择。如果尚未创建离线数据源配置，可单击右侧的 新建数据源配置。详情请参见 创建数据源配置。

     • 离线表：选择用于核对的 ODPS 表。

       说明

       ODPS 表支持模糊匹配，如果匹配不到，建议您前往 DataWorks 平台确认项目名、表名。

5. 配置完成后，单击 提交。

   上述操作完成后，可在数据节点列表页面，看到刚创建的节点。

查看数据点详情

单击数据节点列表内数据节点名称，进入 数据节点详情 页面，即可查看数据节点详情，主要包含以下两部分内容：

• 基本信息（图示中 ①）

• 配置信息（图示中 ②）

修改数据节点

1. 单击数据节点列表操作列的 修改，进入 修改数据节点 页面。

2. 根据需要修改节点信息。

3. 完成后单击 提交 保存修改。修改后的节点信息将在关联的核对点中同步生效。