全部产品

文件核对

本文以 文件核对 为例,引导您快速上手资金安全监控产品的主要操作链路。

总体流程如下图所示:

1

步骤一:新建数据源配置

进入资金安全监控控制台后,需创建数据源配置,以便将数据源配置和数据源关联。

  1. 登录资金安全监控控制台,在左侧导航栏单击 数据资源配置

  2. 数据源配置 页面上,单击 新建数据源配置

  3. 新建数据源配 页面上,完成以下数据源配置。

    • 数据源配置名称:数据源配置的名称,租户内唯一。本例中输入“Demo_数据源配置”。

    • 类型:支持 OSSFTPDB离线 四种类型本例中选择 OSS

    • 访问授权信息:需填写 accessKeyIdaccessKeySecretbucketNameendpoint

      1
      说明

      关于 accessKeyId 和 accessKeySecret 的获取方式,请参见 获取 AccessKey。

  4. 配置完成后,单击 授权。

    上述操作完成后,可在数据源配置列表页面,看到刚创建的数据源配置。

步骤二:新建数据源

  1. 登录资金安全监控控制台,在左侧导航栏单击 数据源

  2. 数据源 页面上,单击 新建数据源

  3. 新建数据源 页面上,输入以下配置信息:

    • 数据源名称:数据源的名称。租户内唯一。本例中输入“Demo_数据源”。

    • 创建类:提供 文件 DB 两个选项。本例中选择 文件

    • 文件类型:提供 OSSFTP 两个选项。本例中选择 OSS

    • 文件路径:文件存放路径,支持正则表达式。本例中输入“test/file.txt”。

    • 数据源配置:选择 Demo_数据源配置。如果尚未创建数据源配置,可单击右侧的 新建数据源配置。详情请参见 创建数据源配置

    • 文件属性:可选择 表格按行录入 JSON 导入。本例中选择 表格按行录入。

    • 文件编码:文件编码类型,支持 UTF-8GBK

    • 文件协议:用于定义文件的解析方式,目前支持 SPDEFUND 三种类型。

      • SP:简单协议布局模板(Simple Protocol)。

      • DE:蚂蚁集团自主提供的一种文件交互格式。

      • FUND:国标基金数据协议。

    • 分隔符:字段间的分隔符。

    • 字段:配置以下参数。如需配置多条,单击 新增属性 即可。

      1
  4. 配置完毕后,单击 提交 完成创建。

  5. 重复上述步骤 1-4 再创建一个数据源,本例中为“Demo_数据源 2"。

步骤三:新建数据节点

为了统一管理资金业务表,便于其他用户识别、引用,您可以将待检查的资金业务表定义为数据节点。

  1. 登录资金安全监控控制台。

  2. 单击左侧导航栏中的 数据节点,进入 数据节点 页面。

  3. 单击 新建数据节点,在 新建数据节点 页面上,填写以下信息:

    1
    • 数据节点名称:节点的名称,租户内唯一。本例中输入“Demo_数据节点”。

    • 创建类:支持 文件DB离线本例中选择 文件

    • 描述:节点的备注信息,选填。长度为 1-500 个字符。

    • 数据源:选择 Demo_数据源。如果尚未创建数据源配置,可单击右侧的 新建数据源 来创建

    • 参与核对字段:需要参与核对的字段。对于 文件 是指文件属性中的字段。对于 DB 是指 SQL 中查询出来的字段。

      说明

      如果有多个需要参与核对的字段,则中间用英文逗号(,)隔开。

    • 排序字段:用于指定对当前数据进行排序所依据的字段。可从输入的核对字段中选择。

    • 取数策略:可选择 每次取 1 行 取固定字段

    • 散列字段:用于数据分片时进行散列计算的字段。可以与排序字段保持一致。

    • 散列位数:自定义的散列位数。

    • 高级配置默认保持关闭。

    • 是否汇总核对:默认保持关闭。

  4. 配置完成后,单击 提交

  5. 重复上述步骤 1-4 再创建一个数据节点,本例中为“Demo_数据节点 2”。

    上述操作完成后,可在数据节点列表页面,看到刚创建的节点 Demo_数据节点Demo_数据节点 2

步骤四:新建核对点

核对点用做进行资金业务表或表与表之间的核对检查,找到异常数据。

  1. 登录资金安全监控控制台,在左侧导航栏单击 核对点列表

  2. 单击 新建核对点,进入 新建核对点 页面。

  3. 新建核对点 页面中,填写以下信息。

    • 基本信息

      • 核对点名称:核对点的名称,租户内唯一。本例中为“Demo_核对点”。

      • 核对场景:选择某一选定的核对场景。如果尚未创建核对场景,可单击右侧的 新建核对场景。详情请参见 创建核对场景

      • 描述:选填,核对点的备注信息,长度不能超过 500 个字符。

      • 负责人:在租户下本产品的用户名单中选择,可选多人。

    • 核对配置

      • 核对方式:支持 文件-文件文件-DBDB-DB 离线。本例中选择 文件-文件。

      • 文件 1:用于核对的数据节点,选择 Demo_数据节点

      • 文件 2:用于核对的数据节点。选择 Demo_数据节点 2。

        注意

        文件 2 所选的数据节点不能与 文件 1 所选的数据节点相同。

      • 文件属性映射:配置属性参数(见下图)。如需配置多条,单击 新增属性 即可。

        1
      • 触发条件:支持 定时任务OpenAPI。本例中选择 定时任务

      • 定时任务:事件触发规则执行的周期,本例中输入 0 0 16 * * ? ,表示每天 16 点触发。

      • 执行日历:默认按 自然日 执行规则。

      • 延迟告警(分钟):在定时任务设置的时间点开始执行规则,如果在延迟告警配置的时长内没有执行完成,则触发告警通知。本例中选择 300 分钟。

  4. 配置完成后,单击 提交

步骤五:新建核对规则

资金安全监控基于规则进行资金业务表之间的核对检查,要执行核对任务,需要先创建规则。

  1. 在左侧导航栏上,单击 核对点列表

  2. 进入 核对点列表 页面后,单击已创建的核对点名称,本例中为 Demo_核对点

  3. 进入 核对点详情 页面,单击页面下方的 新建核对规则 按钮。

  4. 新建核对规则 页面中,填写如下配置信息:

    • 基本信息

      • 规则名称:核对规则的名称,租户内唯一。本例中输入“Demo_核对规则”。

      • 核对方式:支持 明细核对汇总核对自校验核对 三种方式。

        • 明细核对:端到端明细一一核对。

        • 汇总核对:针对统计字段做汇总核对。

        • 自校验核对:单文件针对文件头和文件体对应字段做汇总核对。

      • 描述:规则的备注信息,选填,最大长度为 500 个字符。

    • 核对配置

      • 节点信息:展示数据节点的信息。

      • 规则表达式:需配置相关参数(见下图)。如需配置多条,单击 添加一行 即可。

        1
      • 高级配置:默认保持关闭。

  5. 填写完上述信息后,单击 提交 即可完成核对规则的创建。

  6. (可选)对创建的核对规则执行 全屏调试,确保规则文本的准确性。

步骤六:上线核对点

仅状态为 已上线 的核对点才会进行监控,即周期性地运行核对任务,并在发现差异数据时创建异常。

说明
仅核对点负责人才拥有上下线权限。
  1. 进入 核对点详情 页面,单击右上方 上线 按钮。

    1
  2. 核对点进入发布验证,状态变为 上线中。核对点成功上线后,核对点状态将变为 已上线。成功上线后,将按照指定的延迟执行时长,周期性执行核对任务,具体执行情况可在 核对点详情 页面的运行记录中查看。

    1

步骤七:发现并处理异常

当核对点上线运行发现异常时,系统会按照核对规则粒度创建异常,记录在 异常列表 页面中。

说明

如果您 订阅 了核对点“执行发生异常告警”的通知内容,当异常创建时,系统会给您发送消息通知。

  1. 在左侧导航栏上,单击 异常列表,进入 异常列表 页面。

  2. 选择要处理的异常,单击其 ID,进入 异常详情 页面。1

  3. 差异数据 页面,单击 详情 查看异常详情数据,进行相应排查。

    1
  4. 单击 关闭异常 按钮,在 关闭异常 面板上填写如下信息,并单击 提交

    • 是否误报

      • 误报:例如 SQL 错误、数据错误或系统异常等,导致与核对预期不符的情况。

      • 非误报:判定后确定是异常现象。

    • 是否资损

      • 有资损:根据异常数据排查问题并分析原因,确定发生资金损失。

      • 无资损:未出现资金损失。

    • 异常原因描述:长度不超过 500 个字符。可以详细写明判断为误报或非误报、有资损或无资损的原因,便于后续复盘,也可以方便其他用户了解异常的原因。