全部产品
云市场

数据看板

更新时间:2019-04-09 22:15:36

接待概况

1. 机器人实例选择、时间选择


支持用户筛选某个机器人实例后查看指定机器人的数据,同时支持时间选择,如昨天、前天、上周同期等,用户也可以通过自定义时间段的方式进行筛选。


image.png | left | 747x390

2. 接待概况详情


包括接待人次、对话轮次,会话平均轮次、知识对话轮次、对话工厂对话轮次、解决接待量。如下图所示:

image.png | left | 747x277

其中,各关键指标解释如下:

  • 接待人次:指定机器人在所选时间点/时间段内(下同),用户会话量(session量),同UV。
  • 对话轮次:用户每发出一次对话请求(向机器人提一个问题),则对话轮次+1,通常一个会话(session)由多个对话轮次组成。该指标用来衡量机器人的对话量。
  • 会话平均轮次: 对话轮次/接待人次,表示平均每通会话的对话轮次。该指标表明用户对机器人使用的粘性,会话评价轮次越多,粘性越高。
  • 知识对话轮次:直接命中知识点的对话轮次,即所有对话中命中知识库的对话数。
  • 对话工厂对话轮次:触发对话工厂的对话轮次,即所有对话中命中对话工厂的对话数。
  • 解决接待量:排除无答案、最后一次推荐未点击的服务session量(接待人次)。该指标表明机器人服务能力的强弱,解决接待量越高则机器人服务能力越强。

3. 接待明细数据

根据用户所筛选的时间点/时间段,按日期的维度展示指定机器人的接待数据明细。其中,包括日期、接待人次、对话轮次、会话平均轮次、知识对话轮次、知识命中占比、对话工厂对话轮次,对话工厂命中占比、解决接待量。

同时,支持这部分数据导出(下载)

image.png | left | 747x317

知识分析

1. 机器人实例选择、时间选择


支持用户筛选某个机器人实例后查看指定机器人的数据,同时支持时间选择,如昨天、前天、上周同期等,用户也可以通过自定义时间段的方式进行筛选。

image.png | left | 747x102

2. 知识分析概况

知识分析概况说明了指定机器人在指定时间点/时间段下的知识库配置情况,可以辅助管理员判断知识库的健康情况,进而有针对性地进行知识优化。

image.png | left | 747x404

其中,各项关键指标解释如下:

  • 知识总数:指定机器人在所选时间点/时间段内(下同),已发布并生效的知识点数量。
  • 有效知识占比:近7天内命中的知识数 / 知识总数,该指标表明知识库中有多少知识是被用户真实提问到的,衡量知识库设计的有效性。
  • 知识命中占比:用户问题中直接命中知识库的对话轮次/总对话轮次,该指标表明知识库有多少问题可以覆盖用户的提问内容。
  • 知识命中 - 对话轮次分布:该部分展示的是所有用户问题中,命中各个模块的分布情况。

image.png | left | 434x550

其中包括:

  1. 知识点(命中知识库)
  2. 推荐知识点(知识库推荐相似问题)
  3. 多轮对话(命中对话工厂)
  4. 语聊(命中自定义语聊或系统预置语聊)
  5. 无答案(机器人未命中)
  6. 指定转人工、其他(暂无)
  • 热门榜:该部分展示的是在指定时间段内Top问题被咨询到的情况,以知识点被命中的次数由高到低进行列举。管理员可以根据热门榜经常性地针对Top问题进行优化,以保证机器人的问答质量。

image.png | left | 429x545

  • 冷门榜:该部分展示的是近30天内指定机器人中从未被任何用户问到的问题,在一定程度上可以反映用户咨询的倾向性。管理员可以根据冷门榜进行知识的重新设计或者知识归档,此处支持下载后供管理员进行冷门知识分析。

image.png | left | 439x561

3. 知识明细

根据用户提问情况,展示知识库命中的详情。其中包括核心词、知识ID、知识名称、对话轮次、推荐次数、推荐点击率、原声。

image.png | left | 747x388

  • 支持通过核心词、知识ID、知识点名称进行搜索。
  • 支持下载到本地,方便进行知识整理和核查。
  • 点击“原声”列下的查看语料,可以查看指定知识点的用户问答详情,如下图所示:

image.png | left | 747x314

针对同一个知识点(知识ID相同),不同的用户原声会以列表的方式出来供管理员进行分析,同时表明某用户原声是直接命中知识点还是推荐知识点。

服务能力

1. 机器人实例选择、时间选择

支持用户筛选某个机器人实例后查看指定机器人的数据,同时支持时间选择,如昨天、前天、上周同期等,用户也可以通过自定义时间段的方式进行筛选。

image.png | left | 747x102

2. 服务能力概述

该部分表明机器人整体服务能力的优劣水平,包括无答案率和推荐未点击率两部分,如下图所示:

image.png | left | 747x121

其中,

  • 无答案率:出现无答案的session量/总session量,衡量机器人对用户问题的覆盖能力。无答案率越低,机器人的覆盖能力越高。管理员可以通过维护知识库或对话工厂的方式,逐渐补充机器人暂时还不能回答的用户问题,以提升机器人的覆盖能力。
  • 推荐未点击率:最后一轮对话是推荐知识点的session / 总session量,衡量机器人推荐知识点的准确率。当用户问题没有被机器人直接命中时,机器人通常会推荐3条相关性最高的知识供用户选择,如果机器人推荐后用户未点击,则一定程度上表明机器人推荐的知识点并未满足用户的期待。

3. 提升方案

根据关键词和详细的用户原声,对无答案问题和推荐未点击的问题进行聚类,帮助管理员分析线上问答中机器人未能覆盖的情况,管理员可以通过进一步完善知识库或对话工厂的方式提升机器人整体问答质量。

image.png | left | 747x352

  • 无答案聚类:针对用户原声,通过聚类算法将无答案的问题归类,方便管理员有针对性地进行知识点的补充和优化。
  • 推荐未点击聚类:针对用户原声,对触发推荐知识点的用户问题进行聚类,方便管理员有针对性地进行知识点的更新和优化。

会话历史

1. 机器人实例选择、时间选择

支持用户筛选某个机器人实例后查看指定机器人的数据,同时支持时间选择,如昨天、前天、上周同期等,用户也可以通过自定义时间段的方式进行筛选。

image | left

2. 会话历史明细

image.png | left | 747x354

会话历史明细包括以下具体展示内容:

  • 提问时间:每次用户提问的触发时间
  • 提问内容:用户提问的问题原声
  • 回复类型:机器人回复的类型,如:知识点、对话工厂、推荐知识点、语聊等
  • session_id : 会话的唯一标识
  • chat_id : 用户问题的唯一标识
  • 知识ID:知识点的唯一标识
  • 知识名称:知识点的标题内容
  • 回复内容:知识点对应的答案内容

注:1.单日期最多展现5000条记录;2.多日期最多展现20000条记录;3.多日期建议分批进行语料查看和下载;4.最多支持自登录日期起近30天的语料