为了帮助您更好地发现设备接入问题,提升产品接入效率,生活物联网平台为您提供了产品的自动化测试能力。该功能可以全面测试设备端,提高质量管控。您可以免除人工测试的繁琐,快速发现问题,也可以便捷查看可视化测试结果,一目了然。目前仅天猫精灵项目下产品可使用该能力。

前提条件

已添加测试设备,并完成设备调试。具体操作,请参见 调试设备

背景信息

进行自动化测试时,您还需要注意以下事项:

  • 自动化测试时需确保稳定运行环境,避免断电、断网等情况。
  • 稳定性测试需要长时间运行,请务必确保设备长时间工作的安全性,避免过热等引起的安全问题。
  • 音箱配网成功率测试时,您需要准备一个配网固件,使得设备端收到平台的解绑指令后,自动进入待配网状态。同时,为了保证成功率,测试时请避免受到其他设备广播干扰(如果条件允许,建议在屏蔽箱中运行)。

操作步骤

  1. 登录生活物联网控制台
  2. 进入产品的设备调试页面。
  3. 单击在线调试或设备对应的调试,进入设备调试页面。
  4. 选择自动化测试页签,并单击登录淘宝账号,使用已绑定音箱和测试设备的淘宝账号登录。
    自动化测试
  5. 下拉选择待测试音箱和设备。
    选择测试设备
  6. 依次完成自动化测试的各个测试项。

    自动化测试的界面如下图所示,各测试项目的详细介绍如下表所示。

    自动化测试
    说明 原则上,所有测试项均达到测试通过标准(如下表所示)后,产品才可以提交发布。
    测试项 测试目的 测试用例的生成规则 测试通过标准 测试报告示例
    物模型测试 验证产品定义的物模型和全链路功能实现是否一致。

    基于产品定义的物模型中每个属性和服务生成测试用例。特殊说明如下:

    • 枚举、布尔型:依次遍历所有枚举值场景。
    • 整型、浮点、双精度型:验证对应属性的最小、最大、最小+步长等场景。
    说明 测试完成后,如果您修改了物模型,则需重新测试。
    100% 物模型测试报告
    语料测试 验证基于物模型的语料能否执行正确。 基于产品所支持的所有语料控制生成测试用例。 100% 语料测试报告
    音箱配网成功率测试 测试音箱设备配网成功或失败的次数。 平台通过执行1000次压测获取设备配网成功率。

    为了提升测试效率,当失败次数超过通过阈值(Wi-Fi设备为50次;Mesh设备为3次)时,测试项终止,后续测试次数判为失败。

    • Wi-Fi:95%
    • Mesh:99.7%
    音箱配网测试报告
    语音控制成功率测试 测试语音控制设备的成功率数据。 平台通过执行1000次压测获取语音控制成功率。

    为了提升测试效率,当失败次数超过通过阈值(3次)时,测试项终止,后续测试次数判为失败。

    99.7% 语音配网测试报告