Rally 相对于 Tempest 的一大好处就是:执行完 task 之后,可以生成 HTML 格式的测试结果,使测试结果更直观。

那么,对于这些图表所表示的意义,定是有必要了解的。在此对读到的一些数据做一些简单记录。

Overview

显示测试结果的预览信息:该测试的概况、时间、出错率等。

Rally - Overview

在图中显示内容的顶部,显示了以下信息:

  • Load duration: 加载持续时间。(老实说还不太清楚指的是什么时间)
  • Full duration: 总的持续时间。应该是指整个测试所用的时间。
  • Iterations: 执行的次数,与下文的 Count 意义相同。
  • Failures: 失败的次数。

菜单栏

菜单栏,即左侧 [1] 处,点击相应的选项,可以显示以下内容:

  • Benchmark overview: 测试的预览信息,显示测试成功或失败,使用的总时间。
  • Input file: 显示测试时所输入的文件,即所使用的测试用例。
  • 测试组: 展开可查看各个测试的名称。

Total durations

如上图的 [2]。显示的是一张表格,展示一些持续时间信息。

  • Action: 在执行一次测试用例时所包括的操作。可以根据名称了解到该测试用例都做了什么。
  • Min (sec): 执行的 n 次测试中,(每个操作)所用的最少时间。以秒计算。
  • Avg (sec): 执行的 n 次测试中,(每个操作)所用的平均时间。以秒计算。
  • Max (sec): 执行的 n 次测试中,(每个操作)所用的最大时间。以秒计算。
  • 90 percentile: 第 90 个百分位数对应的数值。
  • 95 percentile: 第 95 个百分位数对应的数值。
  • Success: 测试成功率。以 % 为单位。
  • Count: 执行的次数。
笔者注:

原本不太明白百分位数的含义,查了一下。如果不明白百分位数的含义,请戳这里

Charts for the Total durations

如上图的 [3]。由上表中的数据生成的一些图。

  • 面积图:在面积图中,显示了每次执行测试用例所用的时间,通过该图,可以看出执行的大致趋势。
  • 柄状图:显示执行的成功率。
  • 条形图:X 轴表示时间,Y 轴表示次数,表示花费某个时间范围内的测试的次数。

Details

显示各个操作的详细信息,以图的形式表现。

Rally - Details

  • 面积图:以不同颜色显示每个操作所用的时间,在 [1] 区域,可以点击显示/取消某个操作的信息,直观的表示了每个操作的每次执行所用的时间。
  • 饼状图:图中 [2] 区域。以不同颜色显示了总的执行时间中,每个操作所占的百分比。
  • 条形图:图中 [3] 区域。含义与 Overview 中相同,可以点击显示/取消某个操作的信息。

Input task

显示该测试所使用的任务的文件信息。与上文中的 Input file 有些许区别。

Rally - Input task

Failures

正如前一篇 blog 提到过,当测试中出现错误时,会多出 Failures 一栏,收集一些错误信息。

Rally with failures - Overview

Rally - Failures