如何使用具有大量输出的Cucumber测试Ruby命令行程序？

Question

我正在构建一个Ruby命令行程序,并使用Cucumber和Aruba来测试它.Aruba包含一些非常方便的匹配器,因此我可以在.feature文件中用几行测试输出:

When I run `myprogram`
Then it should pass with:
  """
  my program output
  """

问题是我的程序可能包含数十行甚至数百行输出; 把所有这些都放在.feature文件中将使得阅读和导航变得更加困难(并且有点令人讨厌).在这种情况下,测试输出的推荐方法是什么？

Answer 1

简短的回答是:你不应该这样做.

黄瓜测试应该是面向用户和可读的.他们描述了特征.如果错误输出与字节的某个已知值字节匹配,则用户不会关心.

你需要问问自己:我在测试什么？答案是错误信息吗？可能不是.您正在测试应用程序中的某些功能.如果您真的想要确保它失败,那么您在Cucumber场景中想要的是以下行:

Then the exit status should not be 0

这假设脚本遵循标准约定,即非零退出状态表示错误.

如果您的方案要求输出中有某条消息,则可以添加它:

Then it should fail with
"""
Some error message
"""

但这不一定是整个输出,只是部分匹配.(请注意,在aruba中定义了"它应该完全失败:",但我不建议使用它.)

编辑:你已经改变了你的例子来测试传递而不是失败,但我的基本建议是一样的:

1. 将输出的细节与场景的逻辑分开.使用注释中的示例,如果您有一个测试确认您可以输出单个用户生成的注释,另一个测试确认您输出了正确的100个注释,那么就足够了,您不需要100个评论黄瓜情景中的输出值.
2. 从用户的角度保留Cucumber场景.每个场景都应该测试对用户来说很重要的东西.尝试通过从用户不关心的实现中删除任何泄漏来保持最小化.
3. 使用测试部分匹配的内置Aruba结构来实现此目的.在输出中查找关键词或短语.黄瓜测试不仅更易于阅读,而且更加强大,并且不受不相关的输出变化的影响.