Prove 使用 Test::More 和 .tap 扩展名返回不一致的测试结果

Question

尝试使用Test::More, 对名为 的文件进行基本测试test.tap：

use Test::More tests => 2;

is( 1, 1 );
is( 2, 2 );

prove针对此测试运行会导致失败：

$ prove test.tap
test.tap .. No subtests run

Test Summary Report
-------------------
test.tap (Wstat: 0 Tests: 0 Failed: 0)
  Parse errors: No plan found in TAP output
Files=1, Tests=0,  0 wallclock secs ( 0.02 usr +  0.00 sys =  0.02 CPU)

但是 Perl 给出了一个看似有效的 TAP 输出：

$ perl test.tap
1..2
ok 1
ok 2

该prove版本是：

$ prove --version
TAP::Harness v3.35 and Perl v5.22.1

另外，我发现#!在测试文件上添加shebang会导致测试结果间歇性通过

#!/usr/bin/perl

use Test::More tests => 2;

is( 1, 1 );
is( 2, 2 );

成功后（4 次中约 1 次通过）：

t/test.tap .. ok
All tests successful.
Files=1, Tests=2,  0 wallclock secs ( 0.03 usr  0.00 sys +  0.01 cusr  0.00 csys =  0.04 CPU)
Result: PASS

我还发现重命名文件会test.t导致测试每次都通过。

为了在旧版本中查找错误，我在运行 Ubuntu 16.04.2 的新 DigitalOcean Droplet 和具有TAP::Harnessv3.36_01 和 Perl v5.24.1的 Debian 8 主机上复制了此问题。

我希望避免“将所有文件重命名为 .t 扩展名”作为答案。我不确定TAP::Harness这两个扩展之间的区别是什么，并且找不到任何文档或源代码中的区别。

对正在发生的事情的任何澄清都非常感谢。

Answer 1

该.tap扩展告诉证明test.tap是一个文本文件，其中包含TAP。它不会将其作为 Perl 程序执行，它只是读取文件并尝试将其解析为 TAP。你可以看到这一点prove -v。

$ prove -v test.tap
test.tap .. 
use Test::More tests => 2;
is(1,1);
is(2,2);

No subtests run 

Test Summary Report
-------------------
test.tap (Wstat: 0 Tests: 0 Failed: 0)
  Parse errors: No plan found in TAP output
Files=1, Tests=0,  0 wallclock secs ( 0.02 usr +  0.00 sys =  0.02 CPU)
Result: FAIL

相反，执行测试程序的约定是test.t.

$ mv test.tap test.t
$ prove -v test.t
test.t .. 
1..2
ok 1
ok 2
ok
All tests successful.
Files=1, Tests=2,  0 wallclock secs ( 0.03 usr  0.00 sys +  0.04 cusr  0.00 csys =  0.07 CPU)
Result: PASS

有关更多信息，请参阅TAP::Parser::SourceHandler::File。

此外，我发现在测试文件中添加一个shebang会导致测试结果间歇性地通过：

正在发生的事情是各种 TAP::Parser::SourceHandler 插件都在投票决定它是什么，并且是平局。TAP::Parser::SourceHandler::Perl看到 " a shebang ala "#!...perl " 并投票0.9。TAP::Parser::SourceHandler::File看到 .tap 扩展名并投票 0.9。你可以看到这个通过设置TAP_HARNESS_SOURCE_FACTORY_VOTES环境变量。

$ TAP_HARNESS_SOURCE_FACTORY_VOTES=1  prove test.tap
votes: TAP::Parser::SourceHandler::File: 0.9, TAP::Parser::SourceHandler::Perl: 0.9
test.tap .. ok   
All tests successful.
Files=1, Tests=2,  0 wallclock secs ( 0.03 usr  0.00 sys +  0.05 cusr  0.00 csys =  0.08 CPU)
Result: PASS

$ TAP_HARNESS_SOURCE_FACTORY_VOTES=1  prove test.tap
votes: TAP::Parser::SourceHandler::Perl: 0.9, TAP::Parser::SourceHandler::File: 0.9
test.tap .. No subtests run 

Test Summary Report
-------------------
test.tap (Wstat: 0 Tests: 0 Failed: 0)
  Parse errors: No plan found in TAP output
Files=1, Tests=0,  0 wallclock secs ( 0.02 usr +  0.01 sys =  0.03 CPU)
Result: FAIL

然后处理程序按投票排序。由于 Perl 的排序不稳定，也就是说，如果两个条目相等，则不会保留它们的顺序，任何一个处理程序都可以排在最前面。即使使用稳定排序，它的排序keys %handlers也会以不同的顺序出现在每个进程中。这是代码。

测试工具在其决策中没有确定性是不好的。它可能应该抛出一个错误。我还注意到它使用了字符串比较，这可能是错误的。

我已经提交了一个补丁来使关系出错。