[contrib] validate_failures.py: Avoid testsuite aliasing
commitc855862799232bc571cb7266d1889cef28727f22
authorMaxim Kuvyrkov <maxim.kuvyrkov@linaro.org>
Thu, 1 Jun 2023 12:27:51 +0000 (1 12:27 +0000)
committerMaxim Kuvyrkov <maxim.kuvyrkov@linaro.org>
Wed, 14 Jun 2023 14:29:46 +0000 (14 14:29 +0000)
treefe619c5fef1f706838aa870cae6093fdb102497f
parent4ec6b627cb008e31ea3d1ee93a209297f56c6a3e
[contrib] validate_failures.py: Avoid testsuite aliasing

This patch adds tracking of current testsuite "tool" and "exp"
to the processing of .sum files.  This avoids aliasing between
tests from different testsuites with same name+description.

E.g., this is necessary for testsuite/c-c++-common, which is ran
for both gcc and g++ "tools".

This patch changes manifest format from ...
<cut>
FAIL: gcc_test
FAIL: g++_test
</cut>
... to ...
<cut>
=== gcc tests ===
Running gcc/foo.exp ...
FAIL: gcc_test
=== gcc Summary ==
=== g++ tests ===
Running g++/bar.exp ...
FAIL: g++_test
=== g++ Summary ==
</cut>.

The new format uses same formatting as DejaGnu's .sum files
to specify which "tool" and "exp" the test belongs to.

contrib/ChangeLog:

* testsuite-management/validate_failures.py: Avoid testsuite
aliasing.
contrib/testsuite-management/validate_failures.py