testsuite: add tag to ignore the output/error
commit9ab8a6a72c38f5fc3d4cb3f2a403f9ab83c3206f
authorLuc Van Oostenryck <luc.vanoostenryck@gmail.com>
Sun, 12 Feb 2017 23:28:55 +0000 (13 00:28 +0100)
committerChristopher Li <sparse@chrisli.org>
Mon, 13 Feb 2017 01:38:11 +0000 (13 09:38 +0800)
treeaaed917af13e373f97f00b771747b603373f93c8
parent5df193d182983766a0f8fd1625dfb23858cf8083
testsuite: add tag to ignore the output/error

Currently the test suite always check the exit value and the output
of the command used for the test. This is fine and allow use to catch
the most common situations:
- failure or crash (via the exit value)
- (un)expected output (like when testing the result of the preprocessor)
- (un)expected errors & warnings (like when testing sparse's warnings)

But sometimes, we're not interested in the output or the output (as is)
is simply not meaningful for the test or can't be compared textually
to some reference.

This patch add two new tags (check-output-ignore & check-error-ignore),
telling to test suite to ignore the content of stdout or stderr when
testing this file.

Signed-off-by: Luc Van Oostenryck <luc.vanoostenryck@gmail.com>
Signed-off-by: Christopher Li <sparse@chrisli.org>
Documentation/test-suite
validation/test-suite