tests: add tuxrun baseline test to avocado
commit267fe57c23b27406fcebb4e9d40c862bc7c3ba7c
authorAlex Bennée <alex.bennee@linaro.org>
Tue, 28 Feb 2023 19:06:39 +0000 (28 19:06 +0000)
committerAlex Bennée <alex.bennee@linaro.org>
Wed, 1 Mar 2023 10:31:52 +0000 (1 10:31 +0000)
treed11b23600155fc045da078ff488dce69bc99e892
parentbdcf4b36bd99f0c975fb4679a1fddcd970092eea
tests: add tuxrun baseline test to avocado

The TuxRun project (www.tuxrun.org) uses QEMU to run tests on a wide
variety of kernel configurations on wide range of our emulated
platforms. They publish a known good set of images at:

  https://storage.tuxboot.com/

to help with bisecting regressions in either the kernel, firmware or
QEMU itself. The tests are pretty lightweight as they contain just a
kernel with a minimal rootfs which boots a lot faster than most of the
distros. In time they might be persuaded to version their known good
baselines and we can then enable proper checksums.

For a couple of tests we currently skip:

  - mips64, a regression against previous stable release
  - sh4, very unstable with intermittent oops

Total run time: 340s (default) -> 890s (debug)

Overall coverage rate (tested targets + disabled tests):
  lines......: 16.1% (126894 of 789848 lines)
  functions..: 20.6% (15954 of 77489 functions)
  branches...: 9.3% (40727 of 439365 branches)

Signed-off-by: Alex Bennée <alex.bennee@linaro.org>
Cc: Anders Roxell <anders.roxell@linaro.org>
Acked-by: Thomas Huth <thuth@redhat.com>
Reviewed-by: Philippe Mathieu-Daudé <philmd@linaro.org>
Message-Id: <20230228190653.1602033-11-alex.bennee@linaro.org>
MAINTAINERS
tests/avocado/tuxrun_baselines.py [new file with mode: 0644]