Bug 1832059 - Add a test runner for functional tests to mozperftest. r=perftest-revie...
commit528dbee04cc6c6b685737a20bcb7b6d1e89a2ee3
authorGreg Mierzwinski <gmierz2@outlook.com>
Tue, 24 Oct 2023 13:05:49 +0000 (24 13:05 +0000)
committerGreg Mierzwinski <gmierz2@outlook.com>
Tue, 24 Oct 2023 13:05:49 +0000 (24 13:05 +0000)
treeb24190d95c1ed21d5ae662a3de3c9eaac5a5e4f6
parent5039d0d01553a988f84947a6a84d2723a60214df
Bug 1832059 - Add a test runner for functional tests to mozperftest. r=perftest-reviewers,kshampur

This patch adds a FunctionalTestRunner class that can be used by all the layers to run `./mach test` which lets us easily run all functional tests locally. It will be used for running mochitest tests, and in the future, it may replace parts of the xpcshell layer.

The runner can only be used locally, and only needs a test path provided. It will then run all the manifests that it finds that test in (but only running that single test). At the same time, it'll parse the logs produced by `./mach test` with FunctionalTestProcessor to find all the metrics that were output. However, it does not parse them into a JSON format, that's left for the layers to handle.

Differential Revision: https://phabricator.services.mozilla.com/D190993
python/mozperftest/mozperftest/test/functionaltestrunner.py [new file with mode: 0644]
python/mozperftest/mozperftest/tests/test_functionaltestrunner.py [new file with mode: 0644]