acceptance-tests/README.md

   1 Acceptance tests
   2 ================
   3
   4 This directory contains acceptance tests, which are third party test suites and frameworks that are used to validate Mono against a wider range of test cases that go beyond the Mono unit tests that run as part of CI.
   5
   6 In order to make checking out those test suites optional we don't use traditional git submodules, but instead clone them on demand when needed. The custom submodule repositories are checked out into the acceptance-tests/external/ directory.
   7
   8 ## Usage
   9
  10 Running all test suites is possible via "make check-full". There are also targets for running individual test suites, see below.
  11
  12 Some of the test suites require an installed Mono (i.e. they don't work with the in-tree build), those will ask you to pass in the PREFIX variable pointing to the installation directory when invoking make. Note that this directory needs to be writable as we overwrite some files there as part of testing.
  13
  14 ## Individual test suites and targets
  15
  16 * `make check-ms-test-suite` - Runs tests that were shared with Xamarin, those are not available publically and will be skipped when the repository is not accessible.
  17 * `make check-roslyn` - Runs the Roslyn test suite.
  18 * `make check-coreclr` - Runs the CoreCLR test suite.
  19   * `make coreclr-runtest-coremanglib` - Runs only the CoreMangLib portion of the CoreCLR tests, those tests mostly target the BCL behavior.
  20   * `make coreclr-runtest-basic` - Runs only the CoreCLR tests that target runtime behavior and stability.
  21   * `make coreclr-compile-tests` - Convenience target that precompiles all the test cases in parallel.
  22   * `make coreclr-gcstress` - Runs the CoreCLR GC stress tests.
  23
  24 ## Updating submodules
  25
  26 The SUBMODULES.json file stores information about the submodules, and make targets are used to check out submodules, check their versions, and update the submodule information:
  27
  28 * `make validate-<module>` - Checks whenever `<module>` is checked out and matches the version in the info file.
  29 * `make reset-<module>` - Clones `<module>` if neccesary and checks out the revision specified in the info file.
  30 * `make bump-<module>` - Updates the revision stored in the info file for `<module>`.
  31 * `make bump-current-<module>` - Updates the revision stored in the info file for `<module>` to the current revision.
  32 * `make commit-bump-<module>` - Same as `make bump-<module>`, but commits the change.
  33 * `make commit-bump-current-<module>` - Same as `make bump-current-<module>`, but commits the change.
  34
  35 Example: when making a change in the CoreCLR submodule (like disabling something on Mono), you'd commit the change there and then run `make bump-current-coreclr` or `make commit-bump-current-coreclr` to update the version in SUBMODULES.json.