tools/tryselect/try_presets.yml

   1 ---
   2 # Presets defined here will be available to all users. Run them with:
   3 #   $ mach try --preset <name>
   4 #
   5 # If editing this file, make sure to run:
   6 #   $ mach python-test tools/tryselect/test/test_presets.py
   7 #
   8 # Descriptions are required. Please keep this in alphabetical order.
   9
  10 # yamllint disable rule:line-length
  11
  12 debugger-tests:
  13     selector: fuzzy
  14     description: >-
  15         Runs the tests relevant to the Firefox Devtools Debugger
  16     query:
  17         - "'debugger"
  18         - "'mozlint-eslint"
  19         - "!asan 'devtools !shippable | 'linux32 | 'macosx64"
  20         - "!android !asan 'linux32 | 'macosx64 | !shippable 'mochitest-chrome"
  21         - "!asan !shippable 'linux '64/ 'xpcshell"
  22         - "!qr !macosx !shippable 'damp"
  23
  24 devtools:
  25     selector: fuzzy
  26     description: >-
  27         Runs the tests relevant to the Firefox Devtools
  28     query:
  29         - "'node-debugger | 'node-devtools"
  30         - "'mozlint-eslint"
  31         - "'mochitest-devtools-chrome-e10s | 'mochitest-chrome-1proc 'windows10-64/ | 'macosx1014-64"
  32         # Linux is being named "linux1804" and may change over time, so use a more flexible search
  33         - "'mochitest-devtools-chrome-e10s | 'mochitest-chrome-1proc | 'mochitest-devtools-chrome-fis-e10s linux '64/"
  34         - "'xpcshell-e10s 'linux '64/"
  35
  36 devtools-linux:
  37     selector: fuzzy
  38     description: >-
  39         Runs the tests relevant to the Firefox Devtools, on Linux only.
  40     query:
  41         - "'node-debugger | 'node-devtools"
  42         - "'mozlint-eslint"
  43         - "'mochitest-devtools-chrome-e10s | 'mochitest-chrome-1proc 'linux '64/"
  44         - "'xpcshell-e10s 'linux '64/"
  45
  46 fpush-linux-android:
  47     selector: fuzzy
  48     description: >-
  49         Runs correctness test suites on Linux and Android emulator platforms, as
  50         well as builds across main platforms. The resulting jobs on TreeHerder
  51         used to end up looking like a "F" shape (not so much these days) and so
  52         this is typically referred to as an F-push. This is useful to do as a
  53         general sanity check on changes to cross-platform Gecko code where you
  54         unsure of what tests might be affected. Linux and Android (emulator)
  55         test coverage are relatively cheap to run and cover a lot of the
  56         codebase, while the builds on other platforms catch compilation problems
  57         that might result from only building locally on one platform.
  58     query:
  59         - "'test-linux1804 'debug- !-shippable !-asan !-fis-"
  60         - "'test-android-em 'debug"
  61         - "^build !-shippable !-signing !-asan !-fuzzing !-rusttests !-base-toolchain !-aar-"
  62
  63 perf:
  64     selector: fuzzy
  65     description: >-
  66         Runs all performance (raptor and talos) tasks across all platforms.
  67         This preset can be filtered down further (e.g to limit it to a specific
  68         platform) via |mach try --preset perf -xq "'windows"|.
  69
  70         Android hardware platforms are excluded due to resource limitations.
  71     query:
  72         - "^test- !android-hw 'raptor | 'talos"
  73     rebuild: 5
  74
  75 perf-chrome:
  76     description: >-
  77         Runs the talos tests most likely to change when making a change to
  78         the browser chrome. This skips a number of talos jobs that are unlikely
  79         to be affected in order to conserve resources.
  80     query:
  81         - "opt-talos- 'chrome | 'svg | 'session | 'tabswitch | 'other | 'g5"
  82     rebuild: 6
  83     selector: fuzzy
  84
  85 sample-suites:
  86     selector: fuzzy
  87     description: >-
  88         Runs one chunk of every test suite plus all suites that aren't chunked.
  89         It is useful for testing infrastructure changes that can affect the
  90         harnesses themselves but are unlikely to break specific tests.
  91     query:
  92         - ^test- -1$
  93         # Only run a single talos + raptor suite per platform
  94         - ^test- !1$ !2$ !3$ !4$ !5$ !6$ !7$ !8$ !9$ !0$ !raptor !talos
  95         - ^test- 'raptor-speedometer | 'talos-g1
  96
  97 sm-shell-all:
  98     selector: fuzzy
  99     description: <-
 100         Runs a set of tests aimed to give a reasonable level of confidence for
 101         basic SpiderMonkey changes (shell only), all platforms
 102     query:
 103         - "'spidermonkey | 'shell-haz"
 104         - "!shippable !android 'jittest"  # macosx64 jittests
 105
 106 sm-shell:
 107     selector: fuzzy
 108     description: <-
 109         Runs a set of tests aimed to give a reasonable level of confidence for
 110         basic SpiderMonkey changes (shell only) (linux only)
 111     query:
 112         - "!win !osx 'spidermonkey | 'shell-haz"
 113
 114
 115 sm-all:
 116     selector: fuzzy
 117     description: <-
 118         Runs a set of tests aimed to give a reasonable level of confidence for
 119         basic SpiderMonkey changes, including those that would require a
 120         browser build.
 121     query:
 122         - "'spidermonkey | 'hazard"
 123         - "!android !asan !shippable 'xpcshell"
 124         - "!android !asan !shippable 'jsreftest"
 125         - "!shippable !android 'jittest"  # macosx64 jittests
 126
 127 webrender:
 128     selector: fuzzy
 129     description: >-
 130         Runs the conformance tests relevant to WebRender.
 131     query:
 132         - "!talos !raptor !shippable !asan '-qr"
 133         - "^webrender-"
 134
 135 webrender-perf:
 136     selector: fuzzy
 137     description: >-
 138         Runs the performance tests relevant to WebRender.
 139     query:
 140         - "'-qr !fis-e10s 'svgr"
 141         - "'-qr !fis-e10s 'g1"
 142         - "'-qr !fis-e10s 'g4"
 143         - "'-qr !fis-e10s 'tp5"
 144         - "'-qr !fis-e10s 'talos-webgl"
 145         - "'-qr !fis-e10s 'motionmark-animometer"