[fenix] Taskgraph changes to allow running UI tests on nightly builds (https://github...
[gecko.git] / mobile / android / fenix / automation / taskcluster / androidTest / flank-x86-start-test.yml
blob5d9c8d49c0219396fad20ae118300a956ea90b95
1 # gcloud args match the official gcloud cli
2 # https://cloud.google.com/sdk/gcloud/reference/firebase/test/android/run
3 gcloud:
4   results-bucket: fenix_test_artifacts
5   record-video: true
7   # The maximum possible testing time is 30m on physical devices and 60m on virtual devices.
8   timeout: 30m
9   # will start test then close socket. no reports will be generated.
10   # to retrieve results later, use the "refresh" command
11   # reports will be generated from /results/matrix_ids.json
12   #async: true 
13   # will start test then leave socket open. reports will be published
14   # to /results
15   # see: https://github.com/TestArmada/flank/issues/339
16   async: false
18   # results-history-name
19   # by default, set to app name
20   # declare results-history-name to create a separate dropdown menu in Firebase 
21   # see: https://github.com/TestArmada/flank/issues/341
22   #results-history-name: tmp_parallel 
24   # test and app are the only required args
25   app: /app/path 
26   test: /test/path
28   auto-google-login: true
29   use-orchestrator: true
30   environment-variables:
31     clearPackageData: true
32   directories-to-pull:
33     - /sdcard/screenshots
34   performance-metrics: true
36   test-targets:
37    - class org.mozilla.fenix.ui.NavigationToolbarTest#visitURLTest
39   device:
40    - model: Pixel2
41      version: 28
43 flank:
44   project: GOOGLE_PROJECT
45   # test shards - the amount of groups to split the test suite into
46   # set to -1 to use one shard per test.
47   max-test-shards: 1
48   # num-test-runs: the amount of times to run the tests.
49   # 1 runs the tests once. 10 runs all the tests 10x
50   num-test-runs: 1