testing/docs/sheriffed-intermittents/index.md

   1 Sheriffed intermittent failures
   2 ===============================
   3 The Firefox Sheriff team looks at all failures for tasks which are visible by default
   4 in Treeherder (tier 1 and 2) and are part of a push on a sheriffed tree (autoland,
   5 mozilla-central, mozilla-beta, mozilla-release, mozilla-esr trees) and determines if the
   6 failure is a regression or an intermittent failure.  In the case of an intermittent
   7 failure, the sheriffs annotate the failure and the annotation is logged in
   8 [Treeherder](https://treeherder.mozilla.org/intermittent-failures).
   9
  10 In most cases the sheriffs will determine if a new bug is needed or an existing bug
  11 already tracks this kind of failure.  In most cases sheriffs will annotate the failure
  12 using a "Single Tracking Bug", in other cases there will be specific failures that are
  13 tracked seperately.
  14
  15 Single tracking bugs
  16 --------------------
  17 Single tracking bugs are used to track test failures seen in CI.  These are tracked
  18 at the test case level (typically path/filename) instead of the error message.
  19 We have found that many times we have >1 bug tracking failures on a test case,
  20 but none of the bugs are frequent enough to get attention of the test owners.
  21 In addition, when a developer is looking into fixing an intermittent failure, they
  22 are debugging the file, and it is great to see ALL the related failures in one place.
  23
  24 There are 2 ways to get detailed information about test failures:
  25 1. [Treeherder](https://treeherder.mozilla.org/intermittent-failures), when viewing a specific issue,
  26 there is a table, on the far right side of the table is the column titled `Log`.
  27 If you click the text box underneath that, a drop down of all failure types will be populated,
  28 selecting a failure will filter on that failure to see logs, etc.
  29 2. from `mach test-info`, one can view a breakdown of all failures and where they occur
  30 (example: `./mach test-info failure-report --bugid 1781668`)
  31
  32
  33 The workflow of single tracking bugs is as follows:
  34  - Sheriffs find new failures in CI and create new bugs.  If Treeherder can find the path,
  35  Treeherder will recommend a `single tracking bug` and strip out the error message.
  36  - Sheriffs will annotate existing bugs if the failure to annotate has a test path and in
  37  the list of bug suggestions there is a `single tracking bug`.  Treeherder will offer
  38  that up as the choice as long as the test paths match (and other criteria like crashes,
  39  assertions, leaks, etc. are met)
  40  - Sheriffs will needinfo triage owner if enough failures occur
  41  (currently 30 failures a week, etc.)
  42  - Developers will be able to investigate the set of failures, any specific bugs they are
  43  fixing (for some or all of the conditions).  It is best practice to use the
  44  `single tracking bug` as a META bug and file a new bug blocking the META bug with the specific fix.