t/TESTS_STATUS.pod

   1 # $Id$
   2
   3 =head1 Parrot Testing Status
   4
   5 The primary goal of the Parrot testing effort is to provide complete coverage
   6 of the critical Parrot core subsystems on all targeted platforms. Secondary
   7 goals include testing of non-critical core subsystems, and non-core code.
   8 This document tracks the status of our effort.
   9
  10 Until we have an automated way of quantitatively tracking test coverage,
  11 coverage will be tracked quantitatively, using the scale described below:
  12
  13 =over 4
  14
  15 =item Poor
  16
  17 Very little, or no coverage of a component. This status is completely
  18 unacceptable and should be remedied immediately.
  19
  20 =item Fair
  21
  22 Some coverage of basic component operation. Missing some subtests of basic
  23 operation, failure cases, and invalid input. Component functionality may only
  24 be tested on a subset of platforms that provide that functionality.
  25
  26 =item Good
  27
  28 Full or nearly-full coverage of basic component operation, failure cases,
  29 and invalid input. Tests are run on all platforms which allow component
  30 operation. Hard-to-test code is not yet well-covered. Some missing
  31 functionality is partially tested with failing B<TODO> and B<SKIP> tests.
  32
  33 =item Excellent
  34
  35 Full coverage of basic component operation, failure cases, and invalid input
  36 on all platforms. Hard-to-test code is well-covered. Missing component
  37 functionality, including basic operation, failure cases, and invalid input
  38 is tested with failing B<TODO> and B<SKIP> tests.
  39
  40 =back
  41
  42 =head2 Parrot Core Subsystems
  43
  44 Below is a breakdown of the Parrot core subsystems, and a qualitative measure
  45 of testing status.
  46
  47 =head3 Parser
  48
  49 This module tokenizes the input.
  50
  51 =over 4
  52
  53 =item Status
  54
  55 B<Fair>. There are tests for basic operation, however these tests are spread
  56 throughout the test suite, and are not comprehensive. We can assume basic
  57 operation is well-tested, otherwise the compiler, optimizer, and interpreter
  58 probably wouldn't work very well.
  59 Tests under B<t/compilers/imcc/syn/>, and others.
  60
  61 =back
  62
  63 =head3 Compilers: IMCC, PGE, TGE
  64
  65 =over 4
  66
  67 =item Status
  68
  69 B<Good>.
  70
  71 =back
  72
  73 =head3 Optimizer
  74
  75 This rearranges B<PASM> code to make it run faster.
  76
  77 =over 4
  78
  79 =item Status
  80
  81 B<Good>. Most optimizations are well-tested.
  82 Tests under B<t/compilers/imcc/imcpasm/>.
  83
  84 =back
  85
  86 =head3 Interpreter
  87
  88 This is the core of Parrot. It comprises the various runcores, input/output,
  89 threading, events, exceptions, objects, bytecode loader, etc. Test coverage
  90 of the Parrot Interpreter is critical.
  91
  92 =over 4
  93
  94 =item Status
  95
  96 B<Fair>. A breakdown of Interpreter subsystems below lists individual status.
  97
  98 =over 4
  99
 100 =item PMCs
 101
 102 B<Fair>. Each PMC file has a corresponding test file. Some PMCs are heavily
 103 undertested. Tests under B<t/pmc/>.
 104
 105 =item Operators
 106
 107 B<Good>. Most operators are well-tested. Tests under B<t/op/>.
 108
 109 =item IO
 110
 111 B<Fair>. Tests exist, but do not run on all platforms, and do not test
 112 some important cases. Tests in B<t/pmc/io.t> and B<t/src/io.t>.
 113
 114 =item Dynamic PMCs
 115
 116 B<Poor>. Some dynamic PMCs do not have test files. Coverage in existing
 117 test files is far from complete. Tests under B<t/dynpmc/>.
 118
 119 =item Dynamic ops
 120
 121 B<Poor>. Only a few tests exist, and coverage of important test cases is
 122 weak. Tests under B<t/dynops/>.
 123
 124 =item Packfiles
 125
 126 B<Poor>. For more exotic platforms tests under B<t/native_pbc> are
 127 rarely updated.
 128
 129 =back
 130
 131 =back
 132
 133 =head3 Runtime Libraries and Includes
 134
 135 =over 4
 136
 137 =item Status
 138
 139 B<Poor>. Some runtime libraries are tested, while others are not. No tests
 140 exist for include files. Tests under B<t/library/>.
 141
 142 =back
 143
 144 =head3 Configure Libraries
 145
 146 =over 4
 147
 148 =item Status
 149
 150 B<Good>. Tests exist, and the coverage is decent and improving.  Tests under
 151 B<t/configure/>.
 152
 153 =back
 154
 155 =head3 Test Libraries
 156
 157 =over 4
 158
 159 =item Status
 160
 161 B<Poor>. Few tests exist, and coverage is poor. However, the test suite
 162 I<seems> to run fine, giving a false sense of security.
 163
 164 =back
 165
 166 =head3 Documentation
 167
 168 =over 4
 169
 170 =item Status
 171
 172 B<Fair>. Opcode documentation is well-tested, and Pod files are checked
 173 for standards-conformance, but many documentation tests are missing.
 174 Tests under B<t/doc>.
 175
 176 =back
 177
 178 =head3 Coding standard
 179
 180 =over 4
 181
 182 =item Status
 183
 184 B<Good>. Tests under F<t/codingstd/*.t>.
 185
 186 =back
 187
 188 =head3 Examples and Benchmarks
 189
 190 =over 4
 191
 192 =item Status
 193
 194 B<Fair>. Tests exist, and cover basic functionality of nearly all examples
 195 and benchmarks. Extensive testing of failures is not a priority. Tests under
 196 B<t/examples/> and B<t/benchmark/>.
 197
 198 =back
 199
 200 =head3 Tools
 201
 202 =over 4
 203
 204 =item Status
 205
 206 B<Poor>. Few tests exist, and coverage is sparse. Tests under B<t/tools/>.
 207
 208 =back
 209
 210 =cut