math/README.libm-test

   1 README for libm-test math test suite
   2 ====================================
   3
   4 The libm-test math test suite tests a number of function points of
   5 math functions in the GNU C library.  The following sections contain a
   6 brief overview.  Please note that the test drivers and the Python
   7 script "gen-libm-test.py" have some options.  A full list of options
   8 is available with --help (for the test drivers) and -h for
   9 "gen-libm-test.py".
  10
  11
  12 What is tested?
  13 ===============
  14 The tests just evaluate the functions at specified points and compare
  15 the results with precomputed values and the requirements of the ISO
  16 C99 standard.
  17
  18 Besides testing the special values mandated by IEEE 754 (infinities,
  19 NaNs and minus zero), some more or less random values are tested.
  20
  21 Files that are part of libm-test
  22 ================================
  23
  24 The main files are "libm-test-<func>.inc".  They are independent of
  25 the target platform and the specific real floating type and format and
  26 contain placeholder test "templates" for math functions defined in
  27 libm.  These files, along with generated files named
  28 "auto-libm-test-out-<func>", are preprocessed by the Python script
  29 "gen-libm-test.py" to expand the templates and produce a set of test
  30 cases for each math function that are specific to the target platform
  31 but still independent of the real floating type.  The results of the
  32 processing are "libm-test-<func>.c" and a file "libm-test-ulps.h" with
  33 platform specific deltas by which the actual math function results may
  34 deviate from the expected results and still be considered correct.
  35
  36 The test drivers "test-double-<func>.c", "test-float-<func>.c", and
  37 "test-ldouble-<func>.c", generated by the Makefile, test the normal
  38 double, float and long double implementation of libm.  The test
  39 drivers with an 'i' in their name ("test-idouble-<func>.c",
  40 "test-ifloat-<func>.c", and "test-ildoubl-<func>.c") test the
  41 corresponding inline functions (where available - otherwise they also
  42 test the real functions in libm).  Each driver selects the desired
  43 real floating type to exercise the math functions to test with (float,
  44 double, or long double) by defining a small set of macros just before
  45 including the generic "libm-test.c" file.  Each driver also either
  46 defines or undefines the __NO_MATH_INLINES macro just before including
  47 "libm-test-<func>.c" to select either the real or inline functions,
  48 respectively.  Each driver is compiled into a single executable test
  49 program with the corresponding name.
  50
  51 As mentioned above, the "gen-libm-test.py" script looks for a file
  52 named "libm-test-ulps" in the platform specific sysdep directory (or
  53 its fpu or nofpu subdirectory) and for each variant (real floating
  54 type and rounding mode) of every tested function reads from it the
  55 maximum difference expressed as Units of Least Precision (ULP) the
  56 actual result of the function may deviate from the expected result
  57 before it's considered incorrect.
  58
  59 The "auto-libm-test-out-<func>" files contain sets of test cases to
  60 exercise, the conditions under which to exercise each, and the
  61 expected results.  The files are generated by the
  62 "gen-auto-libm-tests" program from the "auto-libm-test-in" file.  See
  63 the comments in gen-auto-libm-tests.c for details about the content
  64 and format of the -in and -out files.
  65
  66 How can I generate "libm-test-ulps"?
  67 ====================================
  68
  69 To automatically generate a new "libm-test-ulps" run "make regen-ulps".
  70 This generates the file "math/NewUlps" in the build directory.  The file
  71 contains the sorted results of all the tests.  You can use the "NewUlps"
  72 file as the machine's updated "libm-test-ulps" file.  Copy "NewUlps" to
  73 "libm-test-ulps" in the appropriate machine sysdep directory.  Verify
  74 the changes, post your patch, and check it in after review.
  75
  76 To manually generate a new "libm-test-ulps" file, first remove "ULPs"
  77 file in the current directory, then you can execute for example:
  78     ./testrun.sh math/test-double -u --ignore-max-ulp=yes
  79 This generates a file "ULPs" with all double ULPs in it, ignoring any
  80 previously calculated ULPs, and running with the newly built dynamic
  81 loader and math library (assumes you didn't install your build).  Now
  82 generate the ULPs for all other formats, the tests will be appending the
  83 data to the "ULPs" file.  As final step run "gen-libm-test.py" with the
  84 file as input and ask to generate a pretty printed output in the file
  85 "NewUlps":
  86   gen-libm-test.py -u ULPs -n NewUlps
  87 Copy "NewUlps" to "libm-test-ulps" in the appropriate machine sysdep
  88 directory.
  89
  90 Note that the test drivers have an option "-u" to output an unsorted
  91 list of all epsilons that the functions have.  The output can be read
  92 in directly but it's better to pretty print it first.
  93 "gen-libm-test.py" has an option to generate a pretty-printed and
  94 sorted new ULPs file from the output of the test drivers.
  95
  96 Contents of libm-test-ulps
  97 ==========================
  98
  99 Since libm-test-ulps can be generated automatically, just a few notes.
 100 The file contains lines for maximal errors of single functions, like:
 101
 102 Function "yn":
 103 idouble: 6
 104
 105 The keywords are float, ifloat, double, idouble, ldouble and ildouble
 106 (the prefix i stands for inline).
 107
 108 Adding tests to libm-test-<func>.inc
 109 ====================================
 110
 111 The tests are evaluated by a set of special test macros.  The macros
 112 start with "TEST_" followed by a specification the input values, an
 113 underscore and a specification of the output values.  As an example,
 114 the test macro for a function with input of type FLOAT (FLOAT is
 115 either float, double, long double) and output of type FLOAT is
 116 "TEST_f_f".  The macro's parameter are the name of the function, the
 117 input parameter, output parameter and optionally one exception
 118 parameter.
 119
 120 The accepted parameter types are:
 121 - "f" for FLOAT
 122 - "j" for long double.
 123 - "a" for ARG_FLOAT, the argument type for narrowing functions.
 124 - "b" for boolean - just tests if the output parameter evaluates to 0
 125   or 1 (only for output).
 126 - "c" for complex.  This parameter needs two values, first the real,
 127   then the imaginary part.
 128 - "i" for int.
 129 - "l" for long int.
 130 - "L" for long long int.
 131 - "u" for unsigned int.
 132 - "M" for intmax_t.
 133 - "U" for uintmax_t.
 134 - "p" for an argument (described in the previous character) passed
 135   through a pointer rather than directly.
 136 - "F" for the address of a FLOAT (only as input parameter)
 137 - "I" for the address of an int (only as input parameter)
 138 - "1" for an additional output (either output through a pointer passed
 139   as an argument, or to a global variable such as signgam).
 140
 141 How to read the test output
 142 ===========================
 143
 144 Running each test on its own at the default level of verbosity will
 145 print on stdout a line describing the implementation of math functions
 146 exercised by the test (float, double, or long double), along with
 147 whether the inline set has been selected, regardless of whether or
 148 not any inline functions actually exist.  This is then followed by
 149 the details of test failures (if any).  The output concludes by
 150 a summary listing the number of test cases exercised and the number
 151 of test failures uncovered.
 152
 153 For each test failure (and for each test case at higher levels of
 154 verbosity), the output contains the name of the function under test
 155 and its arguments or conditions that triggered the failure.  Note
 156 that the name of the function in the output need not correspond
 157 exactly to the name of the math function actually invoked. For example,
 158 the output will refer to the "acos" function even if the actual function
 159 under test is acosf (for the float version) or acosl (for the long
 160 double version).  Also note that the function arguments may be shown
 161 in either the decimal or the  hexadecimal floating point format which
 162 may or may not correspond to the format used in the auto-libm-test-in
 163 file. Besides the name of the function, for each test failure the
 164 output contains the actual and expected results and the difference
 165 between the two, printed in both the decimal and hexadecimal
 166 floating point format, and the ULP and maximum ULP for the test
 167 case.