tests/ChangeLog

   1 2011-04-17  David A. Wheeler  <dwheeler@dwheeler.com>
   2
   3         * scripts/features/shell_assignment: Regression for "!=" feature
   4
   5 2010-11-06  Paul Smith  <psmith@gnu.org>
   6
   7         * scripts/features/targetvars: Fix known-good output for BS/NL changes.
   8         * scripts/functions/call: Ditto.
   9         * scripts/variables/special: Ditto.
  10
  11         * scripts/misc/bs-nl: New test suite for backslash/newline testing.
  12
  13 2010-08-29  Paul Smith  <psmith@gnu.org>
  14
  15         * scripts/features/errors: Add new error message to output text.
  16         * scripts/variables/SHELL: Ditto.
  17         * scripts/targets/POSIX: Ditto.
  18         * scripts/options/dash-k: Ditto.
  19         * scripts/features/vpathplus: Ditto.
  20         * scripts/features/patternrules: Ditto.
  21         * scripts/features/parallelism: Ditto.
  22
  23 2010-08-13  Paul Smith  <psmith@gnu.org>
  24
  25         * scripts/features/archives: New regression tests for archive
  26         support.  Test for fix to Savannah bug #30612.
  27
  28         * run_make_tests.pl (set_more_defaults): Set a %FEATURES hash to
  29         the features available in $(.FEATURES).
  30
  31 2010-08-10  Paul Smith  <psmith@gnu.org>
  32
  33         * scripts/features/reinvoke: Ensure command line variable settings
  34         are preserved across make re-exec.  Tests Savannah bug #30723.
  35
  36 2010-07-28  Paul Smith  <psmith@gnu.org>
  37
  38         * scripts/targets/POSIX: Compatibility issues with Solaris (and
  39         Tru64?); "false" returns different exit codes, and set -x shows
  40         output with extra whitespace.  Run the commands by hand first to
  41         find out what the real shell would do, then compare what make does.
  42         * scripts/variables/SHELL: Ditto.
  43
  44 2010-07-12  Paul Smith  <psmith@gnu.org>
  45
  46         * test_driver.pl: Add a new $perl_name containing the path to Perl.
  47         * run_make_tests.pl (run_make_test): Replace the special string
  48         #PERL# in a makefile etc. with the path the Perl executable so
  49         makefiles can use it.
  50
  51         * scripts/targets/ONESHELL: Add a new set of regression tests for
  52         the .ONESHELL feature.
  53
  54 2010-07-06  Paul Smith  <psmith@gnu.org>
  55
  56         * scripts/variables/SHELL: Test the new .SHELLFLAGS variable.
  57
  58         * scripts/targets/POSIX: New file.  Test the .POSIX special target.
  59         Verify that enabling .POSIX changes the shell flags to set -e.
  60
  61 2010-07-01  Paul Smith  <psmith@gnu.org>
  62
  63         * scripts/features/recursion: Add a space to separate command-line
  64         args.  Fixes Savannah bug #29968.
  65
  66 2009-11-12  Boris Kolpackov  <boris@codesynthesis.com>
  67
  68         * scripts/features/vpath3: Test for the new library search
  69         behavior.
  70
  71 2009-10-06  Boris Kolpackov  <boris@codesynthesis.com>
  72
  73         * scripts/features/se_explicit: Enable the test for now fixed
  74         Savannah bug 25780.
  75
  76 2009-10-06  Boris Kolpackov  <boris@codesynthesis.com>
  77
  78         * scripts/variables/undefine: Tests for the new undefine feature.
  79
  80 2009-10-03  Paul Smith  <psmith@gnu.org>
  81
  82         * scripts/features/parallelism: Test for open Savannah bug #26846.
  83
  84         * scripts/variables/MAKE: Rewrite for new run_make_test() format.
  85
  86         * scripts/variables/MAKEFLAGS: Created.
  87         Add test for Savannah bug #2216 (still open).
  88
  89         * scripts/features/include: Test for Savannah bug #102 (still open).
  90
  91 2009-09-30  Boris Kolpackov  <boris@codesynthesis.com>
  92
  93         * scripts/features/include: Add diagnostics issuing tests for
  94         cases where targets have been updated and failed with the
  95         dontcare flag. Savannah bugs #15110, #25493, #12686, #17740.
  96
  97 2009-09-28  Paul Smith  <psmith@gnu.org>
  98
  99         * scripts/functions/shell: Add regression test for Savannah bug
 100         #20513 (still open).
 101
 102         * scripts/features/se_explicit: Add regression tests for Savannah
 103         bug #25780 (still open).
 104
 105         * run_make_tests.pl (valid_option): Add a new flag, -all([-_]?tests)?
 106         that runs tests we know will fail.  This allows us to add
 107         regression tests to the test suite for bugs that haven't been
 108         fixed yet.
 109
 110 2009-09-28  Boris Kolpackov  <boris@codesynthesis.com>
 111
 112         * scripts/features/patspecific_vars: Add a test for the shortest
 113         stem first order.
 114
 115         * scripts/features/patternrules: Add a test for the shortest stem
 116         first order.
 117
 118 2009-09-24  Paul Smith  <psmith@gnu.org>
 119
 120         * scripts/features/se_implicit: Add a test for order-only
 121         secondary expansion prerequisites.
 122
 123 2009-09-23  Paul Smith  <psmith@gnu.org>
 124
 125         * scripts/features/patternrules: Test that we can remove pattern
 126         rules, both single and multiple prerequisites.  Savannah bug #18622.
 127
 128         * scripts/features/echoing: Rework for run_make_test().
 129
 130 2009-06-14  Paul Smith  <psmith@gnu.org>
 131
 132         * scripts/features/vpath: Verify we don't get bogus circular
 133         dependency warnings if we choose a different file via vpath during
 134         update.  Savannah bug #13529.
 135
 136 2009-06-13  Paul Smith  <psmith@gnu.org>
 137
 138         * scripts/variables/MAKEFILES: Verify that MAKEFILES included
 139         files (and files included by them) don't set the default goal.
 140         Savannah bug #13401.
 141
 142         * scripts/functions/wildcard: Test that wildcards with
 143         non-existent glob matchers return empty.
 144
 145 2009-06-09  Paul Smith  <psmith@gnu.org>
 146
 147         * scripts/options/dash-B: Test the $? works correctly with -B.
 148         Savannah bug #17825.
 149
 150         * scripts/features/patternrules: Test that dependencies of
 151         "also_make" targets are created properly.  Savannah bug #19108.
 152
 153         * test_driver.pl (compare_output): Create a "run" file for failed
 154         tests containing the command that was run.
 155         (get_runfile): New function.
 156
 157         * run_make_tests.pl (valid_option): Enhanced support for valgrind:
 158         allow memcheck and massif tools.
 159
 160         * scripts/features/patternrules: Have to comment out a line in the
 161         first test due to backing out a change that broke the implicit
 162         rule search algorithm.  Savannah bug #17752.
 163         * scripts/misc/general4: Remove a test that is redundant with
 164         patternrules.
 165
 166         * scripts/features/parallelism: Add a test for re-exec with
 167         jobserver master override.  Savannah bug #18124.
 168
 169 2009-06-08  Paul Smith  <psmith@gnu.org>
 170
 171         * scripts/features/targetvars: Add a test for continued target
 172         vars after a semicolon.  Savannah bug #17521.
 173
 174 2009-06-07  Paul Smith  <psmith@gnu.org>
 175
 176         * scripts/features/se_explicit: Make sure we catch defining
 177         prereqs during snap_deps().  Savannah bug #24622.
 178
 179         * scripts/variables/automatic: Check prereq ordering when the
 180         target with the recipe has no prereqs.  Savannah bug #21198.
 181
 182         * scripts/variables/LIBPATTERNS: Add a new set of test for
 183         $(.LIBPATTERNS) (previously untested!)
 184
 185 2009-06-04  Paul Smith  <psmith@gnu.org>
 186
 187         * scripts/variables/SHELL: The export target-specific SHELL test
 188         has an incorrect known-good-value.
 189
 190         * scripts/misc/general4: Check for whitespace (ffeed, vtab, etc.)
 191
 192         * scripts/features/se_explicit: Add tests for Savannah bug #24588.
 193
 194 2009-05-31  Paul Smith  <psmith@gnu.org>
 195
 196         * scripts/variables/DEFAULT_GOAL: Add tests for Savannah bug #25697.
 197
 198         * scripts/features/targetvars: Add tests of overrides for Savannah
 199         bug #26207.
 200         * scripts/features/patspecific_vars: Ditto.
 201
 202         * scripts/features/patternrules: Add a test for Savannah bug #26593.
 203
 204 2009-05-30  Paul Smith  <psmith@gnu.org>
 205
 206         * scripts/variables/flavors: Update with new variable flavor tests.
 207         * scripts/variables/define: Create a new set of tests for
 208         define/endef and move those aspects of the flavors suite here.
 209
 210 2009-05-25  Paul Smith  <psmith@gnu.org>
 211
 212         * scripts/features/targetvars: Ditto.
 213
 214         * scripts/features/export: Test new variable parsing abilities.
 215
 216 2009-02-23  Ramon Garcia  <ramon.garcia.f@gmail.com>
 217
 218         * scripts/variables/private: Create a new suite of tests for 'private'.
 219
 220 2007-11-04  Paul Smith  <psmith@gnu.org>
 221
 222         * scripts/functions/eval: Update error message for command -> recipe.
 223
 224         * test_driver.pl (compare_output): Allow the answer to be a regex,
 225         if surrounded by '/'.
 226         * scripts/misc/close_stdout: Use a regex for the answer, since
 227         sometimes the error will have a description and sometimes it won't.
 228
 229 2007-09-10  Paul Smith  <psmith@gnu.org>
 230
 231         * scripts/variables/special: Add tests for .RECIPEPREFIX variable.
 232
 233 2007-08-15  Paul Smith  <psmith@gnu.org>
 234
 235         These test cases were contributed by
 236         Icarus Sparry <savannah@icarus.freeuk.com> and J. David Bryan for
 237         Savannah bugs #3330 and #15919.
 238
 239         * scripts/targets/SECONDARY: Add tests for Savannah bugs 3330 and
 240         15919.
 241
 242         * scripts/features/parallelism: Add tests for wrong answer/hang
 243         combining INTERMEDIATE, order-only prereqs, and parallelism.
 244         See Savannah bugs 3330 and 15919.
 245
 246 2007-07-13  Paul Smith  <psmith@gnu.org>
 247
 248         Install a timeout so tests can never loop infinitely.
 249         Original idea and patch for a single-test version provided by
 250         Icarus Sparry <savannah@icarus.freeuk.com>
 251
 252         * test_driver.pl (_run_command): New function: this is called by
 253         other functions to actually run a command.  Before we run it,
 254         install a SIGALRM handler and set up a timer to go off in the
 255         future (default is 5s; this can be overridden by individual tests).
 256         (run_command): Call it.
 257         (run_command_with_output): Call it.
 258
 259         * run_make_tests.pl (run_make_with_options): Override the default
 260         timeout if the caller requests it.
 261         (run_make_test): Pass any timeout override to run_make_with_options.
 262
 263         * scripts/features/parallelism: Increase the timeout for long tests.
 264         * scripts/options/dash-l: Ditto.
 265
 266 2006-10-01  Paul Smith  <psmith@paulandlesley.org>
 267
 268         * run_make_tests.pl (set_more_defaults): Remove setting of LANG in
 269         ENV here.  This doesn't always work.
 270         * test_driver.pl (toplevel): Set LC_ALL to 'C' in the make
 271         environment.  Fixes Savannah bug #16698.
 272
 273 2006-09-30  Paul Smith  <psmith@paulandlesley.org>
 274
 275         * scripts/variables/automatic: Add back the test for bug #8154.
 276
 277 2006-04-01  Paul D. Smith  <psmith@gnu.org>
 278
 279         * scripts/functions/realpath: Don't run tests with multiple
 280         initial slashes on Windows: those paths mean something different.
 281
 282 2006-03-19  Paul D. Smith  <psmith@gnu.org>
 283
 284         * scripts/features/parallelism: Test that the jobserver is
 285         properly managed when we have to re-exec the master instance of
 286         make.
 287
 288 2006-03-17  Boris Kolpackov  <boris@kolpackov.net>
 289
 290         * scripts/features/statipattrules: Add tests for bug #16053.
 291
 292 2006-03-09  Paul Smith  <psmith@gnu.org>
 293
 294         * scripts/features/escape: Use "pre:" not "p:" to avoid conflicts
 295         with DOS drive letters.  Fixes Savannah bug #15947.
 296
 297         * test_driver.pl (run_each_test): Set the status properly even
 298         when a test fails to execute.  Fixes Savannah bug #15942.
 299
 300         * scripts/functions/foreach: Use a different environment variable
 301         other than PATH to avoid differences with Windows platforms.
 302         Fixes Savannah bug #15938.
 303
 304 2006-03-05  Paul D. Smith  <psmith@gnu.org>
 305
 306         * run_make_tests.pl (set_more_defaults): Add CYGWIN_NT as a port
 307         type W32.  Fixed Savannah bug #15937.
 308
 309         * scripts/features/default_names: Don't call error() when the test
 310         fails.  Fixes Savannah bug #15941.
 311
 312 2006-02-17  Paul D. Smith  <psmith@gnu.org>
 313
 314         * scripts/features/targetvars: Test a complex construction which
 315         guarantees that we have to merge variable lists of different
 316         sizes.  Tests for Savannah bug #15757.
 317
 318 2006-02-15  Paul D. Smith  <psmith@gnu.org>
 319
 320         * scripts/functions/error: Make sure filename/lineno information
 321         is related to where the error is expanded, not where it's set.
 322         * scripts/functions/warning: Ditto.
 323         * scripts/functions/foreach: Check for different error conditions.
 324         * scripts/functions/word: Ditto.
 325         * scripts/variables/negative: Test some variable reference failure
 326         conditions.
 327         * scripts/options/warn-undefined-variables: Test the
 328         --warn-undefined-variables flag.
 329
 330 2006-02-09  Paul D. Smith  <psmith@gnu.org>
 331
 332         * run_make_tests.pl (set_more_defaults): Update valgrind support
 333         for newer versions.
 334         * test_driver.pl (toplevel): Skip all hidden files/directories (ones
 335         beginning with ".").
 336
 337         * scripts/functions/andor: Tests for $(and ..) and $(or ...)
 338         functions.
 339
 340 2006-02-08  Boris Kolpackov  <boris@kolpackov.net>
 341
 342         * scripts/features/parallelism: Add a test for bug #15641.
 343
 344 2006-02-06  Paul D. Smith  <psmith@gnu.org>
 345
 346         * scripts/options/dash-W: Add a test for bug #15341.
 347
 348 2006-01-03  Paul D. Smith  <psmith@gnu.org>
 349
 350         * scripts/variables/automatic: Add a test for bug #8154.
 351
 352         * README: Update to reflect the current state of the test suite.
 353
 354 2005-12-12  Paul D. Smith  <psmith@gnu.org>
 355
 356         * scripts/features/parallelism, scripts/functions/wildcard,
 357         scripts/targets/FORCE, scripts/targets/PHONY,
 358         scripts/targets/SILENT: Use the default setting for
 359         $delete_command.  Fixes bug #15085.
 360
 361         * run_make_tests.pl (get_this_pwd) [VMS]: Use -no_ask with delete_file.
 362
 363 2005-12-11  Paul D. Smith  <psmith@gnu.org>
 364
 365         * scripts/misc/general4: Test implicit rules with '$' in the
 366         prereq list & prereq patterns.
 367         * scripts/features/se_implicit: Add in .SECONDEXPANSION settings.
 368
 369 2005-12-09  Boris Kolpackov  <boris@kolpackov.net>
 370
 371         * scripts/features/patternrules: Add a test for bug #13022.
 372
 373 2005-12-07  Boris Kolpackov  <boris@kolpackov.net>
 374
 375         * scripts/features/double_colon: Add a test for bug #14334.
 376
 377 2005-11-17  Boris Kolpackov  <boris@kolpackov.net>
 378
 379         * scripts/functions/flavor: Add a test for the flavor function.
 380
 381 2005-11-14  Boris Kolpackov  <boris@kolpackov.net>
 382
 383         * scripts/variables/INCLUDE_DIRS: Add a test for the .INCLUDE_DIRS
 384         special variable.
 385
 386 2005-10-24  Paul D. Smith  <psmith@gnu.org>
 387
 388         * scripts/misc/general4: Test '$$' in prerequisites list.
 389         * scripts/features/statipattrules: Rewrite to use run_make_test().
 390         Add various static pattern info.
 391         * scripts/features/se_statpat: Enable .SECONDEXPANSION target.
 392         * scripts/features/se_explicit: Add tests for handling '$$' in
 393         prerequisite lists with and without setting .SECONDEXPANSION.
 394         * scripts/features/order_only: Convert to run_make_test().
 395         * run_make_tests.pl (set_more_defaults): If we can't get the value
 396         of $(MAKE) from make, then fatal immediately.
 397
 398 2005-08-31  Paul D. Smith  <psmith@gnu.org>
 399
 400         * run_make_tests.pl (get_this_pwd): Require the POSIX module (in
 401         an eval to trap errors) and if it exists, use POSIX::getcwd to
 402         find the working directory.  If it doesn't exist, go back to the
 403         previous methods.  This tries to be more accurate on Windows
 404         systems.
 405
 406 2005-08-29  Paul D. Smith  <psmith@gnu.org>
 407
 408         * scripts/functions/abspath: Add some text to the error messages
 409         to get a better idea of what's wrong.  Make warnings instead of
 410         errors.
 411
 412         * scripts/features/patspecific_vars: Don't use "test", which is
 413         UNIX specific.  Print the values and let the test script match
 414         them.
 415
 416 2005-08-25  Paul Smith  <psmith@gnu.org>
 417
 418         * scripts/variables/SHELL: Use a /./ prefix instead of //: the
 419         former works better with non-UNIX environments.  Fixes Savannah
 420         bug #14129.
 421
 422 2005-08-13  Boris Kolpackov  <boris@kolpackov.net>
 423
 424         * scripts/functions/wildcard: Wrap calls to $(wildcard ) with
 425         $(sort) so that the resulting order is no longer filesystem-
 426         dependant.
 427
 428 2005-08-10  Boris Kolpackov  <boris@kolpackov.net>
 429
 430         * scripts/features/statipattrules: Add a test for Savannah bug #13881.
 431
 432 2005-08-07  Paul D. Smith  <psmith@gnu.org>
 433
 434         * scripts/features/parallelism: Add a test for a bug reported by
 435         Michael Matz (matz@suse.de) in which make exits without waiting
 436         for all its children in some situations during parallel builds.
 437
 438 2005-07-08  Paul D. Smith  <psmith@gnu.org>
 439
 440         * test_driver.pl: Reset the environment to a clean value every
 441         time before we invoke make.  I'm suspicious that the environment
 442         isn't handled the same way in Windows as it is in UNIX, and some
 443         variables are leaking out beyond the tests they are intended for.
 444         Create an %extraENV hash tests can set to add more env. vars.
 445         * tests/scripts/features/export: Change to use %extraENV.
 446         * tests/scripts/functions/eval: Ditto.
 447         * tests/scripts/functions/origin: Ditto.
 448         * tests/scripts/options/dash-e: Ditto.
 449         * tests/scripts/variables/SHELL: Ditto.
 450
 451 2005-06-27  Paul D. Smith  <psmith@gnu.org>
 452
 453         * scripts/options/dash-W: Use 'echo >>' instead of touch to update
 454         files.
 455         * scripts/features/reinvoke: Rewrite to be safer on systems with
 456         subsecond timestamps.
 457         * scripts/features/patternrules: False exits with different error
 458         codes on different systems (for example, Linux => 1, Solaris => 255).
 459
 460         * scripts/options/dash-W: Set the timestamp to foo.x in the future,
 461         to be sure it will be considered updated when it's remade.
 462
 463 2005-06-26  Paul D. Smith  <psmith@gnu.org>
 464
 465         * scripts/functions/shell: New test suite for the shell function.
 466
 467 2005-06-25  Paul D. Smith  <psmith@gnu.org>
 468
 469         * scripts/features/include: Test include/-include/sinclude with no
 470         arguments.  Tests fix for Savannah bug #1761.
 471
 472         * scripts/misc/general3: Implement comprehensive testing of
 473         backslash-newline behavior in command scripts: various types of
 474         quoting, fast path / slow path, etc.
 475         Tests fix for Savannah bug #1332.
 476
 477         * scripts/options/symlinks: Test symlinks to non-existent files.
 478         Tests fix for Savannah bug #13280.
 479
 480         * scripts/misc/general3: Test semicolons in variable references.
 481         Tests fix for Savannah bug #1454.
 482
 483         * scripts/variables/MAKE_RESTARTS: New file: test the
 484         MAKE_RESTARTS variable.
 485         * scripts/options/dash-B: Test re-exec doesn't loop infinitely.
 486         Tests fix for Savannah bug #7566.
 487         * scripts/options/dash-W: New file: test the -W flag, including
 488         re-exec infinite looping.
 489
 490 2005-06-12  Paul D. Smith  <psmith@gnu.org>
 491
 492         * scripts/misc/close_stdout: Add a test for Savannah bug #1328.
 493         This test only works on systems that have /dev/full (e.g., Linux).
 494
 495 2005-06-09  Paul D. Smith  <psmith@gnu.org>
 496
 497         * scripts/functions/foreach: Add a test for Savannah bug #11913.
 498
 499 2005-05-31  Boris Kolpackov  <boris@kolpackov.net>
 500
 501         * scripts/features/include: Add a test for Savannah bug #13216.
 502         * scripts/features/patternrules: Add a test for Savannah bug #13218.
 503
 504 2005-05-13  Paul D. Smith  <psmith@gnu.org>
 505
 506         * scripts/features/conditionals: Add tests for the new if... else
 507         if... endif syntax.
 508
 509 2005-05-03  Paul D. Smith  <psmith@gnu.org>
 510
 511         * scripts/variables/DEFAULT_GOAL: Rename DEFAULT_TARGET to
 512         DEFAULT_GOAL.
 513
 514 2005-05-02  Paul D. Smith  <psmith@gnu.org>
 515
 516         * scripts/features/parallelism: Add a test for exporting recursive
 517         variables containing $(shell ) calls.  Rewrite this script to use
 518         run_make_test() everywhere.
 519
 520 2005-04-07  Paul D. Smith  <psmith@gnu.org>
 521
 522         * scripts/targets/SECONDARY: Add a test for Savannah bug #12331.
 523
 524 2005-03-15  Boris Kolpackov  <boris@kolpackov.net>
 525
 526         * scripts/variables/automatic: Add a test for Savannah bug #12320.
 527
 528 2005-03-10  Boris Kolpackov  <boris@kolpackov.net>
 529
 530         * scripts/features/patternrules: Add a test for Savannah bug #12267.
 531
 532 2005-03-09  Boris Kolpackov  <boris@kolpackov.net>
 533
 534         * scripts/variables/DEFAULT_TARGET: Add a test for Savannah
 535         bug #12266.
 536
 537 2005-03-04  Boris Kolpackov  <boris@kolpackov.net>
 538
 539         * scripts/features/patternrules: Add a test for Savannah bug #12202.
 540
 541 2005-03-03  Boris Kolpackov  <boris@kolpackov.net>
 542
 543         * scripts/features/se_implicit: Add a test for stem
 544         termination bug. Add a test for stem triple-expansion bug.
 545
 546         * scripts/features/se_statpat: Add a test for stem
 547         triple-expansion bug.
 548
 549         * scripts/features/statipattrules: Change test #4 to reflect
 550         new way empty prerequisite list is handled.
 551
 552
 553 2005-03-01  Boris Kolpackov  <boris@kolpackov.net>
 554
 555         * scripts/features/statipattrules: Add a test for
 556         Savannah bug #12180.
 557
 558 2005-02-28  Paul D. Smith  <psmith@gnu.org>
 559
 560         * scripts/options/dash-q: Add a test for Savannah bug # 7144.
 561
 562         * scripts/options/symlinks: New file to test checking of symlink
 563         timestamps.  Can't use filename dash-L because it conflicts with
 564         dash-l on case-insensitive filesystems.
 565
 566         * scripts/variables/MAKEFILE_LIST, scripts/variables/MFILE_LIST:
 567         Rename MAKEFILE_LIST test to MFILE_LIST, for systems that need 8.3
 568         unique filenames.
 569
 570 2005-02-28  Boris Kolpackov  <boris@kolpackov.net>
 571
 572         * scripts/variables/DEFAULT_TARGET: Test the .DEFAULT_TARGET
 573         special variable.
 574
 575 2005-02-27  Boris Kolpackov  <boris@kolpackov.net>
 576
 577         * scripts/features/se_explicit: Test the second expansion in
 578         explicit rules.
 579         * scripts/features/se_implicit: Test the second expansion in
 580         implicit rules.
 581         * scripts/features/se_statpat: Test the second expansion in
 582         static pattern rules.
 583         * scripts/variables/automatic: Fix to work with the second
 584         expansion.
 585
 586         * scripts/misc/general4: Add a test for bug #12091.
 587
 588 2005-02-27  Paul D. Smith  <psmith@gnu.org>
 589
 590         * scripts/functions/eval: Check that eval of targets within
 591         command scripts fails.  See Savannah bug # 12124.
 592
 593 2005-02-26  Paul D. Smith  <psmith@gnu.org>
 594
 595         * test_driver.pl (compare_output): If a basic comparison of the
 596         log and answer doesn't match, try harder: change all backslashes
 597         to slashes and all CRLF to LF.  This helps on DOS/Windows systems.
 598
 599 2005-02-09  Paul D. Smith  <psmith@gnu.org>
 600
 601         * scripts/features/recursion: Test command line variable settings:
 602         only one instance of a given variable should be provided.
 603
 604 2004-11-30  Boris Kolpackov  <boris@kolpackov.net>
 605
 606         * tests/scripts/functions/abspath: New file: test `abspath'
 607         built-in function.
 608
 609         * tests/scripts/functions/realpath: New file: test `realpath'
 610         built-in function.
 611
 612 2004-11-28  Paul D. Smith  <psmith@gnu.org>
 613
 614         * scripts/options/dash-C [WINDOWS32]: Add a test for bug #10252;
 615         this doesn't really test anything useful in UNIX but...
 616
 617         * scripts/variables/SHELL: New file: test proper handling of SHELL
 618         according to POSIX rules.  Fixes bug #1276.
 619
 620 2004-10-21  Boris Kolpackov  <boris@kolpackov.net>
 621
 622         * scripts/functions/word: Test $(firstword ) and $(lastword ).
 623
 624 2004-10-05  Boris Kolpackov  <boris@kolpackov.net>
 625
 626         * scripts/features/patspecific_vars: Test simple/recursive
 627         variable expansion.
 628
 629 2004-09-28  Boris Kolpackov  <boris@kolpackov.net>
 630
 631         * scripts/features/include: Test dontcare flag inheritance
 632         when rebuilding makefiles.
 633
 634 2004-09-27  Boris Kolpackov  <boris@kolpackov.net>
 635
 636         * scripts/features/patspecific_vars: Test exported variables.
 637
 638 2004-09-22  Paul D. Smith  <psmith@gnu.org>
 639
 640         * run_make_tests.pl (run_make_test): Don't add newlines to the
 641         makestring or answer if they are completely empty.
 642
 643         * scripts/features/patternrules: Rename from implicit_prereq_eval.
 644
 645         * scripts/test_template: Rework the template.
 646
 647 2004-09-21  Boris Kolpackov  <boris@kolpackov.net>
 648
 649         * run_make_tests.pl: Change `#!/usr/local/bin/perl' to be
 650         `#!/usr/bin/env perl'.
 651
 652         * scripts/features/implicit_prereq_eval: Test implicit rule
 653         prerequisite evaluation code.
 654
 655 2004-09-21  Paul D. Smith  <psmith@gnu.org>
 656
 657         * run_make_tests.pl (run_make_test): Enhance to allow the make
 658         string to be undef: in that case it reuses the previous make
 659         string.  Allows multiple tests on the same makefile.
 660
 661         * scripts/variables/flavors: Add some tests for prefix characters
 662         interacting with define/endef variables.
 663
 664 2004-09-20  Paul D. Smith  <psmith@gnu.org>
 665
 666         * scripts/functions/substitution: Rewrite to use run_make_test()
 667         interface, and add test for substitution failures reported by
 668         Markus Mauhart <qwe123@chello.at>.
 669
 670 2004-03-22  Paul D. Smith  <psmith@gnu.org>
 671
 672         * test_driver.pl (run_each_test, toplevel, compare_output): Change
 673         to track both the testing categories _AND_ the number of
 674         individual tests, and report both sets of numbers.
 675
 676 2004-02-21  Paul D. Smith  <psmith@gnu.org>
 677
 678         * scripts/functions/origin: Set our own environment variable
 679         rather than relying on $HOME.
 680
 681 2004-01-21  Paul D. Smith  <psmith@gnu.org>
 682
 683         * scripts/features/conditionals: Test arguments to ifn?def which
 684         contain whitespace (such as a function that is evaluated).  Bug
 685         #7257.
 686
 687 2004-01-07  Paul D. Smith  <psmith@gnu.org>
 688
 689         * scripts/features/order_only: Test order-only prerequisites in
 690         pattern rules (patch #2349).
 691
 692 2003-11-02  Paul D. Smith  <psmith@gnu.org>
 693
 694         * scripts/functions/if: Test if on conditionals with trailing
 695         whitespace--bug #5798.
 696
 697         * scripts/functions/eval: Test eval in a non-file context--bug #6195.
 698
 699 2003-04-19  Paul D. Smith  <psmith@gnu.org>
 700
 701         * scripts/features/patspecific_vars: Test multiple patterns
 702         matching the same target--Bug #1405.
 703
 704 2003-04-09  Paul D. Smith  <psmith@gnu.org>
 705
 706         * run_make_tests.pl (set_more_defaults): A new $port_type of
 707         'OS/2' for (surprise!) OS/2.  Also choose a wait time of 2 seconds
 708         for OS/2.
 709
 710 2003-03-28  Paul D. Smith  <psmith@gnu.org>
 711
 712         * scripts/targets/SECONDARY: Test the "global" .SECONDARY (with
 713         not prerequisites)--Bug #2515.
 714
 715 2003-01-30  Paul D. Smith  <psmith@gnu.org>
 716
 717         * scripts/features/targetvars: Test very long target-specific
 718         variable definition lines (longer than the default make buffer
 719         length).  Tests patch # 1022.
 720
 721         * scripts/functions/eval: Test very recursive $(eval ...) calls
 722         with simple variable expansion (bug #2238).
 723
 724         * scripts/functions/word: Test error handling for word and
 725         wordlist functions (bug #2407).
 726
 727 2003-01-22  Paul D. Smith  <psmith@gnu.org>
 728
 729         * scripts/functions/call: Test recursive argument masking (bug
 730         #1744).
 731
 732 2002-10-25  Paul D. Smith  <psmith@gnu.org>
 733
 734         * scripts/functions/eval: Test using $(eval ...) inside
 735         conditionals (Bug #1516).
 736
 737 2002-10-14  Paul D. Smith  <psmith@gnu.org>
 738
 739         * scripts/options/dash-t: Add a test for handling -t on targets
 740         with no commands (Bug #1418).
 741
 742 2002-10-13  Paul D. Smith  <psmith@gnu.org>
 743
 744         * scripts/features/targetvars: Add a test for exporting
 745         target-specific vars (Bug #1391).
 746
 747 2002-10-05  Paul D. Smith  <psmith@gnu.org>
 748
 749         * scripts/variables/automatic: Add tests for $$(@), $${@}, $${@D},
 750         and $${@F}.
 751
 752 2002-09-23  Paul D. Smith  <psmith@gnu.org>
 753
 754         * scripts/features/escape: Test handling of escaped comment
 755         characters in targets and prerequisites.
 756
 757 2002-09-18  Paul D. Smith  <psmith@gnu.org>
 758
 759         * scripts/features/export: Test export/unexport of multiple
 760         variables in a single command.
 761
 762 2002-09-17  Paul D. Smith  <psmith@gnu.org>
 763
 764         * scripts/features/targetvars: Tests for Bug #940: test
 765         target-specific and pattern-specific variables in conjunction with
 766         double-colon targets.
 767
 768 2002-09-10  Paul D. Smith  <psmith@gnu.org>
 769
 770         * test_driver.pl (compare_output): Match the new format for time
 771         skew error messages.
 772
 773         * scripts/features/export: Created.  Add tests for export/unexport
 774         capabilities, including exporting/unexporting expanded variables.
 775
 776         * scripts/features/conditionals: Add a test for expanded variables
 777         in ifdef conditionals.
 778
 779 2002-09-04  Paul D. Smith  <psmith@gnu.org>
 780
 781         * scripts/features/reinvoke: Change touch/sleep combos to utouch
 782         invocations.
 783         * scripts/features/vpathgpath: Ditto.
 784         * scripts/features/vpathplus: Ditto.
 785         * scripts/options/dash-n: Ditto.
 786         * scripts/targets/INTERMEDIATE: Ditto.
 787         * scripts/targets/SECONDARY: Ditto.
 788
 789         * scripts/options/dash-t: Added a test for the -t bug fixed by
 790         Henning Makholm.  This test was also contributed by Henning.
 791
 792         * scripts/misc/general4: Add a test suite for obscure algorithmic
 793         features of make.  First test: make sure creation subdirectories
 794         as prerequisites of targets works properly.
 795
 796         * scripts/misc/version: Remove this bogus test.
 797
 798 2002-08-07  Paul D. Smith  <psmith@gnu.org>
 799
 800         * scripts/misc/general3: Add a test for makefiles that don't end
 801         in newlines.
 802
 803         * scripts/variables/special: Create tests for the special
 804         variables (.VARIABLES and .TARGETS).  Comment out .TARGETS test
 805         for now as it's not yet supported.
 806
 807 2002-08-01  Paul D. Smith  <psmith@gnu.org>
 808
 809         * scripts/options/dash-B: Add a test for the new -B option.
 810
 811 2002-07-11  Paul D. Smith  <psmith@gnu.org>
 812
 813         * run_make_tests.pl (valid_option): Add support for Valgrind.  Use
 814         -valgrind option to the test suite.
 815         (set_more_defaults): Set up the file descriptor to capture
 816         Valgrind output.  We have to unset its close-on-exec flag; we
 817         hardcode the value for F_SETFD (2) rather than load it; hopefully
 818         this will help us avoid breaking the Windows/DOS test suite.
 819
 820 2002-07-10  Paul D. Smith  <psmith@gnu.org>
 821
 822         * scripts/variables/automatic: Add some tests for $$@, $$(@D), and
 823         $$(@F).
 824
 825         * test_driver.pl (utouch): Create a new function that creates a
 826         file with a specific timestamp offset.  Use of this function will
 827         let us avoid lots of annoying sleep() invocations in the tests
 828         just to get proper timestamping, which will make the tests run a
 829         lot faster.  So far it's only used in the automatic test suite.
 830
 831 2002-07-09  Paul D. Smith  <psmith@gnu.org>
 832
 833         * scripts/variables/automatic: Create a test for automatic variables.
 834
 835 2002-07-08  Paul D. Smith  <psmith@gnu.org>
 836
 837         * scripts/features/order_only: Test new order-only prerequisites.
 838
 839 2002-07-07  Paul D. Smith  <psmith@gnu.org>
 840
 841         * scripts/functions/eval: Test new function.
 842         * scripts/functions/value: Test new function.
 843         * scripts/variables/MAKEFILE_LIST: Test new variable.
 844
 845 2002-04-28  Paul D. Smith  <psmith@gnu.org>
 846
 847         * scripts/functions/call: New test: transitive closure
 848         implementation using $(call ...) to test variable recursion.
 849
 850 2002-04-21  Paul D. Smith  <psmith@gnu.org>
 851
 852         * test_driver.pl (compare_dir_tree): Ignore CVS and RCS
 853         directories in the script directories.
 854
 855 2001-05-02  Paul D. Smith  <psmith@gnu.org>
 856
 857         * scripts/variables/flavors: Test define/endef scripts where only
 858         one of the command lines is quiet.
 859
 860 2000-06-22  Paul D. Smith  <psmith@gnu.org>
 861
 862         * scripts/options/dash-q: New file; test the -q option.  Includes
 863         a test for PR/1780.
 864
 865 2000-06-21  Paul D. Smith  <psmith@gnu.org>
 866
 867         * scripts/features/targetvars: Added a test for PR/1709: allowing
 868         semicolons in target-specific variable values.
 869
 870 2000-06-19  Paul D. Smith  <psmith@gnu.org>
 871
 872         * scripts/functions/addsuffix: Test for an empty final argument.
 873         Actually this bug might have happened for any function, but this
 874         one was handy.
 875
 876 2000-06-17  Eli Zaretskii  <eliz@is.elta.co.il>
 877
 878         * scripts/options/general: If parallel jobs are not supported,
 879         expect a warning message from Make.
 880
 881 2000-06-15  Eli Zaretskii  <eliz@is.elta.co.il>
 882
 883         * scripts/options/general: Don't try -jN with N != 1 if parallel
 884         jobs are not supported.
 885
 886 2000-05-24  Paul D. Smith  <psmith@gnu.org>
 887
 888         * scripts/options/general: Test general option processing (PR/1716).
 889
 890 2000-04-11  Paul D. Smith  <psmith@gnu.org>
 891
 892         * scripts/functions/strip: Test empty value to strip (PR/1689).
 893
 894 2000-04-08  Eli Zaretskii  <eliz@is.elta.co.il>
 895
 896         * scripts/features/reinvoke: Sleep before updating the target
 897         files in the first test, to ensure its time stamp really gets
 898         newer; otherwise Make might re-exec more than once.
 899
 900 2000-04-07  Eli Zaretskii  <eliz@is.elta.co.il>
 901
 902         * scripts/features/double_colon: Don't run the parallel tests if
 903         parallel jobs aren't supported.
 904
 905 2000-04-04  Paul D. Smith  <psmith@gnu.org>
 906
 907         * scripts/functions/word: wordlist doesn't swap arguments anymore.
 908
 909 2000-03-27  Paul D. Smith  <psmith@gnu.org>
 910
 911         * scripts/features/statipattrules: Test that static pattern rules
 912         whose prerequisite patterns resolve to empty strings throw an
 913         error (instead of dumping core).  Fixes PR/1670.
 914
 915         * scripts/features/reinvoke: Make more robust by touching "b"
 916         first, to ensure it's not newer than "a".
 917         Reported by Marco Franzen <Marco.Franzen@Thyron.com>.
 918         * scripts/options/dash-n: Ditto.
 919
 920         * scripts/functions/call: Whoops.  The fix to PR/1527 caused
 921         recursive invocations of $(call ...) to break.  I can't come up
 922         with any way to get both working at the same time, so I backed out
 923         the fix to 1527 and added a test case for recursive calls.  This
 924         also tests the fix for PR/1610.
 925
 926         * scripts/features/double_colon: Test that circular dependencies
 927         in double-colon rule sets are detected correctly (PR/1671).
 928
 929 2000-03-26  Paul D. Smith  <psmith@gnu.org>
 930
 931         * scripts/targets/INTERMEDIATE: Test that make doesn't remove
 932         .INTERMEDIATE files when given on the command line (PR/1669).
 933
 934 2000-03-08  Paul D. Smith  <psmith@gnu.org>
 935
 936         * scripts/options/dash-k: Add a test for error detection by
 937         multiple targets depending on the same prerequisite with -k.
 938         For PR/1634.
 939
 940 2000-02-07  Paul D. Smith  <psmith@gnu.org>
 941
 942         * scripts/features/escape: Add a test for backslash-escaped spaces
 943         in a target name (PR/1586).
 944
 945 2000-02-04  Paul D. Smith  <psmith@gnu.org>
 946
 947         * scripts/features/patspecific_vars: Add a test for pattern-specific
 948         target variables inherited from the parent target (PR/1407).
 949
 950 2000-02-02  Paul D. Smith  <psmith@gnu.org>
 951
 952         * run_make_tests.pl (set_more_defaults): Hard-code the LANG to C
 953         to make sure sorting order, etc. is predictable.
 954         Reported by Andreas Jaeger <aj@suse.de>.
 955
 956         * run_make_tests.pl (set_more_defaults): Set the $wtime variable
 957         depending on the OS.  Eli Zaretskii <eliz@is.elta.co.il> reports
 958         this seems to need to be *4* on DOS/Windows, not just 2.  Keep it
 959         1 for other systems.
 960         * scripts/features/vpathplus (touchfiles): Use the $wtime value
 961         instead of hardcoding 2.
 962         * scripts/targets/SECONDARY: Ditto.
 963         * scripts/targets/INTERMEDIATE: Ditto.
 964
 965 2000-01-27  Paul D. Smith  <psmith@gnu.org>
 966
 967         * test_driver.pl (toplevel): Don't try to run test scripts which
 968         are really directories.
 969
 970 2000-01-23  Paul D. Smith  <psmith@gnu.org>
 971
 972         * scripts/features/include: Remove a check; the fix caused more
 973         problems than the error, so I removed it and removed the test for
 974         it.
 975
 976 2000-01-11  Paul D. Smith  <psmith@gnu.org>
 977
 978         * scripts/functions/call: Add a test for PR/1517 and PR/1527: make
 979         sure $(call ...) doesn't eval its arguments and that you can
 980         invoke foreach from it without looping forever.
 981
 982 1999-12-15  Paul D. Smith  <psmith@gnu.org>
 983
 984         * scripts/targets/INTERMEDIATE: Add a test for PR/1423: make sure
 985         .INTERMEDIATE settings on files don't disable them as implicit
 986         intermediate possibilities.
 987
 988 1999-12-01  Paul D. Smith  <psmith@gnu.org>
 989
 990         * scripts/features/double_colon: Add a test for PR/1476: Try
 991         double-colon rules as non-goal targets and during parallel builds
 992         to make sure they're handled serially.
 993
 994 1999-11-17  Paul D. Smith  <psmith@gnu.org>
 995
 996         * scripts/functions/if: Add a test for PR/1429: put some text
 997         after an if-statement to make sure it works.
 998
 999         * scripts/features/targetvars: Add a test for PR/1380: handling +=
1000         in target-specific variable definitions correctly.
1001
1002 1999-10-15  Paul D. Smith  <psmith@gnu.org>
1003
1004         * scripts/variables/MAKEFILES: This was really broken: it didn't
1005         test anything at all, really.  Rewrote it, plus added a test for
1006         PR/1394.
1007
1008 1999-10-13  Paul D. Smith  <psmith@gnu.org>
1009
1010         * scripts/options/dash-n: Add a test for PR/1379: "-n doesn't
1011         behave properly when used with recursive targets".
1012
1013 1999-10-08  Paul D. Smith  <psmith@gnu.org>
1014
1015         * scripts/features/targetvars: Add a check for PR/1378:
1016         "Target-specific vars don't inherit correctly"
1017
1018 1999-09-29  Paul D. Smith  <psmith@gnu.org>
1019
1020         * test_driver.pl (get_osname): Change $fancy_file_names to
1021         $short_filenames and reverse the logic.
1022         (run_each_test): Change test of non-existent $port_host to use
1023         $short_filenames--problem reported by Eli Zaretskii.
1024
1025 1999-09-23  Paul D. Smith  <psmith@gnu.org>
1026
1027         * scripts/features/parallelism: Add a check to ensure that the
1028         jobserver works when we re-invoke.  Also cleaned up the tests a
1029         little, reducing the number of rules we use so the test won't need
1030         as many "sleep" commands.
1031
1032 1999-09-16  Paul D. Smith  <psmith@gnu.org>
1033
1034         * scripts/features/reinvoke: Remove invocations of "touch" in
1035         makefiles.  See the comments on the touch function rewrite below.
1036         Note that UNIX touch behaves the same way if the file already
1037         exists: it sets the time to the _local_ time.  We don't want
1038         this.  This is probably a good tip for makefile writers in
1039         general, actually... where practical.
1040         * scripts/options/dash-l: Ditto.
1041         * scripts/options/dash-n: Ditto.
1042
1043         * test_driver.pl (run_each_test): In retrospect, I don't like the
1044         .lN/.bN/.dN postfix required by DOS.  So, for non-DOS systems I
1045         changed it back to use .log, .base, and .diff.
1046
1047         * run_make_tests.pl (set_more_defaults): Move the check for the
1048         make pathname to here from set_defaults (that's too early since it
1049         happens before the command line processing).
1050         Create a new variable $port_type, calculated from $osname, to
1051         specify what kind of system we're running on.  We should integrate
1052         the VOS stuff here, too.
1053         (valid_option): Comment out the workdir/-work stuff so people
1054         won't be fooled into thinking it works... someone needs to fix
1055         this, though!
1056
1057         * scripts/functions/origin: Use $port_type instead of $osname.
1058         * scripts/functions/foreach: Ditto.
1059         * scripts/features/default_names: Ditto.
1060
1061 1999-09-15  Paul D. Smith  <psmith@gnu.org>
1062
1063         * test_driver.pl (touch): Rewrite this function.  Previously it
1064         used to use utime() to hard-set the time based on the current
1065         local clock, or, if the file didn't exist, it merely created it.
1066         This mirrors exactly what real UNIX touch does, but it fails badly
1067         on networked filesystems where the FS server clock is skewed from
1068         the local clock: normally modifying a file causes it to get a mod
1069         time based on the _server's_ clock.  Hard-setting it based on the
1070         _local_ clock causes gratuitous errors and makes the tests
1071         unreliable except on local filesystems.  The new function will
1072         simply modify the file, allowing the filesystem to set the mod
1073         time as it sees fit.
1074
1075         * scripts/features/parallelism: The second test output could
1076         change depending on how fast some scripts completed; use "sleep"
1077         to force the order we want.
1078
1079         * test_driver.pl (toplevel): A bug in Perl 5.000 to Perl 5.004
1080         means that "%ENV = ();" doesn't do the right thing.  This worked
1081         in Perl 4 and was fixed in Perl 5.004_01, but use a loop to delete
1082         the environment rather than require specific versions.
1083
1084         * run_make_tests.pl (set_more_defaults): Don't use Perl 5 s///
1085         modifier "s", so the tests will run with Perl 4.
1086         (set_more_defaults): Set $pure_log to empty if there's no -logfile
1087         option in PURIFYOPTIONS.
1088         (setup_for_test): Don't remove any logs unless $pure_log is set.
1089
1090 1999-09-15  Eli Zaretskii  <eliz@is.elta.co.il>
1091
1092         * scripts/features/reinvoke: Put the SHELL definition in the right
1093         test makefile.
1094
1095 1999-09-15  Paul D. Smith  <psmith@gnu.org>
1096
1097         ChangeLog file for the test suite created.
1098 \f
1099
1100 Copyright (C) 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999, 2000, 2001,
1101 2002, 2003, 2004, 2005, 2006, 2007, 2008, 2009 Free Software Foundation, Inc.
1102 This file is part of GNU Make.
1103
1104 GNU Make is free software; you can redistribute it and/or modify it under the
1105 terms of the GNU General Public License as published by the Free Software
1106 Foundation; either version 3 of the License, or (at your option) any later
1107 version.
1108
1109 GNU Make is distributed in the hope that it will be useful, but WITHOUT ANY
1110 WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR
1111 A PARTICULAR PURPOSE.  See the GNU General Public License for more details.
1112
1113 You should have received a copy of the GNU General Public License along with
1114 this program.  If not, see <http://www.gnu.org/licenses/>.