tests/ChangeLog

   1 2010-08-13  Paul Smith  <psmith@gnu.org>
   2
   3         * scripts/features/archives: New regression tests for archive
   4         support.  Test for fix to Savannah bug #30612.
   5
   6         * run_make_tests.pl (set_more_defaults): Set a %FEATURES hash to
   7         the features available in $(.FEATURES).
   8
   9 2010-08-10  Paul Smith  <psmith@gnu.org>
  10
  11         * scripts/features/reinvoke: Ensure command line variable settings
  12         are preserved across make re-exec.  Tests Savannah bug #30723.
  13
  14 2010-07-28  Paul Smith  <psmith@gnu.org>
  15
  16         * scripts/targets/POSIX: Compatibility issues with Solaris (and
  17         Tru64?); "false" returns different exit codes, and set -x shows
  18         output with extra whitespace.  Run the commands by hand first to
  19         find out what the real shell would do, then compare what make does.
  20         * scripts/variables/SHELL: Ditto.
  21
  22 2010-07-12  Paul Smith  <psmith@gnu.org>
  23
  24         * test_driver.pl: Add a new $perl_name containing the path to Perl.
  25         * run_make_tests.pl (run_make_test): Replace the special string
  26         #PERL# in a makefile etc. with the path the Perl executable so
  27         makefiles can use it.
  28
  29         * scripts/targets/ONESHELL: Add a new set of regression tests for
  30         the .ONESHELL feature.
  31
  32 2010-07-06  Paul Smith  <psmith@gnu.org>
  33
  34         * scripts/variables/SHELL: Test the new .SHELLFLAGS variable.
  35
  36         * scripts/targets/POSIX: New file.  Test the .POSIX special target.
  37         Verify that enabling .POSIX changes the shell flags to set -e.
  38
  39 2010-07-01  Paul Smith  <psmith@gnu.org>
  40
  41         * scripts/features/recursion: Add a space to separate command-line
  42         args.  Fixes Savannah bug #29968.
  43
  44 2009-11-12  Boris Kolpackov  <boris@codesynthesis.com>
  45
  46         * scripts/features/vpath3: Test for the new library search
  47         behavior.
  48
  49 2009-10-06  Boris Kolpackov  <boris@codesynthesis.com>
  50
  51         * scripts/features/se_explicit: Enable the test for now fixed
  52         Savannah bug 25780.
  53
  54 2009-10-06  Boris Kolpackov  <boris@codesynthesis.com>
  55
  56         * scripts/variables/undefine: Tests for the new undefine feature.
  57
  58 2009-10-03  Paul Smith  <psmith@gnu.org>
  59
  60         * scripts/features/parallelism: Test for open Savannah bug #26846.
  61
  62         * scripts/variables/MAKE: Rewrite for new run_make_test() format.
  63
  64         * scripts/variables/MAKEFLAGS: Created.
  65         Add test for Savannah bug #2216 (still open).
  66
  67         * scripts/features/include: Test for Savannah bug #102 (still open).
  68
  69 2009-09-30  Boris Kolpackov  <boris@codesynthesis.com>
  70
  71         * scripts/features/include: Add diagnostics issuing tests for
  72         cases where targets have been updated and failed with the
  73         dontcare flag. Savannah bugs #15110, #25493, #12686, #17740.
  74
  75 2009-09-28  Paul Smith  <psmith@gnu.org>
  76
  77         * scripts/functions/shell: Add regression test for Savannah bug
  78         #20513 (still open).
  79
  80         * scripts/features/se_explicit: Add regression tests for Savannah
  81         bug #25780 (still open).
  82
  83         * run_make_tests.pl (valid_option): Add a new flag, -all([-_]?tests)?
  84         that runs tests we know will fail.  This allows us to add
  85         regression tests to the test suite for bugs that haven't been
  86         fixed yet.
  87
  88 2009-09-28  Boris Kolpackov  <boris@codesynthesis.com>
  89
  90         * scripts/features/patspecific_vars: Add a test for the shortest
  91         stem first order.
  92
  93         * scripts/features/patternrules: Add a test for the shortest stem
  94         first order.
  95
  96 2009-09-24  Paul Smith  <psmith@gnu.org>
  97
  98         * scripts/features/se_implicit: Add a test for order-only
  99         secondary expansion prerequisites.
 100
 101 2009-09-23  Paul Smith  <psmith@gnu.org>
 102
 103         * scripts/features/patternrules: Test that we can remove pattern
 104         rules, both single and multiple prerequisites.  Savannah bug #18622.
 105
 106         * scripts/features/echoing: Rework for run_make_test().
 107
 108 2009-06-14  Paul Smith  <psmith@gnu.org>
 109
 110         * scripts/features/vpath: Verify we don't get bogus circular
 111         dependency warnings if we choose a different file via vpath during
 112         update.  Savannah bug #13529.
 113
 114 2009-06-13  Paul Smith  <psmith@gnu.org>
 115
 116         * scripts/variables/MAKEFILES: Verify that MAKEFILES included
 117         files (and files included by them) don't set the default goal.
 118         Savannah bug #13401.
 119
 120         * scripts/functions/wildcard: Test that wildcards with
 121         non-existent glob matchers return empty.
 122
 123 2009-06-09  Paul Smith  <psmith@gnu.org>
 124
 125         * scripts/options/dash-B: Test the $? works correctly with -B.
 126         Savannah bug #17825.
 127
 128         * scripts/features/patternrules: Test that dependencies of
 129         "also_make" targets are created properly.  Savannah bug #19108.
 130
 131         * test_driver.pl (compare_output): Create a "run" file for failed
 132         tests containing the command that was run.
 133         (get_runfile): New function.
 134
 135         * run_make_tests.pl (valid_option): Enhanced support for valgrind:
 136         allow memcheck and massif tools.
 137
 138         * scripts/features/patternrules: Have to comment out a line in the
 139         first test due to backing out a change that broke the implicit
 140         rule search algorithm.  Savannah bug #17752.
 141         * scripts/misc/general4: Remove a test that is redundant with
 142         patternrules.
 143
 144         * scripts/features/parallelism: Add a test for re-exec with
 145         jobserver master override.  Savannah bug #18124.
 146
 147 2009-06-08  Paul Smith  <psmith@gnu.org>
 148
 149         * scripts/features/targetvars: Add a test for continued target
 150         vars after a semicolon.  Savannah bug #17521.
 151
 152 2009-06-07  Paul Smith  <psmith@gnu.org>
 153
 154         * scripts/features/se_explicit: Make sure we catch defining
 155         prereqs during snap_deps().  Savannah bug #24622.
 156
 157         * scripts/variables/automatic: Check prereq ordering when the
 158         target with the recipe has no prereqs.  Savannah bug #21198.
 159
 160         * scripts/variables/LIBPATTERNS: Add a new set of test for
 161         $(.LIBPATTERNS) (previously untested!)
 162
 163 2009-06-04  Paul Smith  <psmith@gnu.org>
 164
 165         * scripts/variables/SHELL: The export target-specific SHELL test
 166         has an incorrect known-good-value.
 167
 168         * scripts/misc/general4: Check for whitespace (ffeed, vtab, etc.)
 169
 170         * scripts/features/se_explicit: Add tests for Savannah bug #24588.
 171
 172 2009-05-31  Paul Smith  <psmith@gnu.org>
 173
 174         * scripts/variables/DEFAULT_GOAL: Add tests for Savannah bug #25697.
 175
 176         * scripts/features/targetvars: Add tests of overrides for Savannah
 177         bug #26207.
 178         * scripts/features/patspecific_vars: Ditto.
 179
 180         * scripts/features/patternrules: Add a test for Savannah bug #26593.
 181
 182 2009-05-30  Paul Smith  <psmith@gnu.org>
 183
 184         * scripts/variables/flavors: Update with new variable flavor tests.
 185         * scripts/variables/define: Create a new set of tests for
 186         define/endef and move those aspects of the flavors suite here.
 187
 188 2009-05-25  Paul Smith  <psmith@gnu.org>
 189
 190         * scripts/features/targetvars: Ditto.
 191
 192         * scripts/features/export: Test new variable parsing abilities.
 193
 194 2009-02-23  Ramon Garcia  <ramon.garcia.f@gmail.com>
 195
 196         * scripts/variables/private: Create a new suite of tests for 'private'.
 197
 198 2007-11-04  Paul Smith  <psmith@gnu.org>
 199
 200         * scripts/functions/eval: Update error message for command -> recipe.
 201
 202         * test_driver.pl (compare_output): Allow the answer to be a regex,
 203         if surrounded by '/'.
 204         * scripts/misc/close_stdout: Use a regex for the answer, since
 205         sometimes the error will have a description and sometimes it won't.
 206
 207 2007-09-10  Paul Smith  <psmith@gnu.org>
 208
 209         * scripts/variables/special: Add tests for .RECIPEPREFIX variable.
 210
 211 2007-08-15  Paul Smith  <psmith@gnu.org>
 212
 213         These test cases were contributed by
 214         Icarus Sparry <savannah@icarus.freeuk.com> and J. David Bryan for
 215         Savannah bugs #3330 and #15919.
 216
 217         * scripts/targets/SECONDARY: Add tests for Savannah bugs 3330 and
 218         15919.
 219
 220         * scripts/features/parallelism: Add tests for wrong answer/hang
 221         combining INTERMEDIATE, order-only prereqs, and parallelism.
 222         See Savannah bugs 3330 and 15919.
 223
 224 2007-07-13  Paul Smith  <psmith@gnu.org>
 225
 226         Install a timeout so tests can never loop infinitely.
 227         Original idea and patch for a single-test version provided by
 228         Icarus Sparry <savannah@icarus.freeuk.com>
 229
 230         * test_driver.pl (_run_command): New function: this is called by
 231         other functions to actually run a command.  Before we run it,
 232         install a SIGALRM handler and set up a timer to go off in the
 233         future (default is 5s; this can be overridden by individual tests).
 234         (run_command): Call it.
 235         (run_command_with_output): Call it.
 236
 237         * run_make_tests.pl (run_make_with_options): Override the default
 238         timeout if the caller requests it.
 239         (run_make_test): Pass any timeout override to run_make_with_options.
 240
 241         * scripts/features/parallelism: Increase the timeout for long tests.
 242         * scripts/options/dash-l: Ditto.
 243
 244 2006-10-01  Paul Smith  <psmith@paulandlesley.org>
 245
 246         * run_make_tests.pl (set_more_defaults): Remove setting of LANG in
 247         ENV here.  This doesn't always work.
 248         * test_driver.pl (toplevel): Set LC_ALL to 'C' in the make
 249         environment.  Fixes Savannah bug #16698.
 250
 251 2006-09-30  Paul Smith  <psmith@paulandlesley.org>
 252
 253         * scripts/variables/automatic: Add back the test for bug #8154.
 254
 255 2006-04-01  Paul D. Smith  <psmith@gnu.org>
 256
 257         * scripts/functions/realpath: Don't run tests with multiple
 258         initial slashes on Windows: those paths mean something different.
 259
 260 2006-03-19  Paul D. Smith  <psmith@gnu.org>
 261
 262         * scripts/features/parallelism: Test that the jobserver is
 263         properly managed when we have to re-exec the master instance of
 264         make.
 265
 266 2006-03-17  Boris Kolpackov  <boris@kolpackov.net>
 267
 268         * scripts/features/statipattrules: Add tests for bug #16053.
 269
 270 2006-03-09  Paul Smith  <psmith@gnu.org>
 271
 272         * scripts/features/escape: Use "pre:" not "p:" to avoid conflicts
 273         with DOS drive letters.  Fixes Savannah bug #15947.
 274
 275         * test_driver.pl (run_each_test): Set the status properly even
 276         when a test fails to execute.  Fixes Savannah bug #15942.
 277
 278         * scripts/functions/foreach: Use a different environment variable
 279         other than PATH to avoid differences with Windows platforms.
 280         Fixes Savannah bug #15938.
 281
 282 2006-03-05  Paul D. Smith  <psmith@gnu.org>
 283
 284         * run_make_tests.pl (set_more_defaults): Add CYGWIN_NT as a port
 285         type W32.  Fixed Savannah bug #15937.
 286
 287         * scripts/features/default_names: Don't call error() when the test
 288         fails.  Fixes Savannah bug #15941.
 289
 290 2006-02-17  Paul D. Smith  <psmith@gnu.org>
 291
 292         * scripts/features/targetvars: Test a complex construction which
 293         guarantees that we have to merge variable lists of different
 294         sizes.  Tests for Savannah bug #15757.
 295
 296 2006-02-15  Paul D. Smith  <psmith@gnu.org>
 297
 298         * scripts/functions/error: Make sure filename/lineno information
 299         is related to where the error is expanded, not where it's set.
 300         * scripts/functions/warning: Ditto.
 301         * scripts/functions/foreach: Check for different error conditions.
 302         * scripts/functions/word: Ditto.
 303         * scripts/variables/negative: Test some variable reference failure
 304         conditions.
 305         * scripts/options/warn-undefined-variables: Test the
 306         --warn-undefined-variables flag.
 307
 308 2006-02-09  Paul D. Smith  <psmith@gnu.org>
 309
 310         * run_make_tests.pl (set_more_defaults): Update valgrind support
 311         for newer versions.
 312         * test_driver.pl (toplevel): Skip all hidden files/directories (ones
 313         beginning with ".").
 314
 315         * scripts/functions/andor: Tests for $(and ..) and $(or ...)
 316         functions.
 317
 318 2006-02-08  Boris Kolpackov  <boris@kolpackov.net>
 319
 320         * scripts/features/parallelism: Add a test for bug #15641.
 321
 322 2006-02-06  Paul D. Smith  <psmith@gnu.org>
 323
 324         * scripts/options/dash-W: Add a test for bug #15341.
 325
 326 2006-01-03  Paul D. Smith  <psmith@gnu.org>
 327
 328         * scripts/variables/automatic: Add a test for bug #8154.
 329
 330         * README: Update to reflect the current state of the test suite.
 331
 332 2005-12-12  Paul D. Smith  <psmith@gnu.org>
 333
 334         * scripts/features/parallelism, scripts/functions/wildcard,
 335         scripts/targets/FORCE, scripts/targets/PHONY,
 336         scripts/targets/SILENT: Use the default setting for
 337         $delete_command.  Fixes bug #15085.
 338
 339         * run_make_tests.pl (get_this_pwd) [VMS]: Use -no_ask with delete_file.
 340
 341 2005-12-11  Paul D. Smith  <psmith@gnu.org>
 342
 343         * scripts/misc/general4: Test implicit rules with '$' in the
 344         prereq list & prereq patterns.
 345         * scripts/features/se_implicit: Add in .SECONDEXPANSION settings.
 346
 347 2005-12-09  Boris Kolpackov  <boris@kolpackov.net>
 348
 349         * scripts/features/patternrules: Add a test for bug #13022.
 350
 351 2005-12-07  Boris Kolpackov  <boris@kolpackov.net>
 352
 353         * scripts/features/double_colon: Add a test for bug #14334.
 354
 355 2005-11-17  Boris Kolpackov  <boris@kolpackov.net>
 356
 357         * scripts/functions/flavor: Add a test for the flavor function.
 358
 359 2005-11-14  Boris Kolpackov  <boris@kolpackov.net>
 360
 361         * scripts/variables/INCLUDE_DIRS: Add a test for the .INCLUDE_DIRS
 362         special variable.
 363
 364 2005-10-24  Paul D. Smith  <psmith@gnu.org>
 365
 366         * scripts/misc/general4: Test '$$' in prerequisites list.
 367         * scripts/features/statipattrules: Rewrite to use run_make_test().
 368         Add various static pattern info.
 369         * scripts/features/se_statpat: Enable .SECONDEXPANSION target.
 370         * scripts/features/se_explicit: Add tests for handling '$$' in
 371         prerequisite lists with and without setting .SECONDEXPANSION.
 372         * scripts/features/order_only: Convert to run_make_test().
 373         * run_make_tests.pl (set_more_defaults): If we can't get the value
 374         of $(MAKE) from make, then fatal immediately.
 375
 376 2005-08-31  Paul D. Smith  <psmith@gnu.org>
 377
 378         * run_make_tests.pl (get_this_pwd): Require the POSIX module (in
 379         an eval to trap errors) and if it exists, use POSIX::getcwd to
 380         find the working directory.  If it doesn't exist, go back to the
 381         previous methods.  This tries to be more accurate on Windows
 382         systems.
 383
 384 2005-08-29  Paul D. Smith  <psmith@gnu.org>
 385
 386         * scripts/functions/abspath: Add some text to the error messages
 387         to get a better idea of what's wrong.  Make warnings instead of
 388         errors.
 389
 390         * scripts/features/patspecific_vars: Don't use "test", which is
 391         UNIX specific.  Print the values and let the test script match
 392         them.
 393
 394 2005-08-25  Paul Smith  <psmith@gnu.org>
 395
 396         * scripts/variables/SHELL: Use a /./ prefix instead of //: the
 397         former works better with non-UNIX environments.  Fixes Savannah
 398         bug #14129.
 399
 400 2005-08-13  Boris Kolpackov  <boris@kolpackov.net>
 401
 402         * scripts/functions/wildcard: Wrap calls to $(wildcard ) with
 403         $(sort) so that the resulting order is no longer filesystem-
 404         dependant.
 405
 406 2005-08-10  Boris Kolpackov  <boris@kolpackov.net>
 407
 408         * scripts/features/statipattrules: Add a test for Savannah bug #13881.
 409
 410 2005-08-07  Paul D. Smith  <psmith@gnu.org>
 411
 412         * scripts/features/parallelism: Add a test for a bug reported by
 413         Michael Matz (matz@suse.de) in which make exits without waiting
 414         for all its children in some situations during parallel builds.
 415
 416 2005-07-08  Paul D. Smith  <psmith@gnu.org>
 417
 418         * test_driver.pl: Reset the environment to a clean value every
 419         time before we invoke make.  I'm suspicious that the environment
 420         isn't handled the same way in Windows as it is in UNIX, and some
 421         variables are leaking out beyond the tests they are intended for.
 422         Create an %extraENV hash tests can set to add more env. vars.
 423         * tests/scripts/features/export: Change to use %extraENV.
 424         * tests/scripts/functions/eval: Ditto.
 425         * tests/scripts/functions/origin: Ditto.
 426         * tests/scripts/options/dash-e: Ditto.
 427         * tests/scripts/variables/SHELL: Ditto.
 428
 429 2005-06-27  Paul D. Smith  <psmith@gnu.org>
 430
 431         * scripts/options/dash-W: Use 'echo >>' instead of touch to update
 432         files.
 433         * scripts/features/reinvoke: Rewrite to be safer on systems with
 434         subsecond timestamps.
 435         * scripts/features/patternrules: False exits with different error
 436         codes on different systems (for example, Linux => 1, Solaris => 255).
 437
 438         * scripts/options/dash-W: Set the timestamp to foo.x in the future,
 439         to be sure it will be considered updated when it's remade.
 440
 441 2005-06-26  Paul D. Smith  <psmith@gnu.org>
 442
 443         * scripts/functions/shell: New test suite for the shell function.
 444
 445 2005-06-25  Paul D. Smith  <psmith@gnu.org>
 446
 447         * scripts/features/include: Test include/-include/sinclude with no
 448         arguments.  Tests fix for Savannah bug #1761.
 449
 450         * scripts/misc/general3: Implement comprehensive testing of
 451         backslash-newline behavior in command scripts: various types of
 452         quoting, fast path / slow path, etc.
 453         Tests fix for Savannah bug #1332.
 454
 455         * scripts/options/symlinks: Test symlinks to non-existent files.
 456         Tests fix for Savannah bug #13280.
 457
 458         * scripts/misc/general3: Test semicolons in variable references.
 459         Tests fix for Savannah bug #1454.
 460
 461         * scripts/variables/MAKE_RESTARTS: New file: test the
 462         MAKE_RESTARTS variable.
 463         * scripts/options/dash-B: Test re-exec doesn't loop infinitely.
 464         Tests fix for Savannah bug #7566.
 465         * scripts/options/dash-W: New file: test the -W flag, including
 466         re-exec infinite looping.
 467
 468 2005-06-12  Paul D. Smith  <psmith@gnu.org>
 469
 470         * scripts/misc/close_stdout: Add a test for Savannah bug #1328.
 471         This test only works on systems that have /dev/full (e.g., Linux).
 472
 473 2005-06-09  Paul D. Smith  <psmith@gnu.org>
 474
 475         * scripts/functions/foreach: Add a test for Savannah bug #11913.
 476
 477 2005-05-31  Boris Kolpackov  <boris@kolpackov.net>
 478
 479         * scripts/features/include: Add a test for Savannah bug #13216.
 480         * scripts/features/patternrules: Add a test for Savannah bug #13218.
 481
 482 2005-05-13  Paul D. Smith  <psmith@gnu.org>
 483
 484         * scripts/features/conditionals: Add tests for the new if... else
 485         if... endif syntax.
 486
 487 2005-05-03  Paul D. Smith  <psmith@gnu.org>
 488
 489         * scripts/variables/DEFAULT_GOAL: Rename DEFAULT_TARGET to
 490         DEFAULT_GOAL.
 491
 492 2005-05-02  Paul D. Smith  <psmith@gnu.org>
 493
 494         * scripts/features/parallelism: Add a test for exporting recursive
 495         variables containing $(shell ) calls.  Rewrite this script to use
 496         run_make_test() everywhere.
 497
 498 2005-04-07  Paul D. Smith  <psmith@gnu.org>
 499
 500         * scripts/targets/SECONDARY: Add a test for Savannah bug #12331.
 501
 502 2005-03-15  Boris Kolpackov  <boris@kolpackov.net>
 503
 504         * scripts/variables/automatic: Add a test for Savannah bug #12320.
 505
 506 2005-03-10  Boris Kolpackov  <boris@kolpackov.net>
 507
 508         * scripts/features/patternrules: Add a test for Savannah bug #12267.
 509
 510 2005-03-09  Boris Kolpackov  <boris@kolpackov.net>
 511
 512         * scripts/variables/DEFAULT_TARGET: Add a test for Savannah
 513         bug #12266.
 514
 515 2005-03-04  Boris Kolpackov  <boris@kolpackov.net>
 516
 517         * scripts/features/patternrules: Add a test for Savannah bug #12202.
 518
 519 2005-03-03  Boris Kolpackov  <boris@kolpackov.net>
 520
 521         * scripts/features/se_implicit: Add a test for stem
 522         termination bug. Add a test for stem triple-expansion bug.
 523
 524         * scripts/features/se_statpat: Add a test for stem
 525         triple-expansion bug.
 526
 527         * scripts/features/statipattrules: Change test #4 to reflect
 528         new way empty prerequisite list is handled.
 529
 530
 531 2005-03-01  Boris Kolpackov  <boris@kolpackov.net>
 532
 533         * scripts/features/statipattrules: Add a test for
 534         Savannah bug #12180.
 535
 536 2005-02-28  Paul D. Smith  <psmith@gnu.org>
 537
 538         * scripts/options/dash-q: Add a test for Savannah bug # 7144.
 539
 540         * scripts/options/symlinks: New file to test checking of symlink
 541         timestamps.  Can't use filename dash-L because it conflicts with
 542         dash-l on case-insensitive filesystems.
 543
 544         * scripts/variables/MAKEFILE_LIST, scripts/variables/MFILE_LIST:
 545         Rename MAKEFILE_LIST test to MFILE_LIST, for systems that need 8.3
 546         unique filenames.
 547
 548 2005-02-28  Boris Kolpackov  <boris@kolpackov.net>
 549
 550         * scripts/variables/DEFAULT_TARGET: Test the .DEFAULT_TARGET
 551         special variable.
 552
 553 2005-02-27  Boris Kolpackov  <boris@kolpackov.net>
 554
 555         * scripts/features/se_explicit: Test the second expansion in
 556         explicit rules.
 557         * scripts/features/se_implicit: Test the second expansion in
 558         implicit rules.
 559         * scripts/features/se_statpat: Test the second expansion in
 560         static pattern rules.
 561         * scripts/variables/automatic: Fix to work with the second
 562         expansion.
 563
 564         * scripts/misc/general4: Add a test for bug #12091.
 565
 566 2005-02-27  Paul D. Smith  <psmith@gnu.org>
 567
 568         * scripts/functions/eval: Check that eval of targets within
 569         command scripts fails.  See Savannah bug # 12124.
 570
 571 2005-02-26  Paul D. Smith  <psmith@gnu.org>
 572
 573         * test_driver.pl (compare_output): If a basic comparison of the
 574         log and answer doesn't match, try harder: change all backslashes
 575         to slashes and all CRLF to LF.  This helps on DOS/Windows systems.
 576
 577 2005-02-09  Paul D. Smith  <psmith@gnu.org>
 578
 579         * scripts/features/recursion: Test command line variable settings:
 580         only one instance of a given variable should be provided.
 581
 582 2004-11-30  Boris Kolpackov  <boris@kolpackov.net>
 583
 584         * tests/scripts/functions/abspath: New file: test `abspath'
 585         built-in function.
 586
 587         * tests/scripts/functions/realpath: New file: test `realpath'
 588         built-in function.
 589
 590 2004-11-28  Paul D. Smith  <psmith@gnu.org>
 591
 592         * scripts/options/dash-C [WINDOWS32]: Add a test for bug #10252;
 593         this doesn't really test anything useful in UNIX but...
 594
 595         * scripts/variables/SHELL: New file: test proper handling of SHELL
 596         according to POSIX rules.  Fixes bug #1276.
 597
 598 2004-10-21  Boris Kolpackov  <boris@kolpackov.net>
 599
 600         * scripts/functions/word: Test $(firstword ) and $(lastword ).
 601
 602 2004-10-05  Boris Kolpackov  <boris@kolpackov.net>
 603
 604         * scripts/features/patspecific_vars: Test simple/recursive
 605         variable expansion.
 606
 607 2004-09-28  Boris Kolpackov  <boris@kolpackov.net>
 608
 609         * scripts/features/include: Test dontcare flag inheritance
 610         when rebuilding makefiles.
 611
 612 2004-09-27  Boris Kolpackov  <boris@kolpackov.net>
 613
 614         * scripts/features/patspecific_vars: Test exported variables.
 615
 616 2004-09-22  Paul D. Smith  <psmith@gnu.org>
 617
 618         * run_make_tests.pl (run_make_test): Don't add newlines to the
 619         makestring or answer if they are completely empty.
 620
 621         * scripts/features/patternrules: Rename from implicit_prereq_eval.
 622
 623         * scripts/test_template: Rework the template.
 624
 625 2004-09-21  Boris Kolpackov  <boris@kolpackov.net>
 626
 627         * run_make_tests.pl: Change `#!/usr/local/bin/perl' to be
 628         `#!/usr/bin/env perl'.
 629
 630         * scripts/features/implicit_prereq_eval: Test implicit rule
 631         prerequisite evaluation code.
 632
 633 2004-09-21  Paul D. Smith  <psmith@gnu.org>
 634
 635         * run_make_tests.pl (run_make_test): Enhance to allow the make
 636         string to be undef: in that case it reuses the previous make
 637         string.  Allows multiple tests on the same makefile.
 638
 639         * scripts/variables/flavors: Add some tests for prefix characters
 640         interacting with define/endef variables.
 641
 642 2004-09-20  Paul D. Smith  <psmith@gnu.org>
 643
 644         * scripts/functions/substitution: Rewrite to use run_make_test()
 645         interface, and add test for substitution failures reported by
 646         Markus Mauhart <qwe123@chello.at>.
 647
 648 2004-03-22  Paul D. Smith  <psmith@gnu.org>
 649
 650         * test_driver.pl (run_each_test, toplevel, compare_output): Change
 651         to track both the testing categories _AND_ the number of
 652         individual tests, and report both sets of numbers.
 653
 654 2004-02-21  Paul D. Smith  <psmith@gnu.org>
 655
 656         * scripts/functions/origin: Set our own environment variable
 657         rather than relying on $HOME.
 658
 659 2004-01-21  Paul D. Smith  <psmith@gnu.org>
 660
 661         * scripts/features/conditionals: Test arguments to ifn?def which
 662         contain whitespace (such as a function that is evaluated).  Bug
 663         #7257.
 664
 665 2004-01-07  Paul D. Smith  <psmith@gnu.org>
 666
 667         * scripts/features/order_only: Test order-only prerequisites in
 668         pattern rules (patch #2349).
 669
 670 2003-11-02  Paul D. Smith  <psmith@gnu.org>
 671
 672         * scripts/functions/if: Test if on conditionals with trailing
 673         whitespace--bug #5798.
 674
 675         * scripts/functions/eval: Test eval in a non-file context--bug #6195.
 676
 677 2003-04-19  Paul D. Smith  <psmith@gnu.org>
 678
 679         * scripts/features/patspecific_vars: Test multiple patterns
 680         matching the same target--Bug #1405.
 681
 682 2003-04-09  Paul D. Smith  <psmith@gnu.org>
 683
 684         * run_make_tests.pl (set_more_defaults): A new $port_type of
 685         'OS/2' for (surprise!) OS/2.  Also choose a wait time of 2 seconds
 686         for OS/2.
 687
 688 2003-03-28  Paul D. Smith  <psmith@gnu.org>
 689
 690         * scripts/targets/SECONDARY: Test the "global" .SECONDARY (with
 691         not prerequisites)--Bug #2515.
 692
 693 2003-01-30  Paul D. Smith  <psmith@gnu.org>
 694
 695         * scripts/features/targetvars: Test very long target-specific
 696         variable definition lines (longer than the default make buffer
 697         length).  Tests patch # 1022.
 698
 699         * scripts/functions/eval: Test very recursive $(eval ...) calls
 700         with simple variable expansion (bug #2238).
 701
 702         * scripts/functions/word: Test error handling for word and
 703         wordlist functions (bug #2407).
 704
 705 2003-01-22  Paul D. Smith  <psmith@gnu.org>
 706
 707         * scripts/functions/call: Test recursive argument masking (bug
 708         #1744).
 709
 710 2002-10-25  Paul D. Smith  <psmith@gnu.org>
 711
 712         * scripts/functions/eval: Test using $(eval ...) inside
 713         conditionals (Bug #1516).
 714
 715 2002-10-14  Paul D. Smith  <psmith@gnu.org>
 716
 717         * scripts/options/dash-t: Add a test for handling -t on targets
 718         with no commands (Bug #1418).
 719
 720 2002-10-13  Paul D. Smith  <psmith@gnu.org>
 721
 722         * scripts/features/targetvars: Add a test for exporting
 723         target-specific vars (Bug #1391).
 724
 725 2002-10-05  Paul D. Smith  <psmith@gnu.org>
 726
 727         * scripts/variables/automatic: Add tests for $$(@), $${@}, $${@D},
 728         and $${@F}.
 729
 730 2002-09-23  Paul D. Smith  <psmith@gnu.org>
 731
 732         * scripts/features/escape: Test handling of escaped comment
 733         characters in targets and prerequisites.
 734
 735 2002-09-18  Paul D. Smith  <psmith@gnu.org>
 736
 737         * scripts/features/export: Test export/unexport of multiple
 738         variables in a single command.
 739
 740 2002-09-17  Paul D. Smith  <psmith@gnu.org>
 741
 742         * scripts/features/targetvars: Tests for Bug #940: test
 743         target-specific and pattern-specific variables in conjunction with
 744         double-colon targets.
 745
 746 2002-09-10  Paul D. Smith  <psmith@gnu.org>
 747
 748         * test_driver.pl (compare_output): Match the new format for time
 749         skew error messages.
 750
 751         * scripts/features/export: Created.  Add tests for export/unexport
 752         capabilities, including exporting/unexporting expanded variables.
 753
 754         * scripts/features/conditionals: Add a test for expanded variables
 755         in ifdef conditionals.
 756
 757 2002-09-04  Paul D. Smith  <psmith@gnu.org>
 758
 759         * scripts/features/reinvoke: Change touch/sleep combos to utouch
 760         invocations.
 761         * scripts/features/vpathgpath: Ditto.
 762         * scripts/features/vpathplus: Ditto.
 763         * scripts/options/dash-n: Ditto.
 764         * scripts/targets/INTERMEDIATE: Ditto.
 765         * scripts/targets/SECONDARY: Ditto.
 766
 767         * scripts/options/dash-t: Added a test for the -t bug fixed by
 768         Henning Makholm.  This test was also contributed by Henning.
 769
 770         * scripts/misc/general4: Add a test suite for obscure algorithmic
 771         features of make.  First test: make sure creation subdirectories
 772         as prerequisites of targets works properly.
 773
 774         * scripts/misc/version: Remove this bogus test.
 775
 776 2002-08-07  Paul D. Smith  <psmith@gnu.org>
 777
 778         * scripts/misc/general3: Add a test for makefiles that don't end
 779         in newlines.
 780
 781         * scripts/variables/special: Create tests for the special
 782         variables (.VARIABLES and .TARGETS).  Comment out .TARGETS test
 783         for now as it's not yet supported.
 784
 785 2002-08-01  Paul D. Smith  <psmith@gnu.org>
 786
 787         * scripts/options/dash-B: Add a test for the new -B option.
 788
 789 2002-07-11  Paul D. Smith  <psmith@gnu.org>
 790
 791         * run_make_tests.pl (valid_option): Add support for Valgrind.  Use
 792         -valgrind option to the test suite.
 793         (set_more_defaults): Set up the file descriptor to capture
 794         Valgrind output.  We have to unset its close-on-exec flag; we
 795         hardcode the value for F_SETFD (2) rather than load it; hopefully
 796         this will help us avoid breaking the Windows/DOS test suite.
 797
 798 2002-07-10  Paul D. Smith  <psmith@gnu.org>
 799
 800         * scripts/variables/automatic: Add some tests for $$@, $$(@D), and
 801         $$(@F).
 802
 803         * test_driver.pl (utouch): Create a new function that creates a
 804         file with a specific timestamp offset.  Use of this function will
 805         let us avoid lots of annoying sleep() invocations in the tests
 806         just to get proper timestamping, which will make the tests run a
 807         lot faster.  So far it's only used in the automatic test suite.
 808
 809 2002-07-09  Paul D. Smith  <psmith@gnu.org>
 810
 811         * scripts/variables/automatic: Create a test for automatic variables.
 812
 813 2002-07-08  Paul D. Smith  <psmith@gnu.org>
 814
 815         * scripts/features/order_only: Test new order-only prerequisites.
 816
 817 2002-07-07  Paul D. Smith  <psmith@gnu.org>
 818
 819         * scripts/functions/eval: Test new function.
 820         * scripts/functions/value: Test new function.
 821         * scripts/variables/MAKEFILE_LIST: Test new variable.
 822
 823 2002-04-28  Paul D. Smith  <psmith@gnu.org>
 824
 825         * scripts/functions/call: New test: transitive closure
 826         implementation using $(call ...) to test variable recursion.
 827
 828 2002-04-21  Paul D. Smith  <psmith@gnu.org>
 829
 830         * test_driver.pl (compare_dir_tree): Ignore CVS and RCS
 831         directories in the script directories.
 832
 833 2001-05-02  Paul D. Smith  <psmith@gnu.org>
 834
 835         * scripts/variables/flavors: Test define/endef scripts where only
 836         one of the command lines is quiet.
 837
 838 2000-06-22  Paul D. Smith  <psmith@gnu.org>
 839
 840         * scripts/options/dash-q: New file; test the -q option.  Includes
 841         a test for PR/1780.
 842
 843 2000-06-21  Paul D. Smith  <psmith@gnu.org>
 844
 845         * scripts/features/targetvars: Added a test for PR/1709: allowing
 846         semicolons in target-specific variable values.
 847
 848 2000-06-19  Paul D. Smith  <psmith@gnu.org>
 849
 850         * scripts/functions/addsuffix: Test for an empty final argument.
 851         Actually this bug might have happened for any function, but this
 852         one was handy.
 853
 854 2000-06-17  Eli Zaretskii  <eliz@is.elta.co.il>
 855
 856         * scripts/options/general: If parallel jobs are not supported,
 857         expect a warning message from Make.
 858
 859 2000-06-15  Eli Zaretskii  <eliz@is.elta.co.il>
 860
 861         * scripts/options/general: Don't try -jN with N != 1 if parallel
 862         jobs are not supported.
 863
 864 2000-05-24  Paul D. Smith  <psmith@gnu.org>
 865
 866         * scripts/options/general: Test general option processing (PR/1716).
 867
 868 2000-04-11  Paul D. Smith  <psmith@gnu.org>
 869
 870         * scripts/functions/strip: Test empty value to strip (PR/1689).
 871
 872 2000-04-08  Eli Zaretskii  <eliz@is.elta.co.il>
 873
 874         * scripts/features/reinvoke: Sleep before updating the target
 875         files in the first test, to ensure its time stamp really gets
 876         newer; otherwise Make might re-exec more than once.
 877
 878 2000-04-07  Eli Zaretskii  <eliz@is.elta.co.il>
 879
 880         * scripts/features/double_colon: Don't run the parallel tests if
 881         parallel jobs aren't supported.
 882
 883 2000-04-04  Paul D. Smith  <psmith@gnu.org>
 884
 885         * scripts/functions/word: wordlist doesn't swap arguments anymore.
 886
 887 2000-03-27  Paul D. Smith  <psmith@gnu.org>
 888
 889         * scripts/features/statipattrules: Test that static pattern rules
 890         whose prerequisite patterns resolve to empty strings throw an
 891         error (instead of dumping core).  Fixes PR/1670.
 892
 893         * scripts/features/reinvoke: Make more robust by touching "b"
 894         first, to ensure it's not newer than "a".
 895         Reported by Marco Franzen <Marco.Franzen@Thyron.com>.
 896         * scripts/options/dash-n: Ditto.
 897
 898         * scripts/functions/call: Whoops.  The fix to PR/1527 caused
 899         recursive invocations of $(call ...) to break.  I can't come up
 900         with any way to get both working at the same time, so I backed out
 901         the fix to 1527 and added a test case for recursive calls.  This
 902         also tests the fix for PR/1610.
 903
 904         * scripts/features/double_colon: Test that circular dependencies
 905         in double-colon rule sets are detected correctly (PR/1671).
 906
 907 2000-03-26  Paul D. Smith  <psmith@gnu.org>
 908
 909         * scripts/targets/INTERMEDIATE: Test that make doesn't remove
 910         .INTERMEDIATE files when given on the command line (PR/1669).
 911
 912 2000-03-08  Paul D. Smith  <psmith@gnu.org>
 913
 914         * scripts/options/dash-k: Add a test for error detection by
 915         multiple targets depending on the same prerequisite with -k.
 916         For PR/1634.
 917
 918 2000-02-07  Paul D. Smith  <psmith@gnu.org>
 919
 920         * scripts/features/escape: Add a test for backslash-escaped spaces
 921         in a target name (PR/1586).
 922
 923 2000-02-04  Paul D. Smith  <psmith@gnu.org>
 924
 925         * scripts/features/patspecific_vars: Add a test for pattern-specific
 926         target variables inherited from the parent target (PR/1407).
 927
 928 2000-02-02  Paul D. Smith  <psmith@gnu.org>
 929
 930         * run_make_tests.pl (set_more_defaults): Hard-code the LANG to C
 931         to make sure sorting order, etc. is predictable.
 932         Reported by Andreas Jaeger <aj@suse.de>.
 933
 934         * run_make_tests.pl (set_more_defaults): Set the $wtime variable
 935         depending on the OS.  Eli Zaretskii <eliz@is.elta.co.il> reports
 936         this seems to need to be *4* on DOS/Windows, not just 2.  Keep it
 937         1 for other systems.
 938         * scripts/features/vpathplus (touchfiles): Use the $wtime value
 939         instead of hardcoding 2.
 940         * scripts/targets/SECONDARY: Ditto.
 941         * scripts/targets/INTERMEDIATE: Ditto.
 942
 943 2000-01-27  Paul D. Smith  <psmith@gnu.org>
 944
 945         * test_driver.pl (toplevel): Don't try to run test scripts which
 946         are really directories.
 947
 948 2000-01-23  Paul D. Smith  <psmith@gnu.org>
 949
 950         * scripts/features/include: Remove a check; the fix caused more
 951         problems than the error, so I removed it and removed the test for
 952         it.
 953
 954 2000-01-11  Paul D. Smith  <psmith@gnu.org>
 955
 956         * scripts/functions/call: Add a test for PR/1517 and PR/1527: make
 957         sure $(call ...) doesn't eval its arguments and that you can
 958         invoke foreach from it without looping forever.
 959
 960 1999-12-15  Paul D. Smith  <psmith@gnu.org>
 961
 962         * scripts/targets/INTERMEDIATE: Add a test for PR/1423: make sure
 963         .INTERMEDIATE settings on files don't disable them as implicit
 964         intermediate possibilities.
 965
 966 1999-12-01  Paul D. Smith  <psmith@gnu.org>
 967
 968         * scripts/features/double_colon: Add a test for PR/1476: Try
 969         double-colon rules as non-goal targets and during parallel builds
 970         to make sure they're handled serially.
 971
 972 1999-11-17  Paul D. Smith  <psmith@gnu.org>
 973
 974         * scripts/functions/if: Add a test for PR/1429: put some text
 975         after an if-statement to make sure it works.
 976
 977         * scripts/features/targetvars: Add a test for PR/1380: handling +=
 978         in target-specific variable definitions correctly.
 979
 980 1999-10-15  Paul D. Smith  <psmith@gnu.org>
 981
 982         * scripts/variables/MAKEFILES: This was really broken: it didn't
 983         test anything at all, really.  Rewrote it, plus added a test for
 984         PR/1394.
 985
 986 1999-10-13  Paul D. Smith  <psmith@gnu.org>
 987
 988         * scripts/options/dash-n: Add a test for PR/1379: "-n doesn't
 989         behave properly when used with recursive targets".
 990
 991 1999-10-08  Paul D. Smith  <psmith@gnu.org>
 992
 993         * scripts/features/targetvars: Add a check for PR/1378:
 994         "Target-specific vars don't inherit correctly"
 995
 996 1999-09-29  Paul D. Smith  <psmith@gnu.org>
 997
 998         * test_driver.pl (get_osname): Change $fancy_file_names to
 999         $short_filenames and reverse the logic.
1000         (run_each_test): Change test of non-existent $port_host to use
1001         $short_filenames--problem reported by Eli Zaretskii.
1002
1003 1999-09-23  Paul D. Smith  <psmith@gnu.org>
1004
1005         * scripts/features/parallelism: Add a check to ensure that the
1006         jobserver works when we re-invoke.  Also cleaned up the tests a
1007         little, reducing the number of rules we use so the test won't need
1008         as many "sleep" commands.
1009
1010 1999-09-16  Paul D. Smith  <psmith@gnu.org>
1011
1012         * scripts/features/reinvoke: Remove invocations of "touch" in
1013         makefiles.  See the comments on the touch function rewrite below.
1014         Note that UNIX touch behaves the same way if the file already
1015         exists: it sets the time to the _local_ time.  We don't want
1016         this.  This is probably a good tip for makefile writers in
1017         general, actually... where practical.
1018         * scripts/options/dash-l: Ditto.
1019         * scripts/options/dash-n: Ditto.
1020
1021         * test_driver.pl (run_each_test): In retrospect, I don't like the
1022         .lN/.bN/.dN postfix required by DOS.  So, for non-DOS systems I
1023         changed it back to use .log, .base, and .diff.
1024
1025         * run_make_tests.pl (set_more_defaults): Move the check for the
1026         make pathname to here from set_defaults (that's too early since it
1027         happens before the command line processing).
1028         Create a new variable $port_type, calculated from $osname, to
1029         specify what kind of system we're running on.  We should integrate
1030         the VOS stuff here, too.
1031         (valid_option): Comment out the workdir/-work stuff so people
1032         won't be fooled into thinking it works... someone needs to fix
1033         this, though!
1034
1035         * scripts/functions/origin: Use $port_type instead of $osname.
1036         * scripts/functions/foreach: Ditto.
1037         * scripts/features/default_names: Ditto.
1038
1039 1999-09-15  Paul D. Smith  <psmith@gnu.org>
1040
1041         * test_driver.pl (touch): Rewrite this function.  Previously it
1042         used to use utime() to hard-set the time based on the current
1043         local clock, or, if the file didn't exist, it merely created it.
1044         This mirrors exactly what real UNIX touch does, but it fails badly
1045         on networked filesystems where the FS server clock is skewed from
1046         the local clock: normally modifying a file causes it to get a mod
1047         time based on the _server's_ clock.  Hard-setting it based on the
1048         _local_ clock causes gratuitous errors and makes the tests
1049         unreliable except on local filesystems.  The new function will
1050         simply modify the file, allowing the filesystem to set the mod
1051         time as it sees fit.
1052
1053         * scripts/features/parallelism: The second test output could
1054         change depending on how fast some scripts completed; use "sleep"
1055         to force the order we want.
1056
1057         * test_driver.pl (toplevel): A bug in Perl 5.000 to Perl 5.004
1058         means that "%ENV = ();" doesn't do the right thing.  This worked
1059         in Perl 4 and was fixed in Perl 5.004_01, but use a loop to delete
1060         the environment rather than require specific versions.
1061
1062         * run_make_tests.pl (set_more_defaults): Don't use Perl 5 s///
1063         modifier "s", so the tests will run with Perl 4.
1064         (set_more_defaults): Set $pure_log to empty if there's no -logfile
1065         option in PURIFYOPTIONS.
1066         (setup_for_test): Don't remove any logs unless $pure_log is set.
1067
1068 1999-09-15  Eli Zaretskii  <eliz@is.elta.co.il>
1069
1070         * scripts/features/reinvoke: Put the SHELL definition in the right
1071         test makefile.
1072
1073 1999-09-15  Paul D. Smith  <psmith@gnu.org>
1074
1075         ChangeLog file for the test suite created.
1076 \f
1077
1078 Copyright (C) 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999, 2000, 2001,
1079 2002, 2003, 2004, 2005, 2006, 2007, 2008, 2009 Free Software Foundation, Inc.
1080 This file is part of GNU Make.
1081
1082 GNU Make is free software; you can redistribute it and/or modify it under the
1083 terms of the GNU General Public License as published by the Free Software
1084 Foundation; either version 3 of the License, or (at your option) any later
1085 version.
1086
1087 GNU Make is distributed in the hope that it will be useful, but WITHOUT ANY
1088 WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR
1089 A PARTICULAR PURPOSE.  See the GNU General Public License for more details.
1090
1091 You should have received a copy of the GNU General Public License along with
1092 this program.  If not, see <http://www.gnu.org/licenses/>.