tests/ChangeLog

   1 2009-10-03  Paul Smith  <psmith@gnu.org>
   2
   3         * scripts/features/parallelism: Test for open Savannah bug #26846.
   4
   5         * scripts/variables/MAKE: Rewrite for new run_make_test() format.
   6
   7         * scripts/variables/MAKEFLAGS: Created.
   8         Add test for Savannah bug #2216 (still open).
   9
  10         * scripts/features/include: Test for Savannah bug #102 (still open).
  11
  12 2009-09-30  Boris Kolpackov  <boris@codesynthesis.com>
  13
  14         * scripts/features/include: Add diagnostics issuing tests for
  15         cases where targets have been updated and failed with the
  16         dontcare flag. Savannah bugs #15110, #25493, #12686, #17740.
  17
  18 2009-09-28  Paul Smith  <psmith@gnu.org>
  19
  20         * scripts/functions/shell: Add regression test for Savannah bug
  21         #20513 (still open).
  22
  23         * scripts/features/se_explicit: Add regression tests for Savannah
  24         bug #25780 (still open).
  25
  26         * run_make_tests.pl (valid_option): Add a new flag, -all([-_]?tests)?
  27         that runs tests we know will fail.  This allows us to add
  28         regression tests to the test suite for bugs that haven't been
  29         fixed yet.
  30
  31 2009-09-28  Boris Kolpackov  <boris@codesynthesis.com>
  32
  33         * scripts/features/patspecific_vars: Add a test for the shortest
  34         stem first order.
  35
  36         * scripts/features/patternrules: Add a test for the shortest stem
  37         first order.
  38
  39 2009-09-24  Paul Smith  <psmith@gnu.org>
  40
  41         * scripts/features/se_implicit: Add a test for order-only
  42         secondary expansion prerequisites.
  43
  44 2009-09-23  Paul Smith  <psmith@gnu.org>
  45
  46         * scripts/features/patternrules: Test that we can remove pattern
  47         rules, both single and multiple prerequisites.  Savannah bug #18622.
  48
  49         * scripts/features/echoing: Rework for run_make_test().
  50
  51 2009-06-14  Paul Smith  <psmith@gnu.org>
  52
  53         * scripts/features/vpath: Verify we don't get bogus circular
  54         dependency warnings if we choose a different file via vpath during
  55         update.  Savannah bug #13529.
  56
  57 2009-06-13  Paul Smith  <psmith@gnu.org>
  58
  59         * scripts/variables/MAKEFILES: Verify that MAKEFILES included
  60         files (and files included by them) don't set the default goal.
  61         Savannah bug #13401.
  62
  63         * scripts/functions/wildcard: Test that wildcards with
  64         non-existent glob matchers return empty.
  65
  66 2009-06-09  Paul Smith  <psmith@gnu.org>
  67
  68         * scripts/options/dash-B: Test the $? works correctly with -B.
  69         Savannah bug #17825.
  70
  71         * scripts/features/patternrules: Test that dependencies of
  72         "also_make" targets are created properly.  Savannah bug #19108.
  73
  74         * test_driver.pl (compare_output): Create a "run" file for failed
  75         tests containing the command that was run.
  76         (get_runfile): New function.
  77
  78         * run_make_tests.pl (valid_option): Enhanced support for valgrind:
  79         allow memcheck and massif tools.
  80
  81         * scripts/features/patternrules: Have to comment out a line in the
  82         first test due to backing out a change that broke the implicit
  83         rule search algorithm.  Savannah bug #17752.
  84         * scripts/misc/general4: Remove a test that is redundant with
  85         patternrules.
  86
  87         * scripts/features/parallelism: Add a test for re-exec with
  88         jobserver master override.  Savannah bug #18124.
  89
  90 2009-06-08  Paul Smith  <psmith@gnu.org>
  91
  92         * scripts/features/targetvars: Add a test for continued target
  93         vars after a semicolon.  Savannah bug #17521.
  94
  95 2009-06-07  Paul Smith  <psmith@gnu.org>
  96
  97         * scripts/features/se_explicit: Make sure we catch defining
  98         prereqs during snap_deps().  Savannah bug #24622.
  99
 100         * scripts/variables/automatic: Check prereq ordering when the
 101         target with the recipe has no prereqs.  Savannah bug #21198.
 102
 103         * scripts/variables/LIBPATTERNS: Add a new set of test for
 104         $(.LIBPATTERNS) (previously untested!)
 105
 106 2009-06-04  Paul Smith  <psmith@gnu.org>
 107
 108         * scripts/variables/SHELL: The export target-specific SHELL test
 109         has an incorrect known-good-value.
 110
 111         * scripts/misc/general4: Check for whitespace (ffeed, vtab, etc.)
 112
 113         * scripts/features/se_explicit: Add tests for Savannah bug #24588.
 114
 115 2009-05-31  Paul Smith  <psmith@gnu.org>
 116
 117         * scripts/variables/DEFAULT_GOAL: Add tests for Savannah bug #25697.
 118
 119         * scripts/features/targetvars: Add tests of overrides for Savannah
 120         bug #26207.
 121         * scripts/features/patspecific_vars: Ditto.
 122
 123         * scripts/features/patternrules: Add a test for Savannah bug #26593.
 124
 125 2009-05-30  Paul Smith  <psmith@gnu.org>
 126
 127         * scripts/variables/flavors: Update with new variable flavor tests.
 128         * scripts/variables/define: Create a new set of tests for
 129         define/endef and move those aspects of the flavors suite here.
 130
 131 2009-05-25  Paul Smith  <psmith@gnu.org>
 132
 133         * scripts/features/targetvars: Ditto.
 134
 135         * scripts/features/export: Test new variable parsing abilities.
 136
 137 2009-02-23  Ramon Garcia  <ramon.garcia.f@gmail.com>
 138
 139         * scripts/variables/private: Create a new suite of tests for 'private'.
 140
 141 2007-11-04  Paul Smith  <psmith@gnu.org>
 142
 143         * scripts/functions/eval: Update error message for command -> recipe.
 144
 145         * test_driver.pl (compare_output): Allow the answer to be a regex,
 146         if surrounded by '/'.
 147         * scripts/misc/close_stdout: Use a regex for the answer, since
 148         sometimes the error will have a description and sometimes it won't.
 149
 150 2007-09-10  Paul Smith  <psmith@gnu.org>
 151
 152         * scripts/variables/special: Add tests for .RECIPEPREFIX variable.
 153
 154 2007-08-15  Paul Smith  <psmith@gnu.org>
 155
 156         These test cases were contributed by
 157         Icarus Sparry <savannah@icarus.freeuk.com> and J. David Bryan for
 158         Savannah bugs #3330 and #15919.
 159
 160         * scripts/targets/SECONDARY: Add tests for Savannah bugs 3330 and
 161         15919.
 162
 163         * scripts/features/parallelism: Add tests for wrong answer/hang
 164         combining INTERMEDIATE, order-only prereqs, and parallelism.
 165         See Savannah bugs 3330 and 15919.
 166
 167 2007-07-13  Paul Smith  <psmith@gnu.org>
 168
 169         Install a timeout so tests can never loop infinitely.
 170         Original idea and patch for a single-test version provided by
 171         Icarus Sparry <savannah@icarus.freeuk.com>
 172
 173         * test_driver.pl (_run_command): New function: this is called by
 174         other functions to actually run a command.  Before we run it,
 175         install a SIGALRM handler and set up a timer to go off in the
 176         future (default is 5s; this can be overridden by individual tests).
 177         (run_command): Call it.
 178         (run_command_with_output): Call it.
 179
 180         * run_make_tests.pl (run_make_with_options): Override the default
 181         timeout if the caller requests it.
 182         (run_make_test): Pass any timeout override to run_make_with_options.
 183
 184         * scripts/features/parallelism: Increase the timeout for long tests.
 185         * scripts/options/dash-l: Ditto.
 186
 187 2006-10-01  Paul Smith  <psmith@paulandlesley.org>
 188
 189         * run_make_tests.pl (set_more_defaults): Remove setting of LANG in
 190         ENV here.  This doesn't always work.
 191         * test_driver.pl (toplevel): Set LC_ALL to 'C' in the make
 192         environment.  Fixes Savannah bug #16698.
 193
 194 2006-09-30  Paul Smith  <psmith@paulandlesley.org>
 195
 196         * scripts/variables/automatic: Add back the test for bug #8154.
 197
 198 2006-04-01  Paul D. Smith  <psmith@gnu.org>
 199
 200         * scripts/functions/realpath: Don't run tests with multiple
 201         initial slashes on Windows: those paths mean something different.
 202
 203 2006-03-19  Paul D. Smith  <psmith@gnu.org>
 204
 205         * scripts/features/parallelism: Test that the jobserver is
 206         properly managed when we have to re-exec the master instance of
 207         make.
 208
 209 2006-03-17  Boris Kolpackov  <boris@kolpackov.net>
 210
 211         * scripts/features/statipattrules: Add tests for bug #16053.
 212
 213 2006-03-09  Paul Smith  <psmith@gnu.org>
 214
 215         * scripts/features/escape: Use "pre:" not "p:" to avoid conflicts
 216         with DOS drive letters.  Fixes Savannah bug #15947.
 217
 218         * test_driver.pl (run_each_test): Set the status properly even
 219         when a test fails to execute.  Fixes Savannah bug #15942.
 220
 221         * scripts/functions/foreach: Use a different environment variable
 222         other than PATH to avoid differences with Windows platforms.
 223         Fixes Savannah bug #15938.
 224
 225 2006-03-05  Paul D. Smith  <psmith@gnu.org>
 226
 227         * run_make_tests.pl (set_more_defaults): Add CYGWIN_NT as a port
 228         type W32.  Fixed Savannah bug #15937.
 229
 230         * scripts/features/default_names: Don't call error() when the test
 231         fails.  Fixes Savannah bug #15941.
 232
 233 2006-02-17  Paul D. Smith  <psmith@gnu.org>
 234
 235         * scripts/features/targetvars: Test a complex construction which
 236         guarantees that we have to merge variable lists of different
 237         sizes.  Tests for Savannah bug #15757.
 238
 239 2006-02-15  Paul D. Smith  <psmith@gnu.org>
 240
 241         * scripts/functions/error: Make sure filename/lineno information
 242         is related to where the error is expanded, not where it's set.
 243         * scripts/functions/warning: Ditto.
 244         * scripts/functions/foreach: Check for different error conditions.
 245         * scripts/functions/word: Ditto.
 246         * scripts/variables/negative: Test some variable reference failure
 247         conditions.
 248         * scripts/options/warn-undefined-variables: Test the
 249         --warn-undefined-variables flag.
 250
 251 2006-02-09  Paul D. Smith  <psmith@gnu.org>
 252
 253         * run_make_tests.pl (set_more_defaults): Update valgrind support
 254         for newer versions.
 255         * test_driver.pl (toplevel): Skip all hidden files/directories (ones
 256         beginning with ".").
 257
 258         * scripts/functions/andor: Tests for $(and ..) and $(or ...)
 259         functions.
 260
 261 2006-02-08  Boris Kolpackov  <boris@kolpackov.net>
 262
 263         * scripts/features/parallelism: Add a test for bug #15641.
 264
 265 2006-02-06  Paul D. Smith  <psmith@gnu.org>
 266
 267         * scripts/options/dash-W: Add a test for bug #15341.
 268
 269 2006-01-03  Paul D. Smith  <psmith@gnu.org>
 270
 271         * scripts/variables/automatic: Add a test for bug #8154.
 272
 273         * README: Update to reflect the current state of the test suite.
 274
 275 2005-12-12  Paul D. Smith  <psmith@gnu.org>
 276
 277         * scripts/features/parallelism, scripts/functions/wildcard,
 278         scripts/targets/FORCE, scripts/targets/PHONY,
 279         scripts/targets/SILENT: Use the default setting for
 280         $delete_command.  Fixes bug #15085.
 281
 282         * run_make_tests.pl (get_this_pwd) [VMS]: Use -no_ask with delete_file.
 283
 284 2005-12-11  Paul D. Smith  <psmith@gnu.org>
 285
 286         * scripts/misc/general4: Test implicit rules with '$' in the
 287         prereq list & prereq patterns.
 288         * scripts/features/se_implicit: Add in .SECONDEXPANSION settings.
 289
 290 2005-12-09  Boris Kolpackov  <boris@kolpackov.net>
 291
 292         * scripts/features/patternrules: Add a test for bug #13022.
 293
 294 2005-12-07  Boris Kolpackov  <boris@kolpackov.net>
 295
 296         * scripts/features/double_colon: Add a test for bug #14334.
 297
 298 2005-11-17  Boris Kolpackov  <boris@kolpackov.net>
 299
 300         * scripts/functions/flavor: Add a test for the flavor function.
 301
 302 2005-11-14  Boris Kolpackov  <boris@kolpackov.net>
 303
 304         * scripts/variables/INCLUDE_DIRS: Add a test for the .INCLUDE_DIRS
 305         special variable.
 306
 307 2005-10-24  Paul D. Smith  <psmith@gnu.org>
 308
 309         * scripts/misc/general4: Test '$$' in prerequisites list.
 310         * scripts/features/statipattrules: Rewrite to use run_make_test().
 311         Add various static pattern info.
 312         * scripts/features/se_statpat: Enable .SECONDEXPANSION target.
 313         * scripts/features/se_explicit: Add tests for handling '$$' in
 314         prerequisite lists with and without setting .SECONDEXPANSION.
 315         * scripts/features/order_only: Convert to run_make_test().
 316         * run_make_tests.pl (set_more_defaults): If we can't get the value
 317         of $(MAKE) from make, then fatal immediately.
 318
 319 2005-08-31  Paul D. Smith  <psmith@gnu.org>
 320
 321         * run_make_tests.pl (get_this_pwd): Require the POSIX module (in
 322         an eval to trap errors) and if it exists, use POSIX::getcwd to
 323         find the working directory.  If it doesn't exist, go back to the
 324         previous methods.  This tries to be more accurate on Windows
 325         systems.
 326
 327 2005-08-29  Paul D. Smith  <psmith@gnu.org>
 328
 329         * scripts/functions/abspath: Add some text to the error messages
 330         to get a better idea of what's wrong.  Make warnings instead of
 331         errors.
 332
 333         * scripts/features/patspecific_vars: Don't use "test", which is
 334         UNIX specific.  Print the values and let the test script match
 335         them.
 336
 337 2005-08-25  Paul Smith  <psmith@gnu.org>
 338
 339         * scripts/variables/SHELL: Use a /./ prefix instead of //: the
 340         former works better with non-UNIX environments.  Fixes Savannah
 341         bug #14129.
 342
 343 2005-08-13  Boris Kolpackov  <boris@kolpackov.net>
 344
 345         * scripts/functions/wildcard: Wrap calls to $(wildcard ) with
 346         $(sort) so that the resulting order is no longer filesystem-
 347         dependant.
 348
 349 2005-08-10  Boris Kolpackov  <boris@kolpackov.net>
 350
 351         * scripts/features/statipattrules: Add a test for Savannah bug #13881.
 352
 353 2005-08-07  Paul D. Smith  <psmith@gnu.org>
 354
 355         * scripts/features/parallelism: Add a test for a bug reported by
 356         Michael Matz (matz@suse.de) in which make exits without waiting
 357         for all its children in some situations during parallel builds.
 358
 359 2005-07-08  Paul D. Smith  <psmith@gnu.org>
 360
 361         * test_driver.pl: Reset the environment to a clean value every
 362         time before we invoke make.  I'm suspicious that the environment
 363         isn't handled the same way in Windows as it is in UNIX, and some
 364         variables are leaking out beyond the tests they are intended for.
 365         Create an %extraENV hash tests can set to add more env. vars.
 366         * tests/scripts/features/export: Change to use %extraENV.
 367         * tests/scripts/functions/eval: Ditto.
 368         * tests/scripts/functions/origin: Ditto.
 369         * tests/scripts/options/dash-e: Ditto.
 370         * tests/scripts/variables/SHELL: Ditto.
 371
 372 2005-06-27  Paul D. Smith  <psmith@gnu.org>
 373
 374         * scripts/options/dash-W: Use 'echo >>' instead of touch to update
 375         files.
 376         * scripts/features/reinvoke: Rewrite to be safer on systems with
 377         subsecond timestamps.
 378         * scripts/features/patternrules: False exits with different error
 379         codes on different systems (for example, Linux => 1, Solaris => 255).
 380
 381         * scripts/options/dash-W: Set the timestamp to foo.x in the future,
 382         to be sure it will be considered updated when it's remade.
 383
 384 2005-06-26  Paul D. Smith  <psmith@gnu.org>
 385
 386         * scripts/functions/shell: New test suite for the shell function.
 387
 388 2005-06-25  Paul D. Smith  <psmith@gnu.org>
 389
 390         * scripts/features/include: Test include/-include/sinclude with no
 391         arguments.  Tests fix for Savannah bug #1761.
 392
 393         * scripts/misc/general3: Implement comprehensive testing of
 394         backslash-newline behavior in command scripts: various types of
 395         quoting, fast path / slow path, etc.
 396         Tests fix for Savannah bug #1332.
 397
 398         * scripts/options/symlinks: Test symlinks to non-existent files.
 399         Tests fix for Savannah bug #13280.
 400
 401         * scripts/misc/general3: Test semicolons in variable references.
 402         Tests fix for Savannah bug #1454.
 403
 404         * scripts/variables/MAKE_RESTARTS: New file: test the
 405         MAKE_RESTARTS variable.
 406         * scripts/options/dash-B: Test re-exec doesn't loop infinitely.
 407         Tests fix for Savannah bug #7566.
 408         * scripts/options/dash-W: New file: test the -W flag, including
 409         re-exec infinite looping.
 410
 411 2005-06-12  Paul D. Smith  <psmith@gnu.org>
 412
 413         * scripts/misc/close_stdout: Add a test for Savannah bug #1328.
 414         This test only works on systems that have /dev/full (e.g., Linux).
 415
 416 2005-06-09  Paul D. Smith  <psmith@gnu.org>
 417
 418         * scripts/functions/foreach: Add a test for Savannah bug #11913.
 419
 420 2005-05-31  Boris Kolpackov  <boris@kolpackov.net>
 421
 422         * scripts/features/include: Add a test for Savannah bug #13216.
 423         * scripts/features/patternrules: Add a test for Savannah bug #13218.
 424
 425 2005-05-13  Paul D. Smith  <psmith@gnu.org>
 426
 427         * scripts/features/conditionals: Add tests for the new if... else
 428         if... endif syntax.
 429
 430 2005-05-03  Paul D. Smith  <psmith@gnu.org>
 431
 432         * scripts/variables/DEFAULT_GOAL: Rename DEFAULT_TARGET to
 433         DEFAULT_GOAL.
 434
 435 2005-05-02  Paul D. Smith  <psmith@gnu.org>
 436
 437         * scripts/features/parallelism: Add a test for exporting recursive
 438         variables containing $(shell ) calls.  Rewrite this script to use
 439         run_make_test() everywhere.
 440
 441 2005-04-07  Paul D. Smith  <psmith@gnu.org>
 442
 443         * scripts/targets/SECONDARY: Add a test for Savannah bug #12331.
 444
 445 2005-03-15  Boris Kolpackov  <boris@kolpackov.net>
 446
 447         * scripts/variables/automatic: Add a test for Savannah bug #12320.
 448
 449 2005-03-10  Boris Kolpackov  <boris@kolpackov.net>
 450
 451         * scripts/features/patternrules: Add a test for Savannah bug #12267.
 452
 453 2005-03-09  Boris Kolpackov  <boris@kolpackov.net>
 454
 455         * scripts/variables/DEFAULT_TARGET: Add a test for Savannah
 456         bug #12266.
 457
 458 2005-03-04  Boris Kolpackov  <boris@kolpackov.net>
 459
 460         * scripts/features/patternrules: Add a test for Savannah bug #12202.
 461
 462 2005-03-03  Boris Kolpackov  <boris@kolpackov.net>
 463
 464         * scripts/features/se_implicit: Add a test for stem
 465         termination bug. Add a test for stem triple-expansion bug.
 466
 467         * scripts/features/se_statpat: Add a test for stem
 468         triple-expansion bug.
 469
 470         * scripts/features/statipattrules: Change test #4 to reflect
 471         new way empty prerequisite list is handled.
 472
 473
 474 2005-03-01  Boris Kolpackov  <boris@kolpackov.net>
 475
 476         * scripts/features/statipattrules: Add a test for
 477         Savannah bug #12180.
 478
 479 2005-02-28  Paul D. Smith  <psmith@gnu.org>
 480
 481         * scripts/options/dash-q: Add a test for Savannah bug # 7144.
 482
 483         * scripts/options/symlinks: New file to test checking of symlink
 484         timestamps.  Can't use filename dash-L because it conflicts with
 485         dash-l on case-insensitive filesystems.
 486
 487         * scripts/variables/MAKEFILE_LIST, scripts/variables/MFILE_LIST:
 488         Rename MAKEFILE_LIST test to MFILE_LIST, for systems that need 8.3
 489         unique filenames.
 490
 491 2005-02-28  Boris Kolpackov  <boris@kolpackov.net>
 492
 493         * scripts/variables/DEFAULT_TARGET: Test the .DEFAULT_TARGET
 494         special variable.
 495
 496 2005-02-27  Boris Kolpackov  <boris@kolpackov.net>
 497
 498         * scripts/features/se_explicit: Test the second expansion in
 499         explicit rules.
 500         * scripts/features/se_implicit: Test the second expansion in
 501         implicit rules.
 502         * scripts/features/se_statpat: Test the second expansion in
 503         static pattern rules.
 504         * scripts/variables/automatic: Fix to work with the second
 505         expansion.
 506
 507         * scripts/misc/general4: Add a test for bug #12091.
 508
 509 2005-02-27  Paul D. Smith  <psmith@gnu.org>
 510
 511         * scripts/functions/eval: Check that eval of targets within
 512         command scripts fails.  See Savannah bug # 12124.
 513
 514 2005-02-26  Paul D. Smith  <psmith@gnu.org>
 515
 516         * test_driver.pl (compare_output): If a basic comparison of the
 517         log and answer doesn't match, try harder: change all backslashes
 518         to slashes and all CRLF to LF.  This helps on DOS/Windows systems.
 519
 520 2005-02-09  Paul D. Smith  <psmith@gnu.org>
 521
 522         * scripts/features/recursion: Test command line variable settings:
 523         only one instance of a given variable should be provided.
 524
 525 2004-11-30  Boris Kolpackov  <boris@kolpackov.net>
 526
 527         * tests/scripts/functions/abspath: New file: test `abspath'
 528         built-in function.
 529
 530         * tests/scripts/functions/realpath: New file: test `realpath'
 531         built-in function.
 532
 533 2004-11-28  Paul D. Smith  <psmith@gnu.org>
 534
 535         * scripts/options/dash-C [WINDOWS32]: Add a test for bug #10252;
 536         this doesn't really test anything useful in UNIX but...
 537
 538         * scripts/variables/SHELL: New file: test proper handling of SHELL
 539         according to POSIX rules.  Fixes bug #1276.
 540
 541 2004-10-21  Boris Kolpackov  <boris@kolpackov.net>
 542
 543         * scripts/functions/word: Test $(firstword ) and $(lastword ).
 544
 545 2004-10-05  Boris Kolpackov  <boris@kolpackov.net>
 546
 547         * scripts/features/patspecific_vars: Test simple/recursive
 548         variable expansion.
 549
 550 2004-09-28  Boris Kolpackov  <boris@kolpackov.net>
 551
 552         * scripts/features/include: Test dontcare flag inheritance
 553         when rebuilding makefiles.
 554
 555 2004-09-27  Boris Kolpackov  <boris@kolpackov.net>
 556
 557         * scripts/features/patspecific_vars: Test exported variables.
 558
 559 2004-09-22  Paul D. Smith  <psmith@gnu.org>
 560
 561         * run_make_tests.pl (run_make_test): Don't add newlines to the
 562         makestring or answer if they are completely empty.
 563
 564         * scripts/features/patternrules: Rename from implicit_prereq_eval.
 565
 566         * scripts/test_template: Rework the template.
 567
 568 2004-09-21  Boris Kolpackov  <boris@kolpackov.net>
 569
 570         * run_make_tests.pl: Change `#!/usr/local/bin/perl' to be
 571         `#!/usr/bin/env perl'.
 572
 573         * scripts/features/implicit_prereq_eval: Test implicit rule
 574         prerequisite evaluation code.
 575
 576 2004-09-21  Paul D. Smith  <psmith@gnu.org>
 577
 578         * run_make_tests.pl (run_make_test): Enhance to allow the make
 579         string to be undef: in that case it reuses the previous make
 580         string.  Allows multiple tests on the same makefile.
 581
 582         * scripts/variables/flavors: Add some tests for prefix characters
 583         interacting with define/endef variables.
 584
 585 2004-09-20  Paul D. Smith  <psmith@gnu.org>
 586
 587         * scripts/functions/substitution: Rewrite to use run_make_test()
 588         interface, and add test for substitution failures reported by
 589         Markus Mauhart <qwe123@chello.at>.
 590
 591 2004-03-22  Paul D. Smith  <psmith@gnu.org>
 592
 593         * test_driver.pl (run_each_test, toplevel, compare_output): Change
 594         to track both the testing categories _AND_ the number of
 595         individual tests, and report both sets of numbers.
 596
 597 2004-02-21  Paul D. Smith  <psmith@gnu.org>
 598
 599         * scripts/functions/origin: Set our own environment variable
 600         rather than relying on $HOME.
 601
 602 2004-01-21  Paul D. Smith  <psmith@gnu.org>
 603
 604         * scripts/features/conditionals: Test arguments to ifn?def which
 605         contain whitespace (such as a function that is evaluated).  Bug
 606         #7257.
 607
 608 2004-01-07  Paul D. Smith  <psmith@gnu.org>
 609
 610         * scripts/features/order_only: Test order-only prerequisites in
 611         pattern rules (patch #2349).
 612
 613 2003-11-02  Paul D. Smith  <psmith@gnu.org>
 614
 615         * scripts/functions/if: Test if on conditionals with trailing
 616         whitespace--bug #5798.
 617
 618         * scripts/functions/eval: Test eval in a non-file context--bug #6195.
 619
 620 2003-04-19  Paul D. Smith  <psmith@gnu.org>
 621
 622         * scripts/features/patspecific_vars: Test multiple patterns
 623         matching the same target--Bug #1405.
 624
 625 2003-04-09  Paul D. Smith  <psmith@gnu.org>
 626
 627         * run_make_tests.pl (set_more_defaults): A new $port_type of
 628         'OS/2' for (surprise!) OS/2.  Also choose a wait time of 2 seconds
 629         for OS/2.
 630
 631 2003-03-28  Paul D. Smith  <psmith@gnu.org>
 632
 633         * scripts/targets/SECONDARY: Test the "global" .SECONDARY (with
 634         not prerequisites)--Bug #2515.
 635
 636 2003-01-30  Paul D. Smith  <psmith@gnu.org>
 637
 638         * scripts/features/targetvars: Test very long target-specific
 639         variable definition lines (longer than the default make buffer
 640         length).  Tests patch # 1022.
 641
 642         * scripts/functions/eval: Test very recursive $(eval ...) calls
 643         with simple variable expansion (bug #2238).
 644
 645         * scripts/functions/word: Test error handling for word and
 646         wordlist functions (bug #2407).
 647
 648 2003-01-22  Paul D. Smith  <psmith@gnu.org>
 649
 650         * scripts/functions/call: Test recursive argument masking (bug
 651         #1744).
 652
 653 2002-10-25  Paul D. Smith  <psmith@gnu.org>
 654
 655         * scripts/functions/eval: Test using $(eval ...) inside
 656         conditionals (Bug #1516).
 657
 658 2002-10-14  Paul D. Smith  <psmith@gnu.org>
 659
 660         * scripts/options/dash-t: Add a test for handling -t on targets
 661         with no commands (Bug #1418).
 662
 663 2002-10-13  Paul D. Smith  <psmith@gnu.org>
 664
 665         * scripts/features/targetvars: Add a test for exporting
 666         target-specific vars (Bug #1391).
 667
 668 2002-10-05  Paul D. Smith  <psmith@gnu.org>
 669
 670         * scripts/variables/automatic: Add tests for $$(@), $${@}, $${@D},
 671         and $${@F}.
 672
 673 2002-09-23  Paul D. Smith  <psmith@gnu.org>
 674
 675         * scripts/features/escape: Test handling of escaped comment
 676         characters in targets and prerequisites.
 677
 678 2002-09-18  Paul D. Smith  <psmith@gnu.org>
 679
 680         * scripts/features/export: Test export/unexport of multiple
 681         variables in a single command.
 682
 683 2002-09-17  Paul D. Smith  <psmith@gnu.org>
 684
 685         * scripts/features/targetvars: Tests for Bug #940: test
 686         target-specific and pattern-specific variables in conjunction with
 687         double-colon targets.
 688
 689 2002-09-10  Paul D. Smith  <psmith@gnu.org>
 690
 691         * test_driver.pl (compare_output): Match the new format for time
 692         skew error messages.
 693
 694         * scripts/features/export: Created.  Add tests for export/unexport
 695         capabilities, including exporting/unexporting expanded variables.
 696
 697         * scripts/features/conditionals: Add a test for expanded variables
 698         in ifdef conditionals.
 699
 700 2002-09-04  Paul D. Smith  <psmith@gnu.org>
 701
 702         * scripts/features/reinvoke: Change touch/sleep combos to utouch
 703         invocations.
 704         * scripts/features/vpathgpath: Ditto.
 705         * scripts/features/vpathplus: Ditto.
 706         * scripts/options/dash-n: Ditto.
 707         * scripts/targets/INTERMEDIATE: Ditto.
 708         * scripts/targets/SECONDARY: Ditto.
 709
 710         * scripts/options/dash-t: Added a test for the -t bug fixed by
 711         Henning Makholm.  This test was also contributed by Henning.
 712
 713         * scripts/misc/general4: Add a test suite for obscure algorithmic
 714         features of make.  First test: make sure creation subdirectories
 715         as prerequisites of targets works properly.
 716
 717         * scripts/misc/version: Remove this bogus test.
 718
 719 2002-08-07  Paul D. Smith  <psmith@gnu.org>
 720
 721         * scripts/misc/general3: Add a test for makefiles that don't end
 722         in newlines.
 723
 724         * scripts/variables/special: Create tests for the special
 725         variables (.VARIABLES and .TARGETS).  Comment out .TARGETS test
 726         for now as it's not yet supported.
 727
 728 2002-08-01  Paul D. Smith  <psmith@gnu.org>
 729
 730         * scripts/options/dash-B: Add a test for the new -B option.
 731
 732 2002-07-11  Paul D. Smith  <psmith@gnu.org>
 733
 734         * run_make_tests.pl (valid_option): Add support for Valgrind.  Use
 735         -valgrind option to the test suite.
 736         (set_more_defaults): Set up the file descriptor to capture
 737         Valgrind output.  We have to unset its close-on-exec flag; we
 738         hardcode the value for F_SETFD (2) rather than load it; hopefully
 739         this will help us avoid breaking the Windows/DOS test suite.
 740
 741 2002-07-10  Paul D. Smith  <psmith@gnu.org>
 742
 743         * scripts/variables/automatic: Add some tests for $$@, $$(@D), and
 744         $$(@F).
 745
 746         * test_driver.pl (utouch): Create a new function that creates a
 747         file with a specific timestamp offset.  Use of this function will
 748         let us avoid lots of annoying sleep() invocations in the tests
 749         just to get proper timestamping, which will make the tests run a
 750         lot faster.  So far it's only used in the automatic test suite.
 751
 752 2002-07-09  Paul D. Smith  <psmith@gnu.org>
 753
 754         * scripts/variables/automatic: Create a test for automatic variables.
 755
 756 2002-07-08  Paul D. Smith  <psmith@gnu.org>
 757
 758         * scripts/features/order_only: Test new order-only prerequisites.
 759
 760 2002-07-07  Paul D. Smith  <psmith@gnu.org>
 761
 762         * scripts/functions/eval: Test new function.
 763         * scripts/functions/value: Test new function.
 764         * scripts/variables/MAKEFILE_LIST: Test new variable.
 765
 766 2002-04-28  Paul D. Smith  <psmith@gnu.org>
 767
 768         * scripts/functions/call: New test: transitive closure
 769         implementation using $(call ...) to test variable recursion.
 770
 771 2002-04-21  Paul D. Smith  <psmith@gnu.org>
 772
 773         * test_driver.pl (compare_dir_tree): Ignore CVS and RCS
 774         directories in the script directories.
 775
 776 2001-05-02  Paul D. Smith  <psmith@gnu.org>
 777
 778         * scripts/variables/flavors: Test define/endef scripts where only
 779         one of the command lines is quiet.
 780
 781 2000-06-22  Paul D. Smith  <psmith@gnu.org>
 782
 783         * scripts/options/dash-q: New file; test the -q option.  Includes
 784         a test for PR/1780.
 785
 786 2000-06-21  Paul D. Smith  <psmith@gnu.org>
 787
 788         * scripts/features/targetvars: Added a test for PR/1709: allowing
 789         semicolons in target-specific variable values.
 790
 791 2000-06-19  Paul D. Smith  <psmith@gnu.org>
 792
 793         * scripts/functions/addsuffix: Test for an empty final argument.
 794         Actually this bug might have happened for any function, but this
 795         one was handy.
 796
 797 2000-06-17  Eli Zaretskii  <eliz@is.elta.co.il>
 798
 799         * scripts/options/general: If parallel jobs are not supported,
 800         expect a warning message from Make.
 801
 802 2000-06-15  Eli Zaretskii  <eliz@is.elta.co.il>
 803
 804         * scripts/options/general: Don't try -jN with N != 1 if parallel
 805         jobs are not supported.
 806
 807 2000-05-24  Paul D. Smith  <psmith@gnu.org>
 808
 809         * scripts/options/general: Test general option processing (PR/1716).
 810
 811 2000-04-11  Paul D. Smith  <psmith@gnu.org>
 812
 813         * scripts/functions/strip: Test empty value to strip (PR/1689).
 814
 815 2000-04-08  Eli Zaretskii  <eliz@is.elta.co.il>
 816
 817         * scripts/features/reinvoke: Sleep before updating the target
 818         files in the first test, to ensure its time stamp really gets
 819         newer; otherwise Make might re-exec more than once.
 820
 821 2000-04-07  Eli Zaretskii  <eliz@is.elta.co.il>
 822
 823         * scripts/features/double_colon: Don't run the parallel tests if
 824         parallel jobs aren't supported.
 825
 826 2000-04-04  Paul D. Smith  <psmith@gnu.org>
 827
 828         * scripts/functions/word: wordlist doesn't swap arguments anymore.
 829
 830 2000-03-27  Paul D. Smith  <psmith@gnu.org>
 831
 832         * scripts/features/statipattrules: Test that static pattern rules
 833         whose prerequisite patterns resolve to empty strings throw an
 834         error (instead of dumping core).  Fixes PR/1670.
 835
 836         * scripts/features/reinvoke: Make more robust by touching "b"
 837         first, to ensure it's not newer than "a".
 838         Reported by Marco Franzen <Marco.Franzen@Thyron.com>.
 839         * scripts/options/dash-n: Ditto.
 840
 841         * scripts/functions/call: Whoops.  The fix to PR/1527 caused
 842         recursive invocations of $(call ...) to break.  I can't come up
 843         with any way to get both working at the same time, so I backed out
 844         the fix to 1527 and added a test case for recursive calls.  This
 845         also tests the fix for PR/1610.
 846
 847         * scripts/features/double_colon: Test that circular dependencies
 848         in double-colon rule sets are detected correctly (PR/1671).
 849
 850 2000-03-26  Paul D. Smith  <psmith@gnu.org>
 851
 852         * scripts/targets/INTERMEDIATE: Test that make doesn't remove
 853         .INTERMEDIATE files when given on the command line (PR/1669).
 854
 855 2000-03-08  Paul D. Smith  <psmith@gnu.org>
 856
 857         * scripts/options/dash-k: Add a test for error detection by
 858         multiple targets depending on the same prerequisite with -k.
 859         For PR/1634.
 860
 861 2000-02-07  Paul D. Smith  <psmith@gnu.org>
 862
 863         * scripts/features/escape: Add a test for backslash-escaped spaces
 864         in a target name (PR/1586).
 865
 866 2000-02-04  Paul D. Smith  <psmith@gnu.org>
 867
 868         * scripts/features/patspecific_vars: Add a test for pattern-specific
 869         target variables inherited from the parent target (PR/1407).
 870
 871 2000-02-02  Paul D. Smith  <psmith@gnu.org>
 872
 873         * run_make_tests.pl (set_more_defaults): Hard-code the LANG to C
 874         to make sure sorting order, etc. is predictable.
 875         Reported by Andreas Jaeger <aj@suse.de>.
 876
 877         * run_make_tests.pl (set_more_defaults): Set the $wtime variable
 878         depending on the OS.  Eli Zaretskii <eliz@is.elta.co.il> reports
 879         this seems to need to be *4* on DOS/Windows, not just 2.  Keep it
 880         1 for other systems.
 881         * scripts/features/vpathplus (touchfiles): Use the $wtime value
 882         instead of hardcoding 2.
 883         * scripts/targets/SECONDARY: Ditto.
 884         * scripts/targets/INTERMEDIATE: Ditto.
 885
 886 2000-01-27  Paul D. Smith  <psmith@gnu.org>
 887
 888         * test_driver.pl (toplevel): Don't try to run test scripts which
 889         are really directories.
 890
 891 2000-01-23  Paul D. Smith  <psmith@gnu.org>
 892
 893         * scripts/features/include: Remove a check; the fix caused more
 894         problems than the error, so I removed it and removed the test for
 895         it.
 896
 897 2000-01-11  Paul D. Smith  <psmith@gnu.org>
 898
 899         * scripts/functions/call: Add a test for PR/1517 and PR/1527: make
 900         sure $(call ...) doesn't eval its arguments and that you can
 901         invoke foreach from it without looping forever.
 902
 903 1999-12-15  Paul D. Smith  <psmith@gnu.org>
 904
 905         * scripts/targets/INTERMEDIATE: Add a test for PR/1423: make sure
 906         .INTERMEDIATE settings on files don't disable them as implicit
 907         intermediate possibilities.
 908
 909 1999-12-01  Paul D. Smith  <psmith@gnu.org>
 910
 911         * scripts/features/double_colon: Add a test for PR/1476: Try
 912         double-colon rules as non-goal targets and during parallel builds
 913         to make sure they're handled serially.
 914
 915 1999-11-17  Paul D. Smith  <psmith@gnu.org>
 916
 917         * scripts/functions/if: Add a test for PR/1429: put some text
 918         after an if-statement to make sure it works.
 919
 920         * scripts/features/targetvars: Add a test for PR/1380: handling +=
 921         in target-specific variable definitions correctly.
 922
 923 1999-10-15  Paul D. Smith  <psmith@gnu.org>
 924
 925         * scripts/variables/MAKEFILES: This was really broken: it didn't
 926         test anything at all, really.  Rewrote it, plus added a test for
 927         PR/1394.
 928
 929 1999-10-13  Paul D. Smith  <psmith@gnu.org>
 930
 931         * scripts/options/dash-n: Add a test for PR/1379: "-n doesn't
 932         behave properly when used with recursive targets".
 933
 934 1999-10-08  Paul D. Smith  <psmith@gnu.org>
 935
 936         * scripts/features/targetvars: Add a check for PR/1378:
 937         "Target-specific vars don't inherit correctly"
 938
 939 1999-09-29  Paul D. Smith  <psmith@gnu.org>
 940
 941         * test_driver.pl (get_osname): Change $fancy_file_names to
 942         $short_filenames and reverse the logic.
 943         (run_each_test): Change test of non-existent $port_host to use
 944         $short_filenames--problem reported by Eli Zaretskii.
 945
 946 1999-09-23  Paul D. Smith  <psmith@gnu.org>
 947
 948         * scripts/features/parallelism: Add a check to ensure that the
 949         jobserver works when we re-invoke.  Also cleaned up the tests a
 950         little, reducing the number of rules we use so the test won't need
 951         as many "sleep" commands.
 952
 953 1999-09-16  Paul D. Smith  <psmith@gnu.org>
 954
 955         * scripts/features/reinvoke: Remove invocations of "touch" in
 956         makefiles.  See the comments on the touch function rewrite below.
 957         Note that UNIX touch behaves the same way if the file already
 958         exists: it sets the time to the _local_ time.  We don't want
 959         this.  This is probably a good tip for makefile writers in
 960         general, actually... where practical.
 961         * scripts/options/dash-l: Ditto.
 962         * scripts/options/dash-n: Ditto.
 963
 964         * test_driver.pl (run_each_test): In retrospect, I don't like the
 965         .lN/.bN/.dN postfix required by DOS.  So, for non-DOS systems I
 966         changed it back to use .log, .base, and .diff.
 967
 968         * run_make_tests.pl (set_more_defaults): Move the check for the
 969         make pathname to here from set_defaults (that's too early since it
 970         happens before the command line processing).
 971         Create a new variable $port_type, calculated from $osname, to
 972         specify what kind of system we're running on.  We should integrate
 973         the VOS stuff here, too.
 974         (valid_option): Comment out the workdir/-work stuff so people
 975         won't be fooled into thinking it works... someone needs to fix
 976         this, though!
 977
 978         * scripts/functions/origin: Use $port_type instead of $osname.
 979         * scripts/functions/foreach: Ditto.
 980         * scripts/features/default_names: Ditto.
 981
 982 1999-09-15  Paul D. Smith  <psmith@gnu.org>
 983
 984         * test_driver.pl (touch): Rewrite this function.  Previously it
 985         used to use utime() to hard-set the time based on the current
 986         local clock, or, if the file didn't exist, it merely created it.
 987         This mirrors exactly what real UNIX touch does, but it fails badly
 988         on networked filesystems where the FS server clock is skewed from
 989         the local clock: normally modifying a file causes it to get a mod
 990         time based on the _server's_ clock.  Hard-setting it based on the
 991         _local_ clock causes gratuitous errors and makes the tests
 992         unreliable except on local filesystems.  The new function will
 993         simply modify the file, allowing the filesystem to set the mod
 994         time as it sees fit.
 995
 996         * scripts/features/parallelism: The second test output could
 997         change depending on how fast some scripts completed; use "sleep"
 998         to force the order we want.
 999
1000         * test_driver.pl (toplevel): A bug in Perl 5.000 to Perl 5.004
1001         means that "%ENV = ();" doesn't do the right thing.  This worked
1002         in Perl 4 and was fixed in Perl 5.004_01, but use a loop to delete
1003         the environment rather than require specific versions.
1004
1005         * run_make_tests.pl (set_more_defaults): Don't use Perl 5 s///
1006         modifier "s", so the tests will run with Perl 4.
1007         (set_more_defaults): Set $pure_log to empty if there's no -logfile
1008         option in PURIFYOPTIONS.
1009         (setup_for_test): Don't remove any logs unless $pure_log is set.
1010
1011 1999-09-15  Eli Zaretskii  <eliz@is.elta.co.il>
1012
1013         * scripts/features/reinvoke: Put the SHELL definition in the right
1014         test makefile.
1015
1016 1999-09-15  Paul D. Smith  <psmith@gnu.org>
1017
1018         ChangeLog file for the test suite created.
1019 \f
1020
1021 Copyright (C) 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999, 2000, 2001,
1022 2002, 2003, 2004, 2005, 2006, 2007 Free Software Foundation, Inc.
1023 This file is part of GNU Make.
1024
1025 GNU Make is free software; you can redistribute it and/or modify it under the
1026 terms of the GNU General Public License as published by the Free Software
1027 Foundation; either version 3 of the License, or (at your option) any later
1028 version.
1029
1030 GNU Make is distributed in the hope that it will be useful, but WITHOUT ANY
1031 WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR
1032 A PARTICULAR PURPOSE.  See the GNU General Public License for more details.
1033
1034 You should have received a copy of the GNU General Public License along with
1035 this program.  If not, see <http://www.gnu.org/licenses/>.