Modify backslash/newline handling for POSIX.
[make.git] / tests / ChangeLog
blob210dfb21c86c6c33286a8ca231b44b2c77944100
1 2012-03-03  Paul Smith  <psmith@gnu.org>
3         * scripts/misc/bs-nl: Check for POSIX and non-POSIX
4         backslash/newline handling.  Addresses Savannah bug #16670.
6 2012-01-29  Paul Smith  <psmith@gnu.org>
8         * scripts/variables/flavors: Add tests for ::=
9         * scripts/variables/define: Ditto
11         * scripts/functions/file: Test the new $(file ...) function.
13 2012-01-12  Paul Smith  <psmith@gnu.org>
15         * scripts/functions/guile: New regression tests for Guile support.
17 2011-12-10  Paul Smith  <psmith@gnu.org>
19         * scripts/targets/SECONDARY: Add prereq statements to ensure rules
20         are printed in the right order for test #9
22 2011-11-14  Paul Smith  <psmith@gnu.org>
24         * scripts/features/double_colon: Check double-colon with escaped
25         filenames.  See Savannah bug #33399.
27 2011-09-18  Paul Smith  <psmith@gnu.org>
29         * scripts/features/parallelism: On re-exec make sure we preserve
30         the value of MAKEFLAGS when necessary.  See Savannah bug #33873.
32         * scripts/features/vpath3: Verify handling of -lfoo libraries
33         found via vpath vs. the standard directory search.
34         See Savannah bug #32511.
36 2011-09-12  Paul Smith  <psmith@gnu.org>
38         * scripts/functions/call: Verify that using export in a $(call ...)
39         context creates a global variable.  See Savannah bug #32498.
41 2011-09-02  Paul Smith  <psmith@gnu.org>
43         * scripts/options/dash-n: Verify that in "-n -t", the -n takes
44         priority.  Patch from Michael Witten <mfwitten@gmail.com>.
46 2011-08-29  Paul Smith  <psmith@gnu.org>
48         * scripts/features/varnesting: Test resetting of variables while
49         expanding them.  See Savannah patch #7534
51 2011-06-12  Paul Smith  <psmith@gnu.org>
53         * scripts/features/archives: Check archives with whitespace at the
54         beginning, end, and extra in the middle.
55         Another test for Savannah bug #30612.
57 2011-05-07  Paul Smith  <psmith@gnu.org>
59         * scripts/variables/private: Ensure we skip private variables when
60         appending.  Test for Savannah bug #32872.
62         * scripts/functions/wildcard: Verify wildcard used to test for
63         file existence/non-existence.
65 2011-05-02  Paul Smith  <psmith@gnu.org>
67         * scripts/functions/sort: Add a test for Savannah bug #33125.
69 2011-04-17  David A. Wheeler  <dwheeler@dwheeler.com>
71         * scripts/features/shell_assignment: Regression for "!=" feature
73 2010-11-06  Paul Smith  <psmith@gnu.org>
75         * scripts/features/targetvars: Fix known-good output for BS/NL changes.
76         * scripts/functions/call: Ditto.
77         * scripts/variables/special: Ditto.
79         * scripts/misc/bs-nl: New test suite for backslash/newline testing.
81 2010-08-29  Paul Smith  <psmith@gnu.org>
83         * scripts/features/errors: Add new error message to output text.
84         * scripts/variables/SHELL: Ditto.
85         * scripts/targets/POSIX: Ditto.
86         * scripts/options/dash-k: Ditto.
87         * scripts/features/vpathplus: Ditto.
88         * scripts/features/patternrules: Ditto.
89         * scripts/features/parallelism: Ditto.
91 2010-08-13  Paul Smith  <psmith@gnu.org>
93         * scripts/features/archives: New regression tests for archive
94         support.  Test for fix to Savannah bug #30612.
96         * run_make_tests.pl (set_more_defaults): Set a %FEATURES hash to
97         the features available in $(.FEATURES).
99 2010-08-10  Paul Smith  <psmith@gnu.org>
101         * scripts/features/reinvoke: Ensure command line variable settings
102         are preserved across make re-exec.  Tests Savannah bug #30723.
104 2010-07-28  Paul Smith  <psmith@gnu.org>
106         * scripts/targets/POSIX: Compatibility issues with Solaris (and
107         Tru64?); "false" returns different exit codes, and set -x shows
108         output with extra whitespace.  Run the commands by hand first to
109         find out what the real shell would do, then compare what make does.
110         * scripts/variables/SHELL: Ditto.
112 2010-07-12  Paul Smith  <psmith@gnu.org>
114         * test_driver.pl: Add a new $perl_name containing the path to Perl.
115         * run_make_tests.pl (run_make_test): Replace the special string
116         #PERL# in a makefile etc. with the path the Perl executable so
117         makefiles can use it.
119         * scripts/targets/ONESHELL: Add a new set of regression tests for
120         the .ONESHELL feature.
122 2010-07-06  Paul Smith  <psmith@gnu.org>
124         * scripts/variables/SHELL: Test the new .SHELLFLAGS variable.
126         * scripts/targets/POSIX: New file.  Test the .POSIX special target.
127         Verify that enabling .POSIX changes the shell flags to set -e.
129 2010-07-01  Paul Smith  <psmith@gnu.org>
131         * scripts/features/recursion: Add a space to separate command-line
132         args.  Fixes Savannah bug #29968.
134 2009-11-12  Boris Kolpackov  <boris@codesynthesis.com>
136         * scripts/features/vpath3: Test for the new library search
137         behavior.
139 2009-10-06  Boris Kolpackov  <boris@codesynthesis.com>
141         * scripts/features/se_explicit: Enable the test for now fixed
142         Savannah bug 25780.
144 2009-10-06  Boris Kolpackov  <boris@codesynthesis.com>
146         * scripts/variables/undefine: Tests for the new undefine feature.
148 2009-10-03  Paul Smith  <psmith@gnu.org>
150         * scripts/features/parallelism: Test for open Savannah bug #26846.
152         * scripts/variables/MAKE: Rewrite for new run_make_test() format.
154         * scripts/variables/MAKEFLAGS: Created.
155         Add test for Savannah bug #2216 (still open).
157         * scripts/features/include: Test for Savannah bug #102 (still open).
159 2009-09-30  Boris Kolpackov  <boris@codesynthesis.com>
161         * scripts/features/include: Add diagnostics issuing tests for
162         cases where targets have been updated and failed with the
163         dontcare flag. Savannah bugs #15110, #25493, #12686, #17740.
165 2009-09-28  Paul Smith  <psmith@gnu.org>
167         * scripts/functions/shell: Add regression test for Savannah bug
168         #20513 (still open).
170         * scripts/features/se_explicit: Add regression tests for Savannah
171         bug #25780 (still open).
173         * run_make_tests.pl (valid_option): Add a new flag, -all([-_]?tests)?
174         that runs tests we know will fail.  This allows us to add
175         regression tests to the test suite for bugs that haven't been
176         fixed yet.
178 2009-09-28  Boris Kolpackov  <boris@codesynthesis.com>
180         * scripts/features/patspecific_vars: Add a test for the shortest
181         stem first order.
183         * scripts/features/patternrules: Add a test for the shortest stem
184         first order.
186 2009-09-24  Paul Smith  <psmith@gnu.org>
188         * scripts/features/se_implicit: Add a test for order-only
189         secondary expansion prerequisites.
191 2009-09-23  Paul Smith  <psmith@gnu.org>
193         * scripts/features/patternrules: Test that we can remove pattern
194         rules, both single and multiple prerequisites.  Savannah bug #18622.
196         * scripts/features/echoing: Rework for run_make_test().
198 2009-06-14  Paul Smith  <psmith@gnu.org>
200         * scripts/features/vpath: Verify we don't get bogus circular
201         dependency warnings if we choose a different file via vpath during
202         update.  Savannah bug #13529.
204 2009-06-13  Paul Smith  <psmith@gnu.org>
206         * scripts/variables/MAKEFILES: Verify that MAKEFILES included
207         files (and files included by them) don't set the default goal.
208         Savannah bug #13401.
210         * scripts/functions/wildcard: Test that wildcards with
211         non-existent glob matchers return empty.
213 2009-06-09  Paul Smith  <psmith@gnu.org>
215         * scripts/options/dash-B: Test the $? works correctly with -B.
216         Savannah bug #17825.
218         * scripts/features/patternrules: Test that dependencies of
219         "also_make" targets are created properly.  Savannah bug #19108.
221         * test_driver.pl (compare_output): Create a "run" file for failed
222         tests containing the command that was run.
223         (get_runfile): New function.
225         * run_make_tests.pl (valid_option): Enhanced support for valgrind:
226         allow memcheck and massif tools.
228         * scripts/features/patternrules: Have to comment out a line in the
229         first test due to backing out a change that broke the implicit
230         rule search algorithm.  Savannah bug #17752.
231         * scripts/misc/general4: Remove a test that is redundant with
232         patternrules.
234         * scripts/features/parallelism: Add a test for re-exec with
235         jobserver master override.  Savannah bug #18124.
237 2009-06-08  Paul Smith  <psmith@gnu.org>
239         * scripts/features/targetvars: Add a test for continued target
240         vars after a semicolon.  Savannah bug #17521.
242 2009-06-07  Paul Smith  <psmith@gnu.org>
244         * scripts/features/se_explicit: Make sure we catch defining
245         prereqs during snap_deps().  Savannah bug #24622.
247         * scripts/variables/automatic: Check prereq ordering when the
248         target with the recipe has no prereqs.  Savannah bug #21198.
250         * scripts/variables/LIBPATTERNS: Add a new set of test for
251         $(.LIBPATTERNS) (previously untested!)
253 2009-06-04  Paul Smith  <psmith@gnu.org>
255         * scripts/variables/SHELL: The export target-specific SHELL test
256         has an incorrect known-good-value.
258         * scripts/misc/general4: Check for whitespace (ffeed, vtab, etc.)
260         * scripts/features/se_explicit: Add tests for Savannah bug #24588.
262 2009-05-31  Paul Smith  <psmith@gnu.org>
264         * scripts/variables/DEFAULT_GOAL: Add tests for Savannah bug #25697.
266         * scripts/features/targetvars: Add tests of overrides for Savannah
267         bug #26207.
268         * scripts/features/patspecific_vars: Ditto.
270         * scripts/features/patternrules: Add a test for Savannah bug #26593.
272 2009-05-30  Paul Smith  <psmith@gnu.org>
274         * scripts/variables/flavors: Update with new variable flavor tests.
275         * scripts/variables/define: Create a new set of tests for
276         define/endef and move those aspects of the flavors suite here.
278 2009-05-25  Paul Smith  <psmith@gnu.org>
280         * scripts/features/targetvars: Ditto.
282         * scripts/features/export: Test new variable parsing abilities.
284 2009-02-23  Ramon Garcia  <ramon.garcia.f@gmail.com>
286         * scripts/variables/private: Create a new suite of tests for 'private'.
288 2007-11-04  Paul Smith  <psmith@gnu.org>
290         * scripts/functions/eval: Update error message for command -> recipe.
292         * test_driver.pl (compare_output): Allow the answer to be a regex,
293         if surrounded by '/'.
294         * scripts/misc/close_stdout: Use a regex for the answer, since
295         sometimes the error will have a description and sometimes it won't.
297 2007-09-10  Paul Smith  <psmith@gnu.org>
299         * scripts/variables/special: Add tests for .RECIPEPREFIX variable.
301 2007-08-15  Paul Smith  <psmith@gnu.org>
303         These test cases were contributed by
304         Icarus Sparry <savannah@icarus.freeuk.com> and J. David Bryan for
305         Savannah bugs #3330 and #15919.
307         * scripts/targets/SECONDARY: Add tests for Savannah bugs 3330 and
308         15919.
310         * scripts/features/parallelism: Add tests for wrong answer/hang
311         combining INTERMEDIATE, order-only prereqs, and parallelism.
312         See Savannah bugs 3330 and 15919.
314 2007-07-13  Paul Smith  <psmith@gnu.org>
316         Install a timeout so tests can never loop infinitely.
317         Original idea and patch for a single-test version provided by
318         Icarus Sparry <savannah@icarus.freeuk.com>
320         * test_driver.pl (_run_command): New function: this is called by
321         other functions to actually run a command.  Before we run it,
322         install a SIGALRM handler and set up a timer to go off in the
323         future (default is 5s; this can be overridden by individual tests).
324         (run_command): Call it.
325         (run_command_with_output): Call it.
327         * run_make_tests.pl (run_make_with_options): Override the default
328         timeout if the caller requests it.
329         (run_make_test): Pass any timeout override to run_make_with_options.
331         * scripts/features/parallelism: Increase the timeout for long tests.
332         * scripts/options/dash-l: Ditto.
334 2006-10-01  Paul Smith  <psmith@paulandlesley.org>
336         * run_make_tests.pl (set_more_defaults): Remove setting of LANG in
337         ENV here.  This doesn't always work.
338         * test_driver.pl (toplevel): Set LC_ALL to 'C' in the make
339         environment.  Fixes Savannah bug #16698.
341 2006-09-30  Paul Smith  <psmith@paulandlesley.org>
343         * scripts/variables/automatic: Add back the test for bug #8154.
345 2006-04-01  Paul D. Smith  <psmith@gnu.org>
347         * scripts/functions/realpath: Don't run tests with multiple
348         initial slashes on Windows: those paths mean something different.
350 2006-03-19  Paul D. Smith  <psmith@gnu.org>
352         * scripts/features/parallelism: Test that the jobserver is
353         properly managed when we have to re-exec the master instance of
354         make.
356 2006-03-17  Boris Kolpackov  <boris@kolpackov.net>
358         * scripts/features/statipattrules: Add tests for bug #16053.
360 2006-03-09  Paul Smith  <psmith@gnu.org>
362         * scripts/features/escape: Use "pre:" not "p:" to avoid conflicts
363         with DOS drive letters.  Fixes Savannah bug #15947.
365         * test_driver.pl (run_each_test): Set the status properly even
366         when a test fails to execute.  Fixes Savannah bug #15942.
368         * scripts/functions/foreach: Use a different environment variable
369         other than PATH to avoid differences with Windows platforms.
370         Fixes Savannah bug #15938.
372 2006-03-05  Paul D. Smith  <psmith@gnu.org>
374         * run_make_tests.pl (set_more_defaults): Add CYGWIN_NT as a port
375         type W32.  Fixed Savannah bug #15937.
377         * scripts/features/default_names: Don't call error() when the test
378         fails.  Fixes Savannah bug #15941.
380 2006-02-17  Paul D. Smith  <psmith@gnu.org>
382         * scripts/features/targetvars: Test a complex construction which
383         guarantees that we have to merge variable lists of different
384         sizes.  Tests for Savannah bug #15757.
386 2006-02-15  Paul D. Smith  <psmith@gnu.org>
388         * scripts/functions/error: Make sure filename/lineno information
389         is related to where the error is expanded, not where it's set.
390         * scripts/functions/warning: Ditto.
391         * scripts/functions/foreach: Check for different error conditions.
392         * scripts/functions/word: Ditto.
393         * scripts/variables/negative: Test some variable reference failure
394         conditions.
395         * scripts/options/warn-undefined-variables: Test the
396         --warn-undefined-variables flag.
398 2006-02-09  Paul D. Smith  <psmith@gnu.org>
400         * run_make_tests.pl (set_more_defaults): Update valgrind support
401         for newer versions.
402         * test_driver.pl (toplevel): Skip all hidden files/directories (ones
403         beginning with ".").
405         * scripts/functions/andor: Tests for $(and ..) and $(or ...)
406         functions.
408 2006-02-08  Boris Kolpackov  <boris@kolpackov.net>
410         * scripts/features/parallelism: Add a test for bug #15641.
412 2006-02-06  Paul D. Smith  <psmith@gnu.org>
414         * scripts/options/dash-W: Add a test for bug #15341.
416 2006-01-03  Paul D. Smith  <psmith@gnu.org>
418         * scripts/variables/automatic: Add a test for bug #8154.
420         * README: Update to reflect the current state of the test suite.
422 2005-12-12  Paul D. Smith  <psmith@gnu.org>
424         * scripts/features/parallelism, scripts/functions/wildcard,
425         scripts/targets/FORCE, scripts/targets/PHONY,
426         scripts/targets/SILENT: Use the default setting for
427         $delete_command.  Fixes bug #15085.
429         * run_make_tests.pl (get_this_pwd) [VMS]: Use -no_ask with delete_file.
431 2005-12-11  Paul D. Smith  <psmith@gnu.org>
433         * scripts/misc/general4: Test implicit rules with '$' in the
434         prereq list & prereq patterns.
435         * scripts/features/se_implicit: Add in .SECONDEXPANSION settings.
437 2005-12-09  Boris Kolpackov  <boris@kolpackov.net>
439         * scripts/features/patternrules: Add a test for bug #13022.
441 2005-12-07  Boris Kolpackov  <boris@kolpackov.net>
443         * scripts/features/double_colon: Add a test for bug #14334.
445 2005-11-17  Boris Kolpackov  <boris@kolpackov.net>
447         * scripts/functions/flavor: Add a test for the flavor function.
449 2005-11-14  Boris Kolpackov  <boris@kolpackov.net>
451         * scripts/variables/INCLUDE_DIRS: Add a test for the .INCLUDE_DIRS
452         special variable.
454 2005-10-24  Paul D. Smith  <psmith@gnu.org>
456         * scripts/misc/general4: Test '$$' in prerequisites list.
457         * scripts/features/statipattrules: Rewrite to use run_make_test().
458         Add various static pattern info.
459         * scripts/features/se_statpat: Enable .SECONDEXPANSION target.
460         * scripts/features/se_explicit: Add tests for handling '$$' in
461         prerequisite lists with and without setting .SECONDEXPANSION.
462         * scripts/features/order_only: Convert to run_make_test().
463         * run_make_tests.pl (set_more_defaults): If we can't get the value
464         of $(MAKE) from make, then fatal immediately.
466 2005-08-31  Paul D. Smith  <psmith@gnu.org>
468         * run_make_tests.pl (get_this_pwd): Require the POSIX module (in
469         an eval to trap errors) and if it exists, use POSIX::getcwd to
470         find the working directory.  If it doesn't exist, go back to the
471         previous methods.  This tries to be more accurate on Windows
472         systems.
474 2005-08-29  Paul D. Smith  <psmith@gnu.org>
476         * scripts/functions/abspath: Add some text to the error messages
477         to get a better idea of what's wrong.  Make warnings instead of
478         errors.
480         * scripts/features/patspecific_vars: Don't use "test", which is
481         UNIX specific.  Print the values and let the test script match
482         them.
484 2005-08-25  Paul Smith  <psmith@gnu.org>
486         * scripts/variables/SHELL: Use a /./ prefix instead of //: the
487         former works better with non-UNIX environments.  Fixes Savannah
488         bug #14129.
490 2005-08-13  Boris Kolpackov  <boris@kolpackov.net>
492         * scripts/functions/wildcard: Wrap calls to $(wildcard ) with
493         $(sort) so that the resulting order is no longer filesystem-
494         dependant.
496 2005-08-10  Boris Kolpackov  <boris@kolpackov.net>
498         * scripts/features/statipattrules: Add a test for Savannah bug #13881.
500 2005-08-07  Paul D. Smith  <psmith@gnu.org>
502         * scripts/features/parallelism: Add a test for a bug reported by
503         Michael Matz (matz@suse.de) in which make exits without waiting
504         for all its children in some situations during parallel builds.
506 2005-07-08  Paul D. Smith  <psmith@gnu.org>
508         * test_driver.pl: Reset the environment to a clean value every
509         time before we invoke make.  I'm suspicious that the environment
510         isn't handled the same way in Windows as it is in UNIX, and some
511         variables are leaking out beyond the tests they are intended for.
512         Create an %extraENV hash tests can set to add more env. vars.
513         * tests/scripts/features/export: Change to use %extraENV.
514         * tests/scripts/functions/eval: Ditto.
515         * tests/scripts/functions/origin: Ditto.
516         * tests/scripts/options/dash-e: Ditto.
517         * tests/scripts/variables/SHELL: Ditto.
519 2005-06-27  Paul D. Smith  <psmith@gnu.org>
521         * scripts/options/dash-W: Use 'echo >>' instead of touch to update
522         files.
523         * scripts/features/reinvoke: Rewrite to be safer on systems with
524         subsecond timestamps.
525         * scripts/features/patternrules: False exits with different error
526         codes on different systems (for example, Linux => 1, Solaris => 255).
528         * scripts/options/dash-W: Set the timestamp to foo.x in the future,
529         to be sure it will be considered updated when it's remade.
531 2005-06-26  Paul D. Smith  <psmith@gnu.org>
533         * scripts/functions/shell: New test suite for the shell function.
535 2005-06-25  Paul D. Smith  <psmith@gnu.org>
537         * scripts/features/include: Test include/-include/sinclude with no
538         arguments.  Tests fix for Savannah bug #1761.
540         * scripts/misc/general3: Implement comprehensive testing of
541         backslash-newline behavior in command scripts: various types of
542         quoting, fast path / slow path, etc.
543         Tests fix for Savannah bug #1332.
545         * scripts/options/symlinks: Test symlinks to non-existent files.
546         Tests fix for Savannah bug #13280.
548         * scripts/misc/general3: Test semicolons in variable references.
549         Tests fix for Savannah bug #1454.
551         * scripts/variables/MAKE_RESTARTS: New file: test the
552         MAKE_RESTARTS variable.
553         * scripts/options/dash-B: Test re-exec doesn't loop infinitely.
554         Tests fix for Savannah bug #7566.
555         * scripts/options/dash-W: New file: test the -W flag, including
556         re-exec infinite looping.
558 2005-06-12  Paul D. Smith  <psmith@gnu.org>
560         * scripts/misc/close_stdout: Add a test for Savannah bug #1328.
561         This test only works on systems that have /dev/full (e.g., Linux).
563 2005-06-09  Paul D. Smith  <psmith@gnu.org>
565         * scripts/functions/foreach: Add a test for Savannah bug #11913.
567 2005-05-31  Boris Kolpackov  <boris@kolpackov.net>
569         * scripts/features/include: Add a test for Savannah bug #13216.
570         * scripts/features/patternrules: Add a test for Savannah bug #13218.
572 2005-05-13  Paul D. Smith  <psmith@gnu.org>
574         * scripts/features/conditionals: Add tests for the new if... else
575         if... endif syntax.
577 2005-05-03  Paul D. Smith  <psmith@gnu.org>
579         * scripts/variables/DEFAULT_GOAL: Rename DEFAULT_TARGET to
580         DEFAULT_GOAL.
582 2005-05-02  Paul D. Smith  <psmith@gnu.org>
584         * scripts/features/parallelism: Add a test for exporting recursive
585         variables containing $(shell ) calls.  Rewrite this script to use
586         run_make_test() everywhere.
588 2005-04-07  Paul D. Smith  <psmith@gnu.org>
590         * scripts/targets/SECONDARY: Add a test for Savannah bug #12331.
592 2005-03-15  Boris Kolpackov  <boris@kolpackov.net>
594         * scripts/variables/automatic: Add a test for Savannah bug #12320.
596 2005-03-10  Boris Kolpackov  <boris@kolpackov.net>
598         * scripts/features/patternrules: Add a test for Savannah bug #12267.
600 2005-03-09  Boris Kolpackov  <boris@kolpackov.net>
602         * scripts/variables/DEFAULT_TARGET: Add a test for Savannah
603         bug #12266.
605 2005-03-04  Boris Kolpackov  <boris@kolpackov.net>
607         * scripts/features/patternrules: Add a test for Savannah bug #12202.
609 2005-03-03  Boris Kolpackov  <boris@kolpackov.net>
611         * scripts/features/se_implicit: Add a test for stem
612         termination bug. Add a test for stem triple-expansion bug.
614         * scripts/features/se_statpat: Add a test for stem
615         triple-expansion bug.
617         * scripts/features/statipattrules: Change test #4 to reflect
618         new way empty prerequisite list is handled.
621 2005-03-01  Boris Kolpackov  <boris@kolpackov.net>
623         * scripts/features/statipattrules: Add a test for
624         Savannah bug #12180.
626 2005-02-28  Paul D. Smith  <psmith@gnu.org>
628         * scripts/options/dash-q: Add a test for Savannah bug # 7144.
630         * scripts/options/symlinks: New file to test checking of symlink
631         timestamps.  Can't use filename dash-L because it conflicts with
632         dash-l on case-insensitive filesystems.
634         * scripts/variables/MAKEFILE_LIST, scripts/variables/MFILE_LIST:
635         Rename MAKEFILE_LIST test to MFILE_LIST, for systems that need 8.3
636         unique filenames.
638 2005-02-28  Boris Kolpackov  <boris@kolpackov.net>
640         * scripts/variables/DEFAULT_TARGET: Test the .DEFAULT_TARGET
641         special variable.
643 2005-02-27  Boris Kolpackov  <boris@kolpackov.net>
645         * scripts/features/se_explicit: Test the second expansion in
646         explicit rules.
647         * scripts/features/se_implicit: Test the second expansion in
648         implicit rules.
649         * scripts/features/se_statpat: Test the second expansion in
650         static pattern rules.
651         * scripts/variables/automatic: Fix to work with the second
652         expansion.
654         * scripts/misc/general4: Add a test for bug #12091.
656 2005-02-27  Paul D. Smith  <psmith@gnu.org>
658         * scripts/functions/eval: Check that eval of targets within
659         command scripts fails.  See Savannah bug # 12124.
661 2005-02-26  Paul D. Smith  <psmith@gnu.org>
663         * test_driver.pl (compare_output): If a basic comparison of the
664         log and answer doesn't match, try harder: change all backslashes
665         to slashes and all CRLF to LF.  This helps on DOS/Windows systems.
667 2005-02-09  Paul D. Smith  <psmith@gnu.org>
669         * scripts/features/recursion: Test command line variable settings:
670         only one instance of a given variable should be provided.
672 2004-11-30  Boris Kolpackov  <boris@kolpackov.net>
674         * tests/scripts/functions/abspath: New file: test `abspath'
675         built-in function.
677         * tests/scripts/functions/realpath: New file: test `realpath'
678         built-in function.
680 2004-11-28  Paul D. Smith  <psmith@gnu.org>
682         * scripts/options/dash-C [WINDOWS32]: Add a test for bug #10252;
683         this doesn't really test anything useful in UNIX but...
685         * scripts/variables/SHELL: New file: test proper handling of SHELL
686         according to POSIX rules.  Fixes bug #1276.
688 2004-10-21  Boris Kolpackov  <boris@kolpackov.net>
690         * scripts/functions/word: Test $(firstword ) and $(lastword ).
692 2004-10-05  Boris Kolpackov  <boris@kolpackov.net>
694         * scripts/features/patspecific_vars: Test simple/recursive
695         variable expansion.
697 2004-09-28  Boris Kolpackov  <boris@kolpackov.net>
699         * scripts/features/include: Test dontcare flag inheritance
700         when rebuilding makefiles.
702 2004-09-27  Boris Kolpackov  <boris@kolpackov.net>
704         * scripts/features/patspecific_vars: Test exported variables.
706 2004-09-22  Paul D. Smith  <psmith@gnu.org>
708         * run_make_tests.pl (run_make_test): Don't add newlines to the
709         makestring or answer if they are completely empty.
711         * scripts/features/patternrules: Rename from implicit_prereq_eval.
713         * scripts/test_template: Rework the template.
715 2004-09-21  Boris Kolpackov  <boris@kolpackov.net>
717         * run_make_tests.pl: Change `#!/usr/local/bin/perl' to be
718         `#!/usr/bin/env perl'.
720         * scripts/features/implicit_prereq_eval: Test implicit rule
721         prerequisite evaluation code.
723 2004-09-21  Paul D. Smith  <psmith@gnu.org>
725         * run_make_tests.pl (run_make_test): Enhance to allow the make
726         string to be undef: in that case it reuses the previous make
727         string.  Allows multiple tests on the same makefile.
729         * scripts/variables/flavors: Add some tests for prefix characters
730         interacting with define/endef variables.
732 2004-09-20  Paul D. Smith  <psmith@gnu.org>
734         * scripts/functions/substitution: Rewrite to use run_make_test()
735         interface, and add test for substitution failures reported by
736         Markus Mauhart <qwe123@chello.at>.
738 2004-03-22  Paul D. Smith  <psmith@gnu.org>
740         * test_driver.pl (run_each_test, toplevel, compare_output): Change
741         to track both the testing categories _AND_ the number of
742         individual tests, and report both sets of numbers.
744 2004-02-21  Paul D. Smith  <psmith@gnu.org>
746         * scripts/functions/origin: Set our own environment variable
747         rather than relying on $HOME.
749 2004-01-21  Paul D. Smith  <psmith@gnu.org>
751         * scripts/features/conditionals: Test arguments to ifn?def which
752         contain whitespace (such as a function that is evaluated).  Bug
753         #7257.
755 2004-01-07  Paul D. Smith  <psmith@gnu.org>
757         * scripts/features/order_only: Test order-only prerequisites in
758         pattern rules (patch #2349).
760 2003-11-02  Paul D. Smith  <psmith@gnu.org>
762         * scripts/functions/if: Test if on conditionals with trailing
763         whitespace--bug #5798.
765         * scripts/functions/eval: Test eval in a non-file context--bug #6195.
767 2003-04-19  Paul D. Smith  <psmith@gnu.org>
769         * scripts/features/patspecific_vars: Test multiple patterns
770         matching the same target--Bug #1405.
772 2003-04-09  Paul D. Smith  <psmith@gnu.org>
774         * run_make_tests.pl (set_more_defaults): A new $port_type of
775         'OS/2' for (surprise!) OS/2.  Also choose a wait time of 2 seconds
776         for OS/2.
778 2003-03-28  Paul D. Smith  <psmith@gnu.org>
780         * scripts/targets/SECONDARY: Test the "global" .SECONDARY (with
781         not prerequisites)--Bug #2515.
783 2003-01-30  Paul D. Smith  <psmith@gnu.org>
785         * scripts/features/targetvars: Test very long target-specific
786         variable definition lines (longer than the default make buffer
787         length).  Tests patch # 1022.
789         * scripts/functions/eval: Test very recursive $(eval ...) calls
790         with simple variable expansion (bug #2238).
792         * scripts/functions/word: Test error handling for word and
793         wordlist functions (bug #2407).
795 2003-01-22  Paul D. Smith  <psmith@gnu.org>
797         * scripts/functions/call: Test recursive argument masking (bug
798         #1744).
800 2002-10-25  Paul D. Smith  <psmith@gnu.org>
802         * scripts/functions/eval: Test using $(eval ...) inside
803         conditionals (Bug #1516).
805 2002-10-14  Paul D. Smith  <psmith@gnu.org>
807         * scripts/options/dash-t: Add a test for handling -t on targets
808         with no commands (Bug #1418).
810 2002-10-13  Paul D. Smith  <psmith@gnu.org>
812         * scripts/features/targetvars: Add a test for exporting
813         target-specific vars (Bug #1391).
815 2002-10-05  Paul D. Smith  <psmith@gnu.org>
817         * scripts/variables/automatic: Add tests for $$(@), $${@}, $${@D},
818         and $${@F}.
820 2002-09-23  Paul D. Smith  <psmith@gnu.org>
822         * scripts/features/escape: Test handling of escaped comment
823         characters in targets and prerequisites.
825 2002-09-18  Paul D. Smith  <psmith@gnu.org>
827         * scripts/features/export: Test export/unexport of multiple
828         variables in a single command.
830 2002-09-17  Paul D. Smith  <psmith@gnu.org>
832         * scripts/features/targetvars: Tests for Bug #940: test
833         target-specific and pattern-specific variables in conjunction with
834         double-colon targets.
836 2002-09-10  Paul D. Smith  <psmith@gnu.org>
838         * test_driver.pl (compare_output): Match the new format for time
839         skew error messages.
841         * scripts/features/export: Created.  Add tests for export/unexport
842         capabilities, including exporting/unexporting expanded variables.
844         * scripts/features/conditionals: Add a test for expanded variables
845         in ifdef conditionals.
847 2002-09-04  Paul D. Smith  <psmith@gnu.org>
849         * scripts/features/reinvoke: Change touch/sleep combos to utouch
850         invocations.
851         * scripts/features/vpathgpath: Ditto.
852         * scripts/features/vpathplus: Ditto.
853         * scripts/options/dash-n: Ditto.
854         * scripts/targets/INTERMEDIATE: Ditto.
855         * scripts/targets/SECONDARY: Ditto.
857         * scripts/options/dash-t: Added a test for the -t bug fixed by
858         Henning Makholm.  This test was also contributed by Henning.
860         * scripts/misc/general4: Add a test suite for obscure algorithmic
861         features of make.  First test: make sure creation subdirectories
862         as prerequisites of targets works properly.
864         * scripts/misc/version: Remove this bogus test.
866 2002-08-07  Paul D. Smith  <psmith@gnu.org>
868         * scripts/misc/general3: Add a test for makefiles that don't end
869         in newlines.
871         * scripts/variables/special: Create tests for the special
872         variables (.VARIABLES and .TARGETS).  Comment out .TARGETS test
873         for now as it's not yet supported.
875 2002-08-01  Paul D. Smith  <psmith@gnu.org>
877         * scripts/options/dash-B: Add a test for the new -B option.
879 2002-07-11  Paul D. Smith  <psmith@gnu.org>
881         * run_make_tests.pl (valid_option): Add support for Valgrind.  Use
882         -valgrind option to the test suite.
883         (set_more_defaults): Set up the file descriptor to capture
884         Valgrind output.  We have to unset its close-on-exec flag; we
885         hardcode the value for F_SETFD (2) rather than load it; hopefully
886         this will help us avoid breaking the Windows/DOS test suite.
888 2002-07-10  Paul D. Smith  <psmith@gnu.org>
890         * scripts/variables/automatic: Add some tests for $$@, $$(@D), and
891         $$(@F).
893         * test_driver.pl (utouch): Create a new function that creates a
894         file with a specific timestamp offset.  Use of this function will
895         let us avoid lots of annoying sleep() invocations in the tests
896         just to get proper timestamping, which will make the tests run a
897         lot faster.  So far it's only used in the automatic test suite.
899 2002-07-09  Paul D. Smith  <psmith@gnu.org>
901         * scripts/variables/automatic: Create a test for automatic variables.
903 2002-07-08  Paul D. Smith  <psmith@gnu.org>
905         * scripts/features/order_only: Test new order-only prerequisites.
907 2002-07-07  Paul D. Smith  <psmith@gnu.org>
909         * scripts/functions/eval: Test new function.
910         * scripts/functions/value: Test new function.
911         * scripts/variables/MAKEFILE_LIST: Test new variable.
913 2002-04-28  Paul D. Smith  <psmith@gnu.org>
915         * scripts/functions/call: New test: transitive closure
916         implementation using $(call ...) to test variable recursion.
918 2002-04-21  Paul D. Smith  <psmith@gnu.org>
920         * test_driver.pl (compare_dir_tree): Ignore CVS and RCS
921         directories in the script directories.
923 2001-05-02  Paul D. Smith  <psmith@gnu.org>
925         * scripts/variables/flavors: Test define/endef scripts where only
926         one of the command lines is quiet.
928 2000-06-22  Paul D. Smith  <psmith@gnu.org>
930         * scripts/options/dash-q: New file; test the -q option.  Includes
931         a test for PR/1780.
933 2000-06-21  Paul D. Smith  <psmith@gnu.org>
935         * scripts/features/targetvars: Added a test for PR/1709: allowing
936         semicolons in target-specific variable values.
938 2000-06-19  Paul D. Smith  <psmith@gnu.org>
940         * scripts/functions/addsuffix: Test for an empty final argument.
941         Actually this bug might have happened for any function, but this
942         one was handy.
944 2000-06-17  Eli Zaretskii  <eliz@is.elta.co.il>
946         * scripts/options/general: If parallel jobs are not supported,
947         expect a warning message from Make.
949 2000-06-15  Eli Zaretskii  <eliz@is.elta.co.il>
951         * scripts/options/general: Don't try -jN with N != 1 if parallel
952         jobs are not supported.
954 2000-05-24  Paul D. Smith  <psmith@gnu.org>
956         * scripts/options/general: Test general option processing (PR/1716).
958 2000-04-11  Paul D. Smith  <psmith@gnu.org>
960         * scripts/functions/strip: Test empty value to strip (PR/1689).
962 2000-04-08  Eli Zaretskii  <eliz@is.elta.co.il>
964         * scripts/features/reinvoke: Sleep before updating the target
965         files in the first test, to ensure its time stamp really gets
966         newer; otherwise Make might re-exec more than once.
968 2000-04-07  Eli Zaretskii  <eliz@is.elta.co.il>
970         * scripts/features/double_colon: Don't run the parallel tests if
971         parallel jobs aren't supported.
973 2000-04-04  Paul D. Smith  <psmith@gnu.org>
975         * scripts/functions/word: wordlist doesn't swap arguments anymore.
977 2000-03-27  Paul D. Smith  <psmith@gnu.org>
979         * scripts/features/statipattrules: Test that static pattern rules
980         whose prerequisite patterns resolve to empty strings throw an
981         error (instead of dumping core).  Fixes PR/1670.
983         * scripts/features/reinvoke: Make more robust by touching "b"
984         first, to ensure it's not newer than "a".
985         Reported by Marco Franzen <Marco.Franzen@Thyron.com>.
986         * scripts/options/dash-n: Ditto.
988         * scripts/functions/call: Whoops.  The fix to PR/1527 caused
989         recursive invocations of $(call ...) to break.  I can't come up
990         with any way to get both working at the same time, so I backed out
991         the fix to 1527 and added a test case for recursive calls.  This
992         also tests the fix for PR/1610.
994         * scripts/features/double_colon: Test that circular dependencies
995         in double-colon rule sets are detected correctly (PR/1671).
997 2000-03-26  Paul D. Smith  <psmith@gnu.org>
999         * scripts/targets/INTERMEDIATE: Test that make doesn't remove
1000         .INTERMEDIATE files when given on the command line (PR/1669).
1002 2000-03-08  Paul D. Smith  <psmith@gnu.org>
1004         * scripts/options/dash-k: Add a test for error detection by
1005         multiple targets depending on the same prerequisite with -k.
1006         For PR/1634.
1008 2000-02-07  Paul D. Smith  <psmith@gnu.org>
1010         * scripts/features/escape: Add a test for backslash-escaped spaces
1011         in a target name (PR/1586).
1013 2000-02-04  Paul D. Smith  <psmith@gnu.org>
1015         * scripts/features/patspecific_vars: Add a test for pattern-specific
1016         target variables inherited from the parent target (PR/1407).
1018 2000-02-02  Paul D. Smith  <psmith@gnu.org>
1020         * run_make_tests.pl (set_more_defaults): Hard-code the LANG to C
1021         to make sure sorting order, etc. is predictable.
1022         Reported by Andreas Jaeger <aj@suse.de>.
1024         * run_make_tests.pl (set_more_defaults): Set the $wtime variable
1025         depending on the OS.  Eli Zaretskii <eliz@is.elta.co.il> reports
1026         this seems to need to be *4* on DOS/Windows, not just 2.  Keep it
1027         1 for other systems.
1028         * scripts/features/vpathplus (touchfiles): Use the $wtime value
1029         instead of hardcoding 2.
1030         * scripts/targets/SECONDARY: Ditto.
1031         * scripts/targets/INTERMEDIATE: Ditto.
1033 2000-01-27  Paul D. Smith  <psmith@gnu.org>
1035         * test_driver.pl (toplevel): Don't try to run test scripts which
1036         are really directories.
1038 2000-01-23  Paul D. Smith  <psmith@gnu.org>
1040         * scripts/features/include: Remove a check; the fix caused more
1041         problems than the error, so I removed it and removed the test for
1042         it.
1044 2000-01-11  Paul D. Smith  <psmith@gnu.org>
1046         * scripts/functions/call: Add a test for PR/1517 and PR/1527: make
1047         sure $(call ...) doesn't eval its arguments and that you can
1048         invoke foreach from it without looping forever.
1050 1999-12-15  Paul D. Smith  <psmith@gnu.org>
1052         * scripts/targets/INTERMEDIATE: Add a test for PR/1423: make sure
1053         .INTERMEDIATE settings on files don't disable them as implicit
1054         intermediate possibilities.
1056 1999-12-01  Paul D. Smith  <psmith@gnu.org>
1058         * scripts/features/double_colon: Add a test for PR/1476: Try
1059         double-colon rules as non-goal targets and during parallel builds
1060         to make sure they're handled serially.
1062 1999-11-17  Paul D. Smith  <psmith@gnu.org>
1064         * scripts/functions/if: Add a test for PR/1429: put some text
1065         after an if-statement to make sure it works.
1067         * scripts/features/targetvars: Add a test for PR/1380: handling +=
1068         in target-specific variable definitions correctly.
1070 1999-10-15  Paul D. Smith  <psmith@gnu.org>
1072         * scripts/variables/MAKEFILES: This was really broken: it didn't
1073         test anything at all, really.  Rewrote it, plus added a test for
1074         PR/1394.
1076 1999-10-13  Paul D. Smith  <psmith@gnu.org>
1078         * scripts/options/dash-n: Add a test for PR/1379: "-n doesn't
1079         behave properly when used with recursive targets".
1081 1999-10-08  Paul D. Smith  <psmith@gnu.org>
1083         * scripts/features/targetvars: Add a check for PR/1378:
1084         "Target-specific vars don't inherit correctly"
1086 1999-09-29  Paul D. Smith  <psmith@gnu.org>
1088         * test_driver.pl (get_osname): Change $fancy_file_names to
1089         $short_filenames and reverse the logic.
1090         (run_each_test): Change test of non-existent $port_host to use
1091         $short_filenames--problem reported by Eli Zaretskii.
1093 1999-09-23  Paul D. Smith  <psmith@gnu.org>
1095         * scripts/features/parallelism: Add a check to ensure that the
1096         jobserver works when we re-invoke.  Also cleaned up the tests a
1097         little, reducing the number of rules we use so the test won't need
1098         as many "sleep" commands.
1100 1999-09-16  Paul D. Smith  <psmith@gnu.org>
1102         * scripts/features/reinvoke: Remove invocations of "touch" in
1103         makefiles.  See the comments on the touch function rewrite below.
1104         Note that UNIX touch behaves the same way if the file already
1105         exists: it sets the time to the _local_ time.  We don't want
1106         this.  This is probably a good tip for makefile writers in
1107         general, actually... where practical.
1108         * scripts/options/dash-l: Ditto.
1109         * scripts/options/dash-n: Ditto.
1111         * test_driver.pl (run_each_test): In retrospect, I don't like the
1112         .lN/.bN/.dN postfix required by DOS.  So, for non-DOS systems I
1113         changed it back to use .log, .base, and .diff.
1115         * run_make_tests.pl (set_more_defaults): Move the check for the
1116         make pathname to here from set_defaults (that's too early since it
1117         happens before the command line processing).
1118         Create a new variable $port_type, calculated from $osname, to
1119         specify what kind of system we're running on.  We should integrate
1120         the VOS stuff here, too.
1121         (valid_option): Comment out the workdir/-work stuff so people
1122         won't be fooled into thinking it works... someone needs to fix
1123         this, though!
1125         * scripts/functions/origin: Use $port_type instead of $osname.
1126         * scripts/functions/foreach: Ditto.
1127         * scripts/features/default_names: Ditto.
1129 1999-09-15  Paul D. Smith  <psmith@gnu.org>
1131         * test_driver.pl (touch): Rewrite this function.  Previously it
1132         used to use utime() to hard-set the time based on the current
1133         local clock, or, if the file didn't exist, it merely created it.
1134         This mirrors exactly what real UNIX touch does, but it fails badly
1135         on networked filesystems where the FS server clock is skewed from
1136         the local clock: normally modifying a file causes it to get a mod
1137         time based on the _server's_ clock.  Hard-setting it based on the
1138         _local_ clock causes gratuitous errors and makes the tests
1139         unreliable except on local filesystems.  The new function will
1140         simply modify the file, allowing the filesystem to set the mod
1141         time as it sees fit.
1143         * scripts/features/parallelism: The second test output could
1144         change depending on how fast some scripts completed; use "sleep"
1145         to force the order we want.
1147         * test_driver.pl (toplevel): A bug in Perl 5.000 to Perl 5.004
1148         means that "%ENV = ();" doesn't do the right thing.  This worked
1149         in Perl 4 and was fixed in Perl 5.004_01, but use a loop to delete
1150         the environment rather than require specific versions.
1152         * run_make_tests.pl (set_more_defaults): Don't use Perl 5 s///
1153         modifier "s", so the tests will run with Perl 4.
1154         (set_more_defaults): Set $pure_log to empty if there's no -logfile
1155         option in PURIFYOPTIONS.
1156         (setup_for_test): Don't remove any logs unless $pure_log is set.
1158 1999-09-15  Eli Zaretskii  <eliz@is.elta.co.il>
1160         * scripts/features/reinvoke: Put the SHELL definition in the right
1161         test makefile.
1163 1999-09-15  Paul D. Smith  <psmith@gnu.org>
1165         ChangeLog file for the test suite created.
1168 Copyright (C) 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999, 2000, 2001, 2002,
1169 2003, 2004, 2005, 2006, 2007, 2008, 2009, 2011, 2012 Free Software Foundation,
1170 Inc.
1171 This file is part of GNU Make.
1173 GNU Make is free software; you can redistribute it and/or modify it under the
1174 terms of the GNU General Public License as published by the Free Software
1175 Foundation; either version 3 of the License, or (at your option) any later
1176 version.
1178 GNU Make is distributed in the hope that it will be useful, but WITHOUT ANY
1179 WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR
1180 A PARTICULAR PURPOSE.  See the GNU General Public License for more details.
1182 You should have received a copy of the GNU General Public License along with
1183 this program.  If not, see <http://www.gnu.org/licenses/>.