Ensure that .ONESHELL works with .SHELLFLAGS options containing whitespace.
[make.git] / tests / ChangeLog
blob7e7db501cc2634a18c01d5adc4e1036881cb7670
1 2012-03-03  Paul Smith  <psmith@gnu.org>
3         * scripts/variables/SHELL: Ensure .SHELLFLAGS works with options
4         separated by whitespace.
6         * scripts/targets/ONESHELL: Try .ONESHELL in combination with
7         whitespace-separated options in .SHELLFLAGS.  See Savannah bug #35397.
9         * scripts/functions/filter-out: Add filter tests and test escape
10         operations.  See Savannah bug #35410.
12         * guile.supp: Suppress valgrind errors from Guile
13         * run_make_tests.pl: Use the Guile suppression file.
15         * scripts/misc/bs-nl: Check for POSIX and non-POSIX
16         backslash/newline handling.  Addresses Savannah bug #16670.
18 2012-01-29  Paul Smith  <psmith@gnu.org>
20         * scripts/variables/flavors: Add tests for ::=
21         * scripts/variables/define: Ditto
23         * scripts/functions/file: Test the new $(file ...) function.
25 2012-01-12  Paul Smith  <psmith@gnu.org>
27         * scripts/functions/guile: New regression tests for Guile support.
29 2011-12-10  Paul Smith  <psmith@gnu.org>
31         * scripts/targets/SECONDARY: Add prereq statements to ensure rules
32         are printed in the right order for test #9
34 2011-11-14  Paul Smith  <psmith@gnu.org>
36         * scripts/features/double_colon: Check double-colon with escaped
37         filenames.  See Savannah bug #33399.
39 2011-09-18  Paul Smith  <psmith@gnu.org>
41         * scripts/features/parallelism: On re-exec make sure we preserve
42         the value of MAKEFLAGS when necessary.  See Savannah bug #33873.
44         * scripts/features/vpath3: Verify handling of -lfoo libraries
45         found via vpath vs. the standard directory search.
46         See Savannah bug #32511.
48 2011-09-12  Paul Smith  <psmith@gnu.org>
50         * scripts/functions/call: Verify that using export in a $(call ...)
51         context creates a global variable.  See Savannah bug #32498.
53 2011-09-02  Paul Smith  <psmith@gnu.org>
55         * scripts/options/dash-n: Verify that in "-n -t", the -n takes
56         priority.  Patch from Michael Witten <mfwitten@gmail.com>.
58 2011-08-29  Paul Smith  <psmith@gnu.org>
60         * scripts/features/varnesting: Test resetting of variables while
61         expanding them.  See Savannah patch #7534
63 2011-06-12  Paul Smith  <psmith@gnu.org>
65         * scripts/features/archives: Check archives with whitespace at the
66         beginning, end, and extra in the middle.
67         Another test for Savannah bug #30612.
69 2011-05-07  Paul Smith  <psmith@gnu.org>
71         * scripts/variables/private: Ensure we skip private variables when
72         appending.  Test for Savannah bug #32872.
74         * scripts/functions/wildcard: Verify wildcard used to test for
75         file existence/non-existence.
77 2011-05-02  Paul Smith  <psmith@gnu.org>
79         * scripts/functions/sort: Add a test for Savannah bug #33125.
81 2011-04-17  David A. Wheeler  <dwheeler@dwheeler.com>
83         * scripts/features/shell_assignment: Regression for "!=" feature
85 2010-11-06  Paul Smith  <psmith@gnu.org>
87         * scripts/features/targetvars: Fix known-good output for BS/NL changes.
88         * scripts/functions/call: Ditto.
89         * scripts/variables/special: Ditto.
91         * scripts/misc/bs-nl: New test suite for backslash/newline testing.
93 2010-08-29  Paul Smith  <psmith@gnu.org>
95         * scripts/features/errors: Add new error message to output text.
96         * scripts/variables/SHELL: Ditto.
97         * scripts/targets/POSIX: Ditto.
98         * scripts/options/dash-k: Ditto.
99         * scripts/features/vpathplus: Ditto.
100         * scripts/features/patternrules: Ditto.
101         * scripts/features/parallelism: Ditto.
103 2010-08-13  Paul Smith  <psmith@gnu.org>
105         * scripts/features/archives: New regression tests for archive
106         support.  Test for fix to Savannah bug #30612.
108         * run_make_tests.pl (set_more_defaults): Set a %FEATURES hash to
109         the features available in $(.FEATURES).
111 2010-08-10  Paul Smith  <psmith@gnu.org>
113         * scripts/features/reinvoke: Ensure command line variable settings
114         are preserved across make re-exec.  Tests Savannah bug #30723.
116 2010-07-28  Paul Smith  <psmith@gnu.org>
118         * scripts/targets/POSIX: Compatibility issues with Solaris (and
119         Tru64?); "false" returns different exit codes, and set -x shows
120         output with extra whitespace.  Run the commands by hand first to
121         find out what the real shell would do, then compare what make does.
122         * scripts/variables/SHELL: Ditto.
124 2010-07-12  Paul Smith  <psmith@gnu.org>
126         * test_driver.pl: Add a new $perl_name containing the path to Perl.
127         * run_make_tests.pl (run_make_test): Replace the special string
128         #PERL# in a makefile etc. with the path the Perl executable so
129         makefiles can use it.
131         * scripts/targets/ONESHELL: Add a new set of regression tests for
132         the .ONESHELL feature.
134 2010-07-06  Paul Smith  <psmith@gnu.org>
136         * scripts/variables/SHELL: Test the new .SHELLFLAGS variable.
138         * scripts/targets/POSIX: New file.  Test the .POSIX special target.
139         Verify that enabling .POSIX changes the shell flags to set -e.
141 2010-07-01  Paul Smith  <psmith@gnu.org>
143         * scripts/features/recursion: Add a space to separate command-line
144         args.  Fixes Savannah bug #29968.
146 2009-11-12  Boris Kolpackov  <boris@codesynthesis.com>
148         * scripts/features/vpath3: Test for the new library search
149         behavior.
151 2009-10-06  Boris Kolpackov  <boris@codesynthesis.com>
153         * scripts/features/se_explicit: Enable the test for now fixed
154         Savannah bug 25780.
156 2009-10-06  Boris Kolpackov  <boris@codesynthesis.com>
158         * scripts/variables/undefine: Tests for the new undefine feature.
160 2009-10-03  Paul Smith  <psmith@gnu.org>
162         * scripts/features/parallelism: Test for open Savannah bug #26846.
164         * scripts/variables/MAKE: Rewrite for new run_make_test() format.
166         * scripts/variables/MAKEFLAGS: Created.
167         Add test for Savannah bug #2216 (still open).
169         * scripts/features/include: Test for Savannah bug #102 (still open).
171 2009-09-30  Boris Kolpackov  <boris@codesynthesis.com>
173         * scripts/features/include: Add diagnostics issuing tests for
174         cases where targets have been updated and failed with the
175         dontcare flag. Savannah bugs #15110, #25493, #12686, #17740.
177 2009-09-28  Paul Smith  <psmith@gnu.org>
179         * scripts/functions/shell: Add regression test for Savannah bug
180         #20513 (still open).
182         * scripts/features/se_explicit: Add regression tests for Savannah
183         bug #25780 (still open).
185         * run_make_tests.pl (valid_option): Add a new flag, -all([-_]?tests)?
186         that runs tests we know will fail.  This allows us to add
187         regression tests to the test suite for bugs that haven't been
188         fixed yet.
190 2009-09-28  Boris Kolpackov  <boris@codesynthesis.com>
192         * scripts/features/patspecific_vars: Add a test for the shortest
193         stem first order.
195         * scripts/features/patternrules: Add a test for the shortest stem
196         first order.
198 2009-09-24  Paul Smith  <psmith@gnu.org>
200         * scripts/features/se_implicit: Add a test for order-only
201         secondary expansion prerequisites.
203 2009-09-23  Paul Smith  <psmith@gnu.org>
205         * scripts/features/patternrules: Test that we can remove pattern
206         rules, both single and multiple prerequisites.  Savannah bug #18622.
208         * scripts/features/echoing: Rework for run_make_test().
210 2009-06-14  Paul Smith  <psmith@gnu.org>
212         * scripts/features/vpath: Verify we don't get bogus circular
213         dependency warnings if we choose a different file via vpath during
214         update.  Savannah bug #13529.
216 2009-06-13  Paul Smith  <psmith@gnu.org>
218         * scripts/variables/MAKEFILES: Verify that MAKEFILES included
219         files (and files included by them) don't set the default goal.
220         Savannah bug #13401.
222         * scripts/functions/wildcard: Test that wildcards with
223         non-existent glob matchers return empty.
225 2009-06-09  Paul Smith  <psmith@gnu.org>
227         * scripts/options/dash-B: Test the $? works correctly with -B.
228         Savannah bug #17825.
230         * scripts/features/patternrules: Test that dependencies of
231         "also_make" targets are created properly.  Savannah bug #19108.
233         * test_driver.pl (compare_output): Create a "run" file for failed
234         tests containing the command that was run.
235         (get_runfile): New function.
237         * run_make_tests.pl (valid_option): Enhanced support for valgrind:
238         allow memcheck and massif tools.
240         * scripts/features/patternrules: Have to comment out a line in the
241         first test due to backing out a change that broke the implicit
242         rule search algorithm.  Savannah bug #17752.
243         * scripts/misc/general4: Remove a test that is redundant with
244         patternrules.
246         * scripts/features/parallelism: Add a test for re-exec with
247         jobserver master override.  Savannah bug #18124.
249 2009-06-08  Paul Smith  <psmith@gnu.org>
251         * scripts/features/targetvars: Add a test for continued target
252         vars after a semicolon.  Savannah bug #17521.
254 2009-06-07  Paul Smith  <psmith@gnu.org>
256         * scripts/features/se_explicit: Make sure we catch defining
257         prereqs during snap_deps().  Savannah bug #24622.
259         * scripts/variables/automatic: Check prereq ordering when the
260         target with the recipe has no prereqs.  Savannah bug #21198.
262         * scripts/variables/LIBPATTERNS: Add a new set of test for
263         $(.LIBPATTERNS) (previously untested!)
265 2009-06-04  Paul Smith  <psmith@gnu.org>
267         * scripts/variables/SHELL: The export target-specific SHELL test
268         has an incorrect known-good-value.
270         * scripts/misc/general4: Check for whitespace (ffeed, vtab, etc.)
272         * scripts/features/se_explicit: Add tests for Savannah bug #24588.
274 2009-05-31  Paul Smith  <psmith@gnu.org>
276         * scripts/variables/DEFAULT_GOAL: Add tests for Savannah bug #25697.
278         * scripts/features/targetvars: Add tests of overrides for Savannah
279         bug #26207.
280         * scripts/features/patspecific_vars: Ditto.
282         * scripts/features/patternrules: Add a test for Savannah bug #26593.
284 2009-05-30  Paul Smith  <psmith@gnu.org>
286         * scripts/variables/flavors: Update with new variable flavor tests.
287         * scripts/variables/define: Create a new set of tests for
288         define/endef and move those aspects of the flavors suite here.
290 2009-05-25  Paul Smith  <psmith@gnu.org>
292         * scripts/features/targetvars: Ditto.
294         * scripts/features/export: Test new variable parsing abilities.
296 2009-02-23  Ramon Garcia  <ramon.garcia.f@gmail.com>
298         * scripts/variables/private: Create a new suite of tests for 'private'.
300 2007-11-04  Paul Smith  <psmith@gnu.org>
302         * scripts/functions/eval: Update error message for command -> recipe.
304         * test_driver.pl (compare_output): Allow the answer to be a regex,
305         if surrounded by '/'.
306         * scripts/misc/close_stdout: Use a regex for the answer, since
307         sometimes the error will have a description and sometimes it won't.
309 2007-09-10  Paul Smith  <psmith@gnu.org>
311         * scripts/variables/special: Add tests for .RECIPEPREFIX variable.
313 2007-08-15  Paul Smith  <psmith@gnu.org>
315         These test cases were contributed by
316         Icarus Sparry <savannah@icarus.freeuk.com> and J. David Bryan for
317         Savannah bugs #3330 and #15919.
319         * scripts/targets/SECONDARY: Add tests for Savannah bugs 3330 and
320         15919.
322         * scripts/features/parallelism: Add tests for wrong answer/hang
323         combining INTERMEDIATE, order-only prereqs, and parallelism.
324         See Savannah bugs 3330 and 15919.
326 2007-07-13  Paul Smith  <psmith@gnu.org>
328         Install a timeout so tests can never loop infinitely.
329         Original idea and patch for a single-test version provided by
330         Icarus Sparry <savannah@icarus.freeuk.com>
332         * test_driver.pl (_run_command): New function: this is called by
333         other functions to actually run a command.  Before we run it,
334         install a SIGALRM handler and set up a timer to go off in the
335         future (default is 5s; this can be overridden by individual tests).
336         (run_command): Call it.
337         (run_command_with_output): Call it.
339         * run_make_tests.pl (run_make_with_options): Override the default
340         timeout if the caller requests it.
341         (run_make_test): Pass any timeout override to run_make_with_options.
343         * scripts/features/parallelism: Increase the timeout for long tests.
344         * scripts/options/dash-l: Ditto.
346 2006-10-01  Paul Smith  <psmith@paulandlesley.org>
348         * run_make_tests.pl (set_more_defaults): Remove setting of LANG in
349         ENV here.  This doesn't always work.
350         * test_driver.pl (toplevel): Set LC_ALL to 'C' in the make
351         environment.  Fixes Savannah bug #16698.
353 2006-09-30  Paul Smith  <psmith@paulandlesley.org>
355         * scripts/variables/automatic: Add back the test for bug #8154.
357 2006-04-01  Paul D. Smith  <psmith@gnu.org>
359         * scripts/functions/realpath: Don't run tests with multiple
360         initial slashes on Windows: those paths mean something different.
362 2006-03-19  Paul D. Smith  <psmith@gnu.org>
364         * scripts/features/parallelism: Test that the jobserver is
365         properly managed when we have to re-exec the master instance of
366         make.
368 2006-03-17  Boris Kolpackov  <boris@kolpackov.net>
370         * scripts/features/statipattrules: Add tests for bug #16053.
372 2006-03-09  Paul Smith  <psmith@gnu.org>
374         * scripts/features/escape: Use "pre:" not "p:" to avoid conflicts
375         with DOS drive letters.  Fixes Savannah bug #15947.
377         * test_driver.pl (run_each_test): Set the status properly even
378         when a test fails to execute.  Fixes Savannah bug #15942.
380         * scripts/functions/foreach: Use a different environment variable
381         other than PATH to avoid differences with Windows platforms.
382         Fixes Savannah bug #15938.
384 2006-03-05  Paul D. Smith  <psmith@gnu.org>
386         * run_make_tests.pl (set_more_defaults): Add CYGWIN_NT as a port
387         type W32.  Fixed Savannah bug #15937.
389         * scripts/features/default_names: Don't call error() when the test
390         fails.  Fixes Savannah bug #15941.
392 2006-02-17  Paul D. Smith  <psmith@gnu.org>
394         * scripts/features/targetvars: Test a complex construction which
395         guarantees that we have to merge variable lists of different
396         sizes.  Tests for Savannah bug #15757.
398 2006-02-15  Paul D. Smith  <psmith@gnu.org>
400         * scripts/functions/error: Make sure filename/lineno information
401         is related to where the error is expanded, not where it's set.
402         * scripts/functions/warning: Ditto.
403         * scripts/functions/foreach: Check for different error conditions.
404         * scripts/functions/word: Ditto.
405         * scripts/variables/negative: Test some variable reference failure
406         conditions.
407         * scripts/options/warn-undefined-variables: Test the
408         --warn-undefined-variables flag.
410 2006-02-09  Paul D. Smith  <psmith@gnu.org>
412         * run_make_tests.pl (set_more_defaults): Update valgrind support
413         for newer versions.
414         * test_driver.pl (toplevel): Skip all hidden files/directories (ones
415         beginning with ".").
417         * scripts/functions/andor: Tests for $(and ..) and $(or ...)
418         functions.
420 2006-02-08  Boris Kolpackov  <boris@kolpackov.net>
422         * scripts/features/parallelism: Add a test for bug #15641.
424 2006-02-06  Paul D. Smith  <psmith@gnu.org>
426         * scripts/options/dash-W: Add a test for bug #15341.
428 2006-01-03  Paul D. Smith  <psmith@gnu.org>
430         * scripts/variables/automatic: Add a test for bug #8154.
432         * README: Update to reflect the current state of the test suite.
434 2005-12-12  Paul D. Smith  <psmith@gnu.org>
436         * scripts/features/parallelism, scripts/functions/wildcard,
437         scripts/targets/FORCE, scripts/targets/PHONY,
438         scripts/targets/SILENT: Use the default setting for
439         $delete_command.  Fixes bug #15085.
441         * run_make_tests.pl (get_this_pwd) [VMS]: Use -no_ask with delete_file.
443 2005-12-11  Paul D. Smith  <psmith@gnu.org>
445         * scripts/misc/general4: Test implicit rules with '$' in the
446         prereq list & prereq patterns.
447         * scripts/features/se_implicit: Add in .SECONDEXPANSION settings.
449 2005-12-09  Boris Kolpackov  <boris@kolpackov.net>
451         * scripts/features/patternrules: Add a test for bug #13022.
453 2005-12-07  Boris Kolpackov  <boris@kolpackov.net>
455         * scripts/features/double_colon: Add a test for bug #14334.
457 2005-11-17  Boris Kolpackov  <boris@kolpackov.net>
459         * scripts/functions/flavor: Add a test for the flavor function.
461 2005-11-14  Boris Kolpackov  <boris@kolpackov.net>
463         * scripts/variables/INCLUDE_DIRS: Add a test for the .INCLUDE_DIRS
464         special variable.
466 2005-10-24  Paul D. Smith  <psmith@gnu.org>
468         * scripts/misc/general4: Test '$$' in prerequisites list.
469         * scripts/features/statipattrules: Rewrite to use run_make_test().
470         Add various static pattern info.
471         * scripts/features/se_statpat: Enable .SECONDEXPANSION target.
472         * scripts/features/se_explicit: Add tests for handling '$$' in
473         prerequisite lists with and without setting .SECONDEXPANSION.
474         * scripts/features/order_only: Convert to run_make_test().
475         * run_make_tests.pl (set_more_defaults): If we can't get the value
476         of $(MAKE) from make, then fatal immediately.
478 2005-08-31  Paul D. Smith  <psmith@gnu.org>
480         * run_make_tests.pl (get_this_pwd): Require the POSIX module (in
481         an eval to trap errors) and if it exists, use POSIX::getcwd to
482         find the working directory.  If it doesn't exist, go back to the
483         previous methods.  This tries to be more accurate on Windows
484         systems.
486 2005-08-29  Paul D. Smith  <psmith@gnu.org>
488         * scripts/functions/abspath: Add some text to the error messages
489         to get a better idea of what's wrong.  Make warnings instead of
490         errors.
492         * scripts/features/patspecific_vars: Don't use "test", which is
493         UNIX specific.  Print the values and let the test script match
494         them.
496 2005-08-25  Paul Smith  <psmith@gnu.org>
498         * scripts/variables/SHELL: Use a /./ prefix instead of //: the
499         former works better with non-UNIX environments.  Fixes Savannah
500         bug #14129.
502 2005-08-13  Boris Kolpackov  <boris@kolpackov.net>
504         * scripts/functions/wildcard: Wrap calls to $(wildcard ) with
505         $(sort) so that the resulting order is no longer filesystem-
506         dependant.
508 2005-08-10  Boris Kolpackov  <boris@kolpackov.net>
510         * scripts/features/statipattrules: Add a test for Savannah bug #13881.
512 2005-08-07  Paul D. Smith  <psmith@gnu.org>
514         * scripts/features/parallelism: Add a test for a bug reported by
515         Michael Matz (matz@suse.de) in which make exits without waiting
516         for all its children in some situations during parallel builds.
518 2005-07-08  Paul D. Smith  <psmith@gnu.org>
520         * test_driver.pl: Reset the environment to a clean value every
521         time before we invoke make.  I'm suspicious that the environment
522         isn't handled the same way in Windows as it is in UNIX, and some
523         variables are leaking out beyond the tests they are intended for.
524         Create an %extraENV hash tests can set to add more env. vars.
525         * tests/scripts/features/export: Change to use %extraENV.
526         * tests/scripts/functions/eval: Ditto.
527         * tests/scripts/functions/origin: Ditto.
528         * tests/scripts/options/dash-e: Ditto.
529         * tests/scripts/variables/SHELL: Ditto.
531 2005-06-27  Paul D. Smith  <psmith@gnu.org>
533         * scripts/options/dash-W: Use 'echo >>' instead of touch to update
534         files.
535         * scripts/features/reinvoke: Rewrite to be safer on systems with
536         subsecond timestamps.
537         * scripts/features/patternrules: False exits with different error
538         codes on different systems (for example, Linux => 1, Solaris => 255).
540         * scripts/options/dash-W: Set the timestamp to foo.x in the future,
541         to be sure it will be considered updated when it's remade.
543 2005-06-26  Paul D. Smith  <psmith@gnu.org>
545         * scripts/functions/shell: New test suite for the shell function.
547 2005-06-25  Paul D. Smith  <psmith@gnu.org>
549         * scripts/features/include: Test include/-include/sinclude with no
550         arguments.  Tests fix for Savannah bug #1761.
552         * scripts/misc/general3: Implement comprehensive testing of
553         backslash-newline behavior in command scripts: various types of
554         quoting, fast path / slow path, etc.
555         Tests fix for Savannah bug #1332.
557         * scripts/options/symlinks: Test symlinks to non-existent files.
558         Tests fix for Savannah bug #13280.
560         * scripts/misc/general3: Test semicolons in variable references.
561         Tests fix for Savannah bug #1454.
563         * scripts/variables/MAKE_RESTARTS: New file: test the
564         MAKE_RESTARTS variable.
565         * scripts/options/dash-B: Test re-exec doesn't loop infinitely.
566         Tests fix for Savannah bug #7566.
567         * scripts/options/dash-W: New file: test the -W flag, including
568         re-exec infinite looping.
570 2005-06-12  Paul D. Smith  <psmith@gnu.org>
572         * scripts/misc/close_stdout: Add a test for Savannah bug #1328.
573         This test only works on systems that have /dev/full (e.g., Linux).
575 2005-06-09  Paul D. Smith  <psmith@gnu.org>
577         * scripts/functions/foreach: Add a test for Savannah bug #11913.
579 2005-05-31  Boris Kolpackov  <boris@kolpackov.net>
581         * scripts/features/include: Add a test for Savannah bug #13216.
582         * scripts/features/patternrules: Add a test for Savannah bug #13218.
584 2005-05-13  Paul D. Smith  <psmith@gnu.org>
586         * scripts/features/conditionals: Add tests for the new if... else
587         if... endif syntax.
589 2005-05-03  Paul D. Smith  <psmith@gnu.org>
591         * scripts/variables/DEFAULT_GOAL: Rename DEFAULT_TARGET to
592         DEFAULT_GOAL.
594 2005-05-02  Paul D. Smith  <psmith@gnu.org>
596         * scripts/features/parallelism: Add a test for exporting recursive
597         variables containing $(shell ) calls.  Rewrite this script to use
598         run_make_test() everywhere.
600 2005-04-07  Paul D. Smith  <psmith@gnu.org>
602         * scripts/targets/SECONDARY: Add a test for Savannah bug #12331.
604 2005-03-15  Boris Kolpackov  <boris@kolpackov.net>
606         * scripts/variables/automatic: Add a test for Savannah bug #12320.
608 2005-03-10  Boris Kolpackov  <boris@kolpackov.net>
610         * scripts/features/patternrules: Add a test for Savannah bug #12267.
612 2005-03-09  Boris Kolpackov  <boris@kolpackov.net>
614         * scripts/variables/DEFAULT_TARGET: Add a test for Savannah
615         bug #12266.
617 2005-03-04  Boris Kolpackov  <boris@kolpackov.net>
619         * scripts/features/patternrules: Add a test for Savannah bug #12202.
621 2005-03-03  Boris Kolpackov  <boris@kolpackov.net>
623         * scripts/features/se_implicit: Add a test for stem
624         termination bug. Add a test for stem triple-expansion bug.
626         * scripts/features/se_statpat: Add a test for stem
627         triple-expansion bug.
629         * scripts/features/statipattrules: Change test #4 to reflect
630         new way empty prerequisite list is handled.
633 2005-03-01  Boris Kolpackov  <boris@kolpackov.net>
635         * scripts/features/statipattrules: Add a test for
636         Savannah bug #12180.
638 2005-02-28  Paul D. Smith  <psmith@gnu.org>
640         * scripts/options/dash-q: Add a test for Savannah bug # 7144.
642         * scripts/options/symlinks: New file to test checking of symlink
643         timestamps.  Can't use filename dash-L because it conflicts with
644         dash-l on case-insensitive filesystems.
646         * scripts/variables/MAKEFILE_LIST, scripts/variables/MFILE_LIST:
647         Rename MAKEFILE_LIST test to MFILE_LIST, for systems that need 8.3
648         unique filenames.
650 2005-02-28  Boris Kolpackov  <boris@kolpackov.net>
652         * scripts/variables/DEFAULT_TARGET: Test the .DEFAULT_TARGET
653         special variable.
655 2005-02-27  Boris Kolpackov  <boris@kolpackov.net>
657         * scripts/features/se_explicit: Test the second expansion in
658         explicit rules.
659         * scripts/features/se_implicit: Test the second expansion in
660         implicit rules.
661         * scripts/features/se_statpat: Test the second expansion in
662         static pattern rules.
663         * scripts/variables/automatic: Fix to work with the second
664         expansion.
666         * scripts/misc/general4: Add a test for bug #12091.
668 2005-02-27  Paul D. Smith  <psmith@gnu.org>
670         * scripts/functions/eval: Check that eval of targets within
671         command scripts fails.  See Savannah bug # 12124.
673 2005-02-26  Paul D. Smith  <psmith@gnu.org>
675         * test_driver.pl (compare_output): If a basic comparison of the
676         log and answer doesn't match, try harder: change all backslashes
677         to slashes and all CRLF to LF.  This helps on DOS/Windows systems.
679 2005-02-09  Paul D. Smith  <psmith@gnu.org>
681         * scripts/features/recursion: Test command line variable settings:
682         only one instance of a given variable should be provided.
684 2004-11-30  Boris Kolpackov  <boris@kolpackov.net>
686         * tests/scripts/functions/abspath: New file: test `abspath'
687         built-in function.
689         * tests/scripts/functions/realpath: New file: test `realpath'
690         built-in function.
692 2004-11-28  Paul D. Smith  <psmith@gnu.org>
694         * scripts/options/dash-C [WINDOWS32]: Add a test for bug #10252;
695         this doesn't really test anything useful in UNIX but...
697         * scripts/variables/SHELL: New file: test proper handling of SHELL
698         according to POSIX rules.  Fixes bug #1276.
700 2004-10-21  Boris Kolpackov  <boris@kolpackov.net>
702         * scripts/functions/word: Test $(firstword ) and $(lastword ).
704 2004-10-05  Boris Kolpackov  <boris@kolpackov.net>
706         * scripts/features/patspecific_vars: Test simple/recursive
707         variable expansion.
709 2004-09-28  Boris Kolpackov  <boris@kolpackov.net>
711         * scripts/features/include: Test dontcare flag inheritance
712         when rebuilding makefiles.
714 2004-09-27  Boris Kolpackov  <boris@kolpackov.net>
716         * scripts/features/patspecific_vars: Test exported variables.
718 2004-09-22  Paul D. Smith  <psmith@gnu.org>
720         * run_make_tests.pl (run_make_test): Don't add newlines to the
721         makestring or answer if they are completely empty.
723         * scripts/features/patternrules: Rename from implicit_prereq_eval.
725         * scripts/test_template: Rework the template.
727 2004-09-21  Boris Kolpackov  <boris@kolpackov.net>
729         * run_make_tests.pl: Change `#!/usr/local/bin/perl' to be
730         `#!/usr/bin/env perl'.
732         * scripts/features/implicit_prereq_eval: Test implicit rule
733         prerequisite evaluation code.
735 2004-09-21  Paul D. Smith  <psmith@gnu.org>
737         * run_make_tests.pl (run_make_test): Enhance to allow the make
738         string to be undef: in that case it reuses the previous make
739         string.  Allows multiple tests on the same makefile.
741         * scripts/variables/flavors: Add some tests for prefix characters
742         interacting with define/endef variables.
744 2004-09-20  Paul D. Smith  <psmith@gnu.org>
746         * scripts/functions/substitution: Rewrite to use run_make_test()
747         interface, and add test for substitution failures reported by
748         Markus Mauhart <qwe123@chello.at>.
750 2004-03-22  Paul D. Smith  <psmith@gnu.org>
752         * test_driver.pl (run_each_test, toplevel, compare_output): Change
753         to track both the testing categories _AND_ the number of
754         individual tests, and report both sets of numbers.
756 2004-02-21  Paul D. Smith  <psmith@gnu.org>
758         * scripts/functions/origin: Set our own environment variable
759         rather than relying on $HOME.
761 2004-01-21  Paul D. Smith  <psmith@gnu.org>
763         * scripts/features/conditionals: Test arguments to ifn?def which
764         contain whitespace (such as a function that is evaluated).  Bug
765         #7257.
767 2004-01-07  Paul D. Smith  <psmith@gnu.org>
769         * scripts/features/order_only: Test order-only prerequisites in
770         pattern rules (patch #2349).
772 2003-11-02  Paul D. Smith  <psmith@gnu.org>
774         * scripts/functions/if: Test if on conditionals with trailing
775         whitespace--bug #5798.
777         * scripts/functions/eval: Test eval in a non-file context--bug #6195.
779 2003-04-19  Paul D. Smith  <psmith@gnu.org>
781         * scripts/features/patspecific_vars: Test multiple patterns
782         matching the same target--Bug #1405.
784 2003-04-09  Paul D. Smith  <psmith@gnu.org>
786         * run_make_tests.pl (set_more_defaults): A new $port_type of
787         'OS/2' for (surprise!) OS/2.  Also choose a wait time of 2 seconds
788         for OS/2.
790 2003-03-28  Paul D. Smith  <psmith@gnu.org>
792         * scripts/targets/SECONDARY: Test the "global" .SECONDARY (with
793         not prerequisites)--Bug #2515.
795 2003-01-30  Paul D. Smith  <psmith@gnu.org>
797         * scripts/features/targetvars: Test very long target-specific
798         variable definition lines (longer than the default make buffer
799         length).  Tests patch # 1022.
801         * scripts/functions/eval: Test very recursive $(eval ...) calls
802         with simple variable expansion (bug #2238).
804         * scripts/functions/word: Test error handling for word and
805         wordlist functions (bug #2407).
807 2003-01-22  Paul D. Smith  <psmith@gnu.org>
809         * scripts/functions/call: Test recursive argument masking (bug
810         #1744).
812 2002-10-25  Paul D. Smith  <psmith@gnu.org>
814         * scripts/functions/eval: Test using $(eval ...) inside
815         conditionals (Bug #1516).
817 2002-10-14  Paul D. Smith  <psmith@gnu.org>
819         * scripts/options/dash-t: Add a test for handling -t on targets
820         with no commands (Bug #1418).
822 2002-10-13  Paul D. Smith  <psmith@gnu.org>
824         * scripts/features/targetvars: Add a test for exporting
825         target-specific vars (Bug #1391).
827 2002-10-05  Paul D. Smith  <psmith@gnu.org>
829         * scripts/variables/automatic: Add tests for $$(@), $${@}, $${@D},
830         and $${@F}.
832 2002-09-23  Paul D. Smith  <psmith@gnu.org>
834         * scripts/features/escape: Test handling of escaped comment
835         characters in targets and prerequisites.
837 2002-09-18  Paul D. Smith  <psmith@gnu.org>
839         * scripts/features/export: Test export/unexport of multiple
840         variables in a single command.
842 2002-09-17  Paul D. Smith  <psmith@gnu.org>
844         * scripts/features/targetvars: Tests for Bug #940: test
845         target-specific and pattern-specific variables in conjunction with
846         double-colon targets.
848 2002-09-10  Paul D. Smith  <psmith@gnu.org>
850         * test_driver.pl (compare_output): Match the new format for time
851         skew error messages.
853         * scripts/features/export: Created.  Add tests for export/unexport
854         capabilities, including exporting/unexporting expanded variables.
856         * scripts/features/conditionals: Add a test for expanded variables
857         in ifdef conditionals.
859 2002-09-04  Paul D. Smith  <psmith@gnu.org>
861         * scripts/features/reinvoke: Change touch/sleep combos to utouch
862         invocations.
863         * scripts/features/vpathgpath: Ditto.
864         * scripts/features/vpathplus: Ditto.
865         * scripts/options/dash-n: Ditto.
866         * scripts/targets/INTERMEDIATE: Ditto.
867         * scripts/targets/SECONDARY: Ditto.
869         * scripts/options/dash-t: Added a test for the -t bug fixed by
870         Henning Makholm.  This test was also contributed by Henning.
872         * scripts/misc/general4: Add a test suite for obscure algorithmic
873         features of make.  First test: make sure creation subdirectories
874         as prerequisites of targets works properly.
876         * scripts/misc/version: Remove this bogus test.
878 2002-08-07  Paul D. Smith  <psmith@gnu.org>
880         * scripts/misc/general3: Add a test for makefiles that don't end
881         in newlines.
883         * scripts/variables/special: Create tests for the special
884         variables (.VARIABLES and .TARGETS).  Comment out .TARGETS test
885         for now as it's not yet supported.
887 2002-08-01  Paul D. Smith  <psmith@gnu.org>
889         * scripts/options/dash-B: Add a test for the new -B option.
891 2002-07-11  Paul D. Smith  <psmith@gnu.org>
893         * run_make_tests.pl (valid_option): Add support for Valgrind.  Use
894         -valgrind option to the test suite.
895         (set_more_defaults): Set up the file descriptor to capture
896         Valgrind output.  We have to unset its close-on-exec flag; we
897         hardcode the value for F_SETFD (2) rather than load it; hopefully
898         this will help us avoid breaking the Windows/DOS test suite.
900 2002-07-10  Paul D. Smith  <psmith@gnu.org>
902         * scripts/variables/automatic: Add some tests for $$@, $$(@D), and
903         $$(@F).
905         * test_driver.pl (utouch): Create a new function that creates a
906         file with a specific timestamp offset.  Use of this function will
907         let us avoid lots of annoying sleep() invocations in the tests
908         just to get proper timestamping, which will make the tests run a
909         lot faster.  So far it's only used in the automatic test suite.
911 2002-07-09  Paul D. Smith  <psmith@gnu.org>
913         * scripts/variables/automatic: Create a test for automatic variables.
915 2002-07-08  Paul D. Smith  <psmith@gnu.org>
917         * scripts/features/order_only: Test new order-only prerequisites.
919 2002-07-07  Paul D. Smith  <psmith@gnu.org>
921         * scripts/functions/eval: Test new function.
922         * scripts/functions/value: Test new function.
923         * scripts/variables/MAKEFILE_LIST: Test new variable.
925 2002-04-28  Paul D. Smith  <psmith@gnu.org>
927         * scripts/functions/call: New test: transitive closure
928         implementation using $(call ...) to test variable recursion.
930 2002-04-21  Paul D. Smith  <psmith@gnu.org>
932         * test_driver.pl (compare_dir_tree): Ignore CVS and RCS
933         directories in the script directories.
935 2001-05-02  Paul D. Smith  <psmith@gnu.org>
937         * scripts/variables/flavors: Test define/endef scripts where only
938         one of the command lines is quiet.
940 2000-06-22  Paul D. Smith  <psmith@gnu.org>
942         * scripts/options/dash-q: New file; test the -q option.  Includes
943         a test for PR/1780.
945 2000-06-21  Paul D. Smith  <psmith@gnu.org>
947         * scripts/features/targetvars: Added a test for PR/1709: allowing
948         semicolons in target-specific variable values.
950 2000-06-19  Paul D. Smith  <psmith@gnu.org>
952         * scripts/functions/addsuffix: Test for an empty final argument.
953         Actually this bug might have happened for any function, but this
954         one was handy.
956 2000-06-17  Eli Zaretskii  <eliz@is.elta.co.il>
958         * scripts/options/general: If parallel jobs are not supported,
959         expect a warning message from Make.
961 2000-06-15  Eli Zaretskii  <eliz@is.elta.co.il>
963         * scripts/options/general: Don't try -jN with N != 1 if parallel
964         jobs are not supported.
966 2000-05-24  Paul D. Smith  <psmith@gnu.org>
968         * scripts/options/general: Test general option processing (PR/1716).
970 2000-04-11  Paul D. Smith  <psmith@gnu.org>
972         * scripts/functions/strip: Test empty value to strip (PR/1689).
974 2000-04-08  Eli Zaretskii  <eliz@is.elta.co.il>
976         * scripts/features/reinvoke: Sleep before updating the target
977         files in the first test, to ensure its time stamp really gets
978         newer; otherwise Make might re-exec more than once.
980 2000-04-07  Eli Zaretskii  <eliz@is.elta.co.il>
982         * scripts/features/double_colon: Don't run the parallel tests if
983         parallel jobs aren't supported.
985 2000-04-04  Paul D. Smith  <psmith@gnu.org>
987         * scripts/functions/word: wordlist doesn't swap arguments anymore.
989 2000-03-27  Paul D. Smith  <psmith@gnu.org>
991         * scripts/features/statipattrules: Test that static pattern rules
992         whose prerequisite patterns resolve to empty strings throw an
993         error (instead of dumping core).  Fixes PR/1670.
995         * scripts/features/reinvoke: Make more robust by touching "b"
996         first, to ensure it's not newer than "a".
997         Reported by Marco Franzen <Marco.Franzen@Thyron.com>.
998         * scripts/options/dash-n: Ditto.
1000         * scripts/functions/call: Whoops.  The fix to PR/1527 caused
1001         recursive invocations of $(call ...) to break.  I can't come up
1002         with any way to get both working at the same time, so I backed out
1003         the fix to 1527 and added a test case for recursive calls.  This
1004         also tests the fix for PR/1610.
1006         * scripts/features/double_colon: Test that circular dependencies
1007         in double-colon rule sets are detected correctly (PR/1671).
1009 2000-03-26  Paul D. Smith  <psmith@gnu.org>
1011         * scripts/targets/INTERMEDIATE: Test that make doesn't remove
1012         .INTERMEDIATE files when given on the command line (PR/1669).
1014 2000-03-08  Paul D. Smith  <psmith@gnu.org>
1016         * scripts/options/dash-k: Add a test for error detection by
1017         multiple targets depending on the same prerequisite with -k.
1018         For PR/1634.
1020 2000-02-07  Paul D. Smith  <psmith@gnu.org>
1022         * scripts/features/escape: Add a test for backslash-escaped spaces
1023         in a target name (PR/1586).
1025 2000-02-04  Paul D. Smith  <psmith@gnu.org>
1027         * scripts/features/patspecific_vars: Add a test for pattern-specific
1028         target variables inherited from the parent target (PR/1407).
1030 2000-02-02  Paul D. Smith  <psmith@gnu.org>
1032         * run_make_tests.pl (set_more_defaults): Hard-code the LANG to C
1033         to make sure sorting order, etc. is predictable.
1034         Reported by Andreas Jaeger <aj@suse.de>.
1036         * run_make_tests.pl (set_more_defaults): Set the $wtime variable
1037         depending on the OS.  Eli Zaretskii <eliz@is.elta.co.il> reports
1038         this seems to need to be *4* on DOS/Windows, not just 2.  Keep it
1039         1 for other systems.
1040         * scripts/features/vpathplus (touchfiles): Use the $wtime value
1041         instead of hardcoding 2.
1042         * scripts/targets/SECONDARY: Ditto.
1043         * scripts/targets/INTERMEDIATE: Ditto.
1045 2000-01-27  Paul D. Smith  <psmith@gnu.org>
1047         * test_driver.pl (toplevel): Don't try to run test scripts which
1048         are really directories.
1050 2000-01-23  Paul D. Smith  <psmith@gnu.org>
1052         * scripts/features/include: Remove a check; the fix caused more
1053         problems than the error, so I removed it and removed the test for
1054         it.
1056 2000-01-11  Paul D. Smith  <psmith@gnu.org>
1058         * scripts/functions/call: Add a test for PR/1517 and PR/1527: make
1059         sure $(call ...) doesn't eval its arguments and that you can
1060         invoke foreach from it without looping forever.
1062 1999-12-15  Paul D. Smith  <psmith@gnu.org>
1064         * scripts/targets/INTERMEDIATE: Add a test for PR/1423: make sure
1065         .INTERMEDIATE settings on files don't disable them as implicit
1066         intermediate possibilities.
1068 1999-12-01  Paul D. Smith  <psmith@gnu.org>
1070         * scripts/features/double_colon: Add a test for PR/1476: Try
1071         double-colon rules as non-goal targets and during parallel builds
1072         to make sure they're handled serially.
1074 1999-11-17  Paul D. Smith  <psmith@gnu.org>
1076         * scripts/functions/if: Add a test for PR/1429: put some text
1077         after an if-statement to make sure it works.
1079         * scripts/features/targetvars: Add a test for PR/1380: handling +=
1080         in target-specific variable definitions correctly.
1082 1999-10-15  Paul D. Smith  <psmith@gnu.org>
1084         * scripts/variables/MAKEFILES: This was really broken: it didn't
1085         test anything at all, really.  Rewrote it, plus added a test for
1086         PR/1394.
1088 1999-10-13  Paul D. Smith  <psmith@gnu.org>
1090         * scripts/options/dash-n: Add a test for PR/1379: "-n doesn't
1091         behave properly when used with recursive targets".
1093 1999-10-08  Paul D. Smith  <psmith@gnu.org>
1095         * scripts/features/targetvars: Add a check for PR/1378:
1096         "Target-specific vars don't inherit correctly"
1098 1999-09-29  Paul D. Smith  <psmith@gnu.org>
1100         * test_driver.pl (get_osname): Change $fancy_file_names to
1101         $short_filenames and reverse the logic.
1102         (run_each_test): Change test of non-existent $port_host to use
1103         $short_filenames--problem reported by Eli Zaretskii.
1105 1999-09-23  Paul D. Smith  <psmith@gnu.org>
1107         * scripts/features/parallelism: Add a check to ensure that the
1108         jobserver works when we re-invoke.  Also cleaned up the tests a
1109         little, reducing the number of rules we use so the test won't need
1110         as many "sleep" commands.
1112 1999-09-16  Paul D. Smith  <psmith@gnu.org>
1114         * scripts/features/reinvoke: Remove invocations of "touch" in
1115         makefiles.  See the comments on the touch function rewrite below.
1116         Note that UNIX touch behaves the same way if the file already
1117         exists: it sets the time to the _local_ time.  We don't want
1118         this.  This is probably a good tip for makefile writers in
1119         general, actually... where practical.
1120         * scripts/options/dash-l: Ditto.
1121         * scripts/options/dash-n: Ditto.
1123         * test_driver.pl (run_each_test): In retrospect, I don't like the
1124         .lN/.bN/.dN postfix required by DOS.  So, for non-DOS systems I
1125         changed it back to use .log, .base, and .diff.
1127         * run_make_tests.pl (set_more_defaults): Move the check for the
1128         make pathname to here from set_defaults (that's too early since it
1129         happens before the command line processing).
1130         Create a new variable $port_type, calculated from $osname, to
1131         specify what kind of system we're running on.  We should integrate
1132         the VOS stuff here, too.
1133         (valid_option): Comment out the workdir/-work stuff so people
1134         won't be fooled into thinking it works... someone needs to fix
1135         this, though!
1137         * scripts/functions/origin: Use $port_type instead of $osname.
1138         * scripts/functions/foreach: Ditto.
1139         * scripts/features/default_names: Ditto.
1141 1999-09-15  Paul D. Smith  <psmith@gnu.org>
1143         * test_driver.pl (touch): Rewrite this function.  Previously it
1144         used to use utime() to hard-set the time based on the current
1145         local clock, or, if the file didn't exist, it merely created it.
1146         This mirrors exactly what real UNIX touch does, but it fails badly
1147         on networked filesystems where the FS server clock is skewed from
1148         the local clock: normally modifying a file causes it to get a mod
1149         time based on the _server's_ clock.  Hard-setting it based on the
1150         _local_ clock causes gratuitous errors and makes the tests
1151         unreliable except on local filesystems.  The new function will
1152         simply modify the file, allowing the filesystem to set the mod
1153         time as it sees fit.
1155         * scripts/features/parallelism: The second test output could
1156         change depending on how fast some scripts completed; use "sleep"
1157         to force the order we want.
1159         * test_driver.pl (toplevel): A bug in Perl 5.000 to Perl 5.004
1160         means that "%ENV = ();" doesn't do the right thing.  This worked
1161         in Perl 4 and was fixed in Perl 5.004_01, but use a loop to delete
1162         the environment rather than require specific versions.
1164         * run_make_tests.pl (set_more_defaults): Don't use Perl 5 s///
1165         modifier "s", so the tests will run with Perl 4.
1166         (set_more_defaults): Set $pure_log to empty if there's no -logfile
1167         option in PURIFYOPTIONS.
1168         (setup_for_test): Don't remove any logs unless $pure_log is set.
1170 1999-09-15  Eli Zaretskii  <eliz@is.elta.co.il>
1172         * scripts/features/reinvoke: Put the SHELL definition in the right
1173         test makefile.
1175 1999-09-15  Paul D. Smith  <psmith@gnu.org>
1177         ChangeLog file for the test suite created.
1180 Copyright (C) 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999, 2000, 2001, 2002,
1181 2003, 2004, 2005, 2006, 2007, 2008, 2009, 2011, 2012 Free Software Foundation,
1182 Inc.
1183 This file is part of GNU Make.
1185 GNU Make is free software; you can redistribute it and/or modify it under the
1186 terms of the GNU General Public License as published by the Free Software
1187 Foundation; either version 3 of the License, or (at your option) any later
1188 version.
1190 GNU Make is distributed in the hope that it will be useful, but WITHOUT ANY
1191 WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR
1192 A PARTICULAR PURPOSE.  See the GNU General Public License for more details.
1194 You should have received a copy of the GNU General Public License along with
1195 this program.  If not, see <http://www.gnu.org/licenses/>.