Keep the command line on the heap to avoid stack overflow.
[make.git] / tests / ChangeLog
blob5e35053e83bb1c151e1e87d7500b4e2328f83fe8
1 2012-09-09  Paul Smith  <psmith@gnu.org>
3         * scripts/functions/file: Get errors in the C locale, not the
4         current locale.  Fixes Savannah bug #35764.
6         * scripts/features/escape: Check that backslashes before
7         non-special characters are not removed.
9         * scripts/features/utf8: New test for UTF-8 support.
10         See Savannah bug #36529.
12         * scripts/targets/POSIX: Add tests for default macro values as
13         specified by IEEE Std 1003.1-2008.  See Savannah bug #37069.
15 2012-03-04  Paul Smith  <psmith@gnu.org>
17         * scripts/features/se_explicit: Test $(x:%=%) format in secondary
18         expansion prerequisite lists.  See Savannah bug #16545.
20         * scripts/features/escape: Test escaped ":" in prerequisite lists.
21         See Savannah bug #12126.
23         * scripts/variables/private: Test appending private variables in
24         pattern-specific target rules.  See Savannah bug #35468.
26 2012-03-03  Paul Smith  <psmith@gnu.org>
28         * scripts/variables/SHELL: Ensure .SHELLFLAGS works with options
29         separated by whitespace.
31         * scripts/targets/ONESHELL: Try .ONESHELL in combination with
32         whitespace-separated options in .SHELLFLAGS.  See Savannah bug #35397.
34         * scripts/functions/filter-out: Add filter tests and test escape
35         operations.  See Savannah bug #35410.
37         * guile.supp: Suppress valgrind errors from Guile
38         * run_make_tests.pl: Use the Guile suppression file.
40         * scripts/misc/bs-nl: Check for POSIX and non-POSIX
41         backslash/newline handling.  Addresses Savannah bug #16670.
43 2012-01-29  Paul Smith  <psmith@gnu.org>
45         * scripts/variables/flavors: Add tests for ::=
46         * scripts/variables/define: Ditto
48         * scripts/functions/file: Test the new $(file ...) function.
50 2012-01-12  Paul Smith  <psmith@gnu.org>
52         * scripts/functions/guile: New regression tests for Guile support.
54 2011-12-10  Paul Smith  <psmith@gnu.org>
56         * scripts/targets/SECONDARY: Add prereq statements to ensure rules
57         are printed in the right order for test #9
59 2011-11-14  Paul Smith  <psmith@gnu.org>
61         * scripts/features/double_colon: Check double-colon with escaped
62         filenames.  See Savannah bug #33399.
64 2011-09-18  Paul Smith  <psmith@gnu.org>
66         * scripts/features/parallelism: On re-exec make sure we preserve
67         the value of MAKEFLAGS when necessary.  See Savannah bug #33873.
69         * scripts/features/vpath3: Verify handling of -lfoo libraries
70         found via vpath vs. the standard directory search.
71         See Savannah bug #32511.
73 2011-09-12  Paul Smith  <psmith@gnu.org>
75         * scripts/functions/call: Verify that using export in a $(call ...)
76         context creates a global variable.  See Savannah bug #32498.
78 2011-09-02  Paul Smith  <psmith@gnu.org>
80         * scripts/options/dash-n: Verify that in "-n -t", the -n takes
81         priority.  Patch from Michael Witten <mfwitten@gmail.com>.
83 2011-08-29  Paul Smith  <psmith@gnu.org>
85         * scripts/features/varnesting: Test resetting of variables while
86         expanding them.  See Savannah patch #7534
88 2011-06-12  Paul Smith  <psmith@gnu.org>
90         * scripts/features/archives: Check archives with whitespace at the
91         beginning, end, and extra in the middle.
92         Another test for Savannah bug #30612.
94 2011-05-07  Paul Smith  <psmith@gnu.org>
96         * scripts/variables/private: Ensure we skip private variables when
97         appending.  Test for Savannah bug #32872.
99         * scripts/functions/wildcard: Verify wildcard used to test for
100         file existence/non-existence.
102 2011-05-02  Paul Smith  <psmith@gnu.org>
104         * scripts/functions/sort: Add a test for Savannah bug #33125.
106 2011-04-17  David A. Wheeler  <dwheeler@dwheeler.com>
108         * scripts/features/shell_assignment: Regression for "!=" feature
110 2010-11-06  Paul Smith  <psmith@gnu.org>
112         * scripts/features/targetvars: Fix known-good output for BS/NL changes.
113         * scripts/functions/call: Ditto.
114         * scripts/variables/special: Ditto.
116         * scripts/misc/bs-nl: New test suite for backslash/newline testing.
118 2010-08-29  Paul Smith  <psmith@gnu.org>
120         * scripts/features/errors: Add new error message to output text.
121         * scripts/variables/SHELL: Ditto.
122         * scripts/targets/POSIX: Ditto.
123         * scripts/options/dash-k: Ditto.
124         * scripts/features/vpathplus: Ditto.
125         * scripts/features/patternrules: Ditto.
126         * scripts/features/parallelism: Ditto.
128 2010-08-13  Paul Smith  <psmith@gnu.org>
130         * scripts/features/archives: New regression tests for archive
131         support.  Test for fix to Savannah bug #30612.
133         * run_make_tests.pl (set_more_defaults): Set a %FEATURES hash to
134         the features available in $(.FEATURES).
136 2010-08-10  Paul Smith  <psmith@gnu.org>
138         * scripts/features/reinvoke: Ensure command line variable settings
139         are preserved across make re-exec.  Tests Savannah bug #30723.
141 2010-07-28  Paul Smith  <psmith@gnu.org>
143         * scripts/targets/POSIX: Compatibility issues with Solaris (and
144         Tru64?); "false" returns different exit codes, and set -x shows
145         output with extra whitespace.  Run the commands by hand first to
146         find out what the real shell would do, then compare what make does.
147         * scripts/variables/SHELL: Ditto.
149 2010-07-12  Paul Smith  <psmith@gnu.org>
151         * test_driver.pl: Add a new $perl_name containing the path to Perl.
152         * run_make_tests.pl (run_make_test): Replace the special string
153         #PERL# in a makefile etc. with the path the Perl executable so
154         makefiles can use it.
156         * scripts/targets/ONESHELL: Add a new set of regression tests for
157         the .ONESHELL feature.
159 2010-07-06  Paul Smith  <psmith@gnu.org>
161         * scripts/variables/SHELL: Test the new .SHELLFLAGS variable.
163         * scripts/targets/POSIX: New file.  Test the .POSIX special target.
164         Verify that enabling .POSIX changes the shell flags to set -e.
166 2010-07-01  Paul Smith  <psmith@gnu.org>
168         * scripts/features/recursion: Add a space to separate command-line
169         args.  Fixes Savannah bug #29968.
171 2009-11-12  Boris Kolpackov  <boris@codesynthesis.com>
173         * scripts/features/vpath3: Test for the new library search
174         behavior.
176 2009-10-06  Boris Kolpackov  <boris@codesynthesis.com>
178         * scripts/features/se_explicit: Enable the test for now fixed
179         Savannah bug 25780.
181 2009-10-06  Boris Kolpackov  <boris@codesynthesis.com>
183         * scripts/variables/undefine: Tests for the new undefine feature.
185 2009-10-03  Paul Smith  <psmith@gnu.org>
187         * scripts/features/parallelism: Test for open Savannah bug #26846.
189         * scripts/variables/MAKE: Rewrite for new run_make_test() format.
191         * scripts/variables/MAKEFLAGS: Created.
192         Add test for Savannah bug #2216 (still open).
194         * scripts/features/include: Test for Savannah bug #102 (still open).
196 2009-09-30  Boris Kolpackov  <boris@codesynthesis.com>
198         * scripts/features/include: Add diagnostics issuing tests for
199         cases where targets have been updated and failed with the
200         dontcare flag. Savannah bugs #15110, #25493, #12686, #17740.
202 2009-09-28  Paul Smith  <psmith@gnu.org>
204         * scripts/functions/shell: Add regression test for Savannah bug
205         #20513 (still open).
207         * scripts/features/se_explicit: Add regression tests for Savannah
208         bug #25780 (still open).
210         * run_make_tests.pl (valid_option): Add a new flag, -all([-_]?tests)?
211         that runs tests we know will fail.  This allows us to add
212         regression tests to the test suite for bugs that haven't been
213         fixed yet.
215 2009-09-28  Boris Kolpackov  <boris@codesynthesis.com>
217         * scripts/features/patspecific_vars: Add a test for the shortest
218         stem first order.
220         * scripts/features/patternrules: Add a test for the shortest stem
221         first order.
223 2009-09-24  Paul Smith  <psmith@gnu.org>
225         * scripts/features/se_implicit: Add a test for order-only
226         secondary expansion prerequisites.
228 2009-09-23  Paul Smith  <psmith@gnu.org>
230         * scripts/features/patternrules: Test that we can remove pattern
231         rules, both single and multiple prerequisites.  Savannah bug #18622.
233         * scripts/features/echoing: Rework for run_make_test().
235 2009-06-14  Paul Smith  <psmith@gnu.org>
237         * scripts/features/vpath: Verify we don't get bogus circular
238         dependency warnings if we choose a different file via vpath during
239         update.  Savannah bug #13529.
241 2009-06-13  Paul Smith  <psmith@gnu.org>
243         * scripts/variables/MAKEFILES: Verify that MAKEFILES included
244         files (and files included by them) don't set the default goal.
245         Savannah bug #13401.
247         * scripts/functions/wildcard: Test that wildcards with
248         non-existent glob matchers return empty.
250 2009-06-09  Paul Smith  <psmith@gnu.org>
252         * scripts/options/dash-B: Test the $? works correctly with -B.
253         Savannah bug #17825.
255         * scripts/features/patternrules: Test that dependencies of
256         "also_make" targets are created properly.  Savannah bug #19108.
258         * test_driver.pl (compare_output): Create a "run" file for failed
259         tests containing the command that was run.
260         (get_runfile): New function.
262         * run_make_tests.pl (valid_option): Enhanced support for valgrind:
263         allow memcheck and massif tools.
265         * scripts/features/patternrules: Have to comment out a line in the
266         first test due to backing out a change that broke the implicit
267         rule search algorithm.  Savannah bug #17752.
268         * scripts/misc/general4: Remove a test that is redundant with
269         patternrules.
271         * scripts/features/parallelism: Add a test for re-exec with
272         jobserver master override.  Savannah bug #18124.
274 2009-06-08  Paul Smith  <psmith@gnu.org>
276         * scripts/features/targetvars: Add a test for continued target
277         vars after a semicolon.  Savannah bug #17521.
279 2009-06-07  Paul Smith  <psmith@gnu.org>
281         * scripts/features/se_explicit: Make sure we catch defining
282         prereqs during snap_deps().  Savannah bug #24622.
284         * scripts/variables/automatic: Check prereq ordering when the
285         target with the recipe has no prereqs.  Savannah bug #21198.
287         * scripts/variables/LIBPATTERNS: Add a new set of test for
288         $(.LIBPATTERNS) (previously untested!)
290 2009-06-04  Paul Smith  <psmith@gnu.org>
292         * scripts/variables/SHELL: The export target-specific SHELL test
293         has an incorrect known-good-value.
295         * scripts/misc/general4: Check for whitespace (ffeed, vtab, etc.)
297         * scripts/features/se_explicit: Add tests for Savannah bug #24588.
299 2009-05-31  Paul Smith  <psmith@gnu.org>
301         * scripts/variables/DEFAULT_GOAL: Add tests for Savannah bug #25697.
303         * scripts/features/targetvars: Add tests of overrides for Savannah
304         bug #26207.
305         * scripts/features/patspecific_vars: Ditto.
307         * scripts/features/patternrules: Add a test for Savannah bug #26593.
309 2009-05-30  Paul Smith  <psmith@gnu.org>
311         * scripts/variables/flavors: Update with new variable flavor tests.
312         * scripts/variables/define: Create a new set of tests for
313         define/endef and move those aspects of the flavors suite here.
315 2009-05-25  Paul Smith  <psmith@gnu.org>
317         * scripts/features/targetvars: Ditto.
319         * scripts/features/export: Test new variable parsing abilities.
321 2009-02-23  Ramon Garcia  <ramon.garcia.f@gmail.com>
323         * scripts/variables/private: Create a new suite of tests for 'private'.
325 2007-11-04  Paul Smith  <psmith@gnu.org>
327         * scripts/functions/eval: Update error message for command -> recipe.
329         * test_driver.pl (compare_output): Allow the answer to be a regex,
330         if surrounded by '/'.
331         * scripts/misc/close_stdout: Use a regex for the answer, since
332         sometimes the error will have a description and sometimes it won't.
334 2007-09-10  Paul Smith  <psmith@gnu.org>
336         * scripts/variables/special: Add tests for .RECIPEPREFIX variable.
338 2007-08-15  Paul Smith  <psmith@gnu.org>
340         These test cases were contributed by
341         Icarus Sparry <savannah@icarus.freeuk.com> and J. David Bryan for
342         Savannah bugs #3330 and #15919.
344         * scripts/targets/SECONDARY: Add tests for Savannah bugs 3330 and
345         15919.
347         * scripts/features/parallelism: Add tests for wrong answer/hang
348         combining INTERMEDIATE, order-only prereqs, and parallelism.
349         See Savannah bugs 3330 and 15919.
351 2007-07-13  Paul Smith  <psmith@gnu.org>
353         Install a timeout so tests can never loop infinitely.
354         Original idea and patch for a single-test version provided by
355         Icarus Sparry <savannah@icarus.freeuk.com>
357         * test_driver.pl (_run_command): New function: this is called by
358         other functions to actually run a command.  Before we run it,
359         install a SIGALRM handler and set up a timer to go off in the
360         future (default is 5s; this can be overridden by individual tests).
361         (run_command): Call it.
362         (run_command_with_output): Call it.
364         * run_make_tests.pl (run_make_with_options): Override the default
365         timeout if the caller requests it.
366         (run_make_test): Pass any timeout override to run_make_with_options.
368         * scripts/features/parallelism: Increase the timeout for long tests.
369         * scripts/options/dash-l: Ditto.
371 2006-10-01  Paul Smith  <psmith@paulandlesley.org>
373         * run_make_tests.pl (set_more_defaults): Remove setting of LANG in
374         ENV here.  This doesn't always work.
375         * test_driver.pl (toplevel): Set LC_ALL to 'C' in the make
376         environment.  Fixes Savannah bug #16698.
378 2006-09-30  Paul Smith  <psmith@paulandlesley.org>
380         * scripts/variables/automatic: Add back the test for bug #8154.
382 2006-04-01  Paul D. Smith  <psmith@gnu.org>
384         * scripts/functions/realpath: Don't run tests with multiple
385         initial slashes on Windows: those paths mean something different.
387 2006-03-19  Paul D. Smith  <psmith@gnu.org>
389         * scripts/features/parallelism: Test that the jobserver is
390         properly managed when we have to re-exec the master instance of
391         make.
393 2006-03-17  Boris Kolpackov  <boris@kolpackov.net>
395         * scripts/features/statipattrules: Add tests for bug #16053.
397 2006-03-09  Paul Smith  <psmith@gnu.org>
399         * scripts/features/escape: Use "pre:" not "p:" to avoid conflicts
400         with DOS drive letters.  Fixes Savannah bug #15947.
402         * test_driver.pl (run_each_test): Set the status properly even
403         when a test fails to execute.  Fixes Savannah bug #15942.
405         * scripts/functions/foreach: Use a different environment variable
406         other than PATH to avoid differences with Windows platforms.
407         Fixes Savannah bug #15938.
409 2006-03-05  Paul D. Smith  <psmith@gnu.org>
411         * run_make_tests.pl (set_more_defaults): Add CYGWIN_NT as a port
412         type W32.  Fixed Savannah bug #15937.
414         * scripts/features/default_names: Don't call error() when the test
415         fails.  Fixes Savannah bug #15941.
417 2006-02-17  Paul D. Smith  <psmith@gnu.org>
419         * scripts/features/targetvars: Test a complex construction which
420         guarantees that we have to merge variable lists of different
421         sizes.  Tests for Savannah bug #15757.
423 2006-02-15  Paul D. Smith  <psmith@gnu.org>
425         * scripts/functions/error: Make sure filename/lineno information
426         is related to where the error is expanded, not where it's set.
427         * scripts/functions/warning: Ditto.
428         * scripts/functions/foreach: Check for different error conditions.
429         * scripts/functions/word: Ditto.
430         * scripts/variables/negative: Test some variable reference failure
431         conditions.
432         * scripts/options/warn-undefined-variables: Test the
433         --warn-undefined-variables flag.
435 2006-02-09  Paul D. Smith  <psmith@gnu.org>
437         * run_make_tests.pl (set_more_defaults): Update valgrind support
438         for newer versions.
439         * test_driver.pl (toplevel): Skip all hidden files/directories (ones
440         beginning with ".").
442         * scripts/functions/andor: Tests for $(and ..) and $(or ...)
443         functions.
445 2006-02-08  Boris Kolpackov  <boris@kolpackov.net>
447         * scripts/features/parallelism: Add a test for bug #15641.
449 2006-02-06  Paul D. Smith  <psmith@gnu.org>
451         * scripts/options/dash-W: Add a test for bug #15341.
453 2006-01-03  Paul D. Smith  <psmith@gnu.org>
455         * scripts/variables/automatic: Add a test for bug #8154.
457         * README: Update to reflect the current state of the test suite.
459 2005-12-12  Paul D. Smith  <psmith@gnu.org>
461         * scripts/features/parallelism, scripts/functions/wildcard,
462         scripts/targets/FORCE, scripts/targets/PHONY,
463         scripts/targets/SILENT: Use the default setting for
464         $delete_command.  Fixes bug #15085.
466         * run_make_tests.pl (get_this_pwd) [VMS]: Use -no_ask with delete_file.
468 2005-12-11  Paul D. Smith  <psmith@gnu.org>
470         * scripts/misc/general4: Test implicit rules with '$' in the
471         prereq list & prereq patterns.
472         * scripts/features/se_implicit: Add in .SECONDEXPANSION settings.
474 2005-12-09  Boris Kolpackov  <boris@kolpackov.net>
476         * scripts/features/patternrules: Add a test for bug #13022.
478 2005-12-07  Boris Kolpackov  <boris@kolpackov.net>
480         * scripts/features/double_colon: Add a test for bug #14334.
482 2005-11-17  Boris Kolpackov  <boris@kolpackov.net>
484         * scripts/functions/flavor: Add a test for the flavor function.
486 2005-11-14  Boris Kolpackov  <boris@kolpackov.net>
488         * scripts/variables/INCLUDE_DIRS: Add a test for the .INCLUDE_DIRS
489         special variable.
491 2005-10-24  Paul D. Smith  <psmith@gnu.org>
493         * scripts/misc/general4: Test '$$' in prerequisites list.
494         * scripts/features/statipattrules: Rewrite to use run_make_test().
495         Add various static pattern info.
496         * scripts/features/se_statpat: Enable .SECONDEXPANSION target.
497         * scripts/features/se_explicit: Add tests for handling '$$' in
498         prerequisite lists with and without setting .SECONDEXPANSION.
499         * scripts/features/order_only: Convert to run_make_test().
500         * run_make_tests.pl (set_more_defaults): If we can't get the value
501         of $(MAKE) from make, then fatal immediately.
503 2005-08-31  Paul D. Smith  <psmith@gnu.org>
505         * run_make_tests.pl (get_this_pwd): Require the POSIX module (in
506         an eval to trap errors) and if it exists, use POSIX::getcwd to
507         find the working directory.  If it doesn't exist, go back to the
508         previous methods.  This tries to be more accurate on Windows
509         systems.
511 2005-08-29  Paul D. Smith  <psmith@gnu.org>
513         * scripts/functions/abspath: Add some text to the error messages
514         to get a better idea of what's wrong.  Make warnings instead of
515         errors.
517         * scripts/features/patspecific_vars: Don't use "test", which is
518         UNIX specific.  Print the values and let the test script match
519         them.
521 2005-08-25  Paul Smith  <psmith@gnu.org>
523         * scripts/variables/SHELL: Use a /./ prefix instead of //: the
524         former works better with non-UNIX environments.  Fixes Savannah
525         bug #14129.
527 2005-08-13  Boris Kolpackov  <boris@kolpackov.net>
529         * scripts/functions/wildcard: Wrap calls to $(wildcard ) with
530         $(sort) so that the resulting order is no longer filesystem-
531         dependant.
533 2005-08-10  Boris Kolpackov  <boris@kolpackov.net>
535         * scripts/features/statipattrules: Add a test for Savannah bug #13881.
537 2005-08-07  Paul D. Smith  <psmith@gnu.org>
539         * scripts/features/parallelism: Add a test for a bug reported by
540         Michael Matz (matz@suse.de) in which make exits without waiting
541         for all its children in some situations during parallel builds.
543 2005-07-08  Paul D. Smith  <psmith@gnu.org>
545         * test_driver.pl: Reset the environment to a clean value every
546         time before we invoke make.  I'm suspicious that the environment
547         isn't handled the same way in Windows as it is in UNIX, and some
548         variables are leaking out beyond the tests they are intended for.
549         Create an %extraENV hash tests can set to add more env. vars.
550         * tests/scripts/features/export: Change to use %extraENV.
551         * tests/scripts/functions/eval: Ditto.
552         * tests/scripts/functions/origin: Ditto.
553         * tests/scripts/options/dash-e: Ditto.
554         * tests/scripts/variables/SHELL: Ditto.
556 2005-06-27  Paul D. Smith  <psmith@gnu.org>
558         * scripts/options/dash-W: Use 'echo >>' instead of touch to update
559         files.
560         * scripts/features/reinvoke: Rewrite to be safer on systems with
561         subsecond timestamps.
562         * scripts/features/patternrules: False exits with different error
563         codes on different systems (for example, Linux => 1, Solaris => 255).
565         * scripts/options/dash-W: Set the timestamp to foo.x in the future,
566         to be sure it will be considered updated when it's remade.
568 2005-06-26  Paul D. Smith  <psmith@gnu.org>
570         * scripts/functions/shell: New test suite for the shell function.
572 2005-06-25  Paul D. Smith  <psmith@gnu.org>
574         * scripts/features/include: Test include/-include/sinclude with no
575         arguments.  Tests fix for Savannah bug #1761.
577         * scripts/misc/general3: Implement comprehensive testing of
578         backslash-newline behavior in command scripts: various types of
579         quoting, fast path / slow path, etc.
580         Tests fix for Savannah bug #1332.
582         * scripts/options/symlinks: Test symlinks to non-existent files.
583         Tests fix for Savannah bug #13280.
585         * scripts/misc/general3: Test semicolons in variable references.
586         Tests fix for Savannah bug #1454.
588         * scripts/variables/MAKE_RESTARTS: New file: test the
589         MAKE_RESTARTS variable.
590         * scripts/options/dash-B: Test re-exec doesn't loop infinitely.
591         Tests fix for Savannah bug #7566.
592         * scripts/options/dash-W: New file: test the -W flag, including
593         re-exec infinite looping.
595 2005-06-12  Paul D. Smith  <psmith@gnu.org>
597         * scripts/misc/close_stdout: Add a test for Savannah bug #1328.
598         This test only works on systems that have /dev/full (e.g., Linux).
600 2005-06-09  Paul D. Smith  <psmith@gnu.org>
602         * scripts/functions/foreach: Add a test for Savannah bug #11913.
604 2005-05-31  Boris Kolpackov  <boris@kolpackov.net>
606         * scripts/features/include: Add a test for Savannah bug #13216.
607         * scripts/features/patternrules: Add a test for Savannah bug #13218.
609 2005-05-13  Paul D. Smith  <psmith@gnu.org>
611         * scripts/features/conditionals: Add tests for the new if... else
612         if... endif syntax.
614 2005-05-03  Paul D. Smith  <psmith@gnu.org>
616         * scripts/variables/DEFAULT_GOAL: Rename DEFAULT_TARGET to
617         DEFAULT_GOAL.
619 2005-05-02  Paul D. Smith  <psmith@gnu.org>
621         * scripts/features/parallelism: Add a test for exporting recursive
622         variables containing $(shell ) calls.  Rewrite this script to use
623         run_make_test() everywhere.
625 2005-04-07  Paul D. Smith  <psmith@gnu.org>
627         * scripts/targets/SECONDARY: Add a test for Savannah bug #12331.
629 2005-03-15  Boris Kolpackov  <boris@kolpackov.net>
631         * scripts/variables/automatic: Add a test for Savannah bug #12320.
633 2005-03-10  Boris Kolpackov  <boris@kolpackov.net>
635         * scripts/features/patternrules: Add a test for Savannah bug #12267.
637 2005-03-09  Boris Kolpackov  <boris@kolpackov.net>
639         * scripts/variables/DEFAULT_TARGET: Add a test for Savannah
640         bug #12266.
642 2005-03-04  Boris Kolpackov  <boris@kolpackov.net>
644         * scripts/features/patternrules: Add a test for Savannah bug #12202.
646 2005-03-03  Boris Kolpackov  <boris@kolpackov.net>
648         * scripts/features/se_implicit: Add a test for stem
649         termination bug. Add a test for stem triple-expansion bug.
651         * scripts/features/se_statpat: Add a test for stem
652         triple-expansion bug.
654         * scripts/features/statipattrules: Change test #4 to reflect
655         new way empty prerequisite list is handled.
658 2005-03-01  Boris Kolpackov  <boris@kolpackov.net>
660         * scripts/features/statipattrules: Add a test for
661         Savannah bug #12180.
663 2005-02-28  Paul D. Smith  <psmith@gnu.org>
665         * scripts/options/dash-q: Add a test for Savannah bug # 7144.
667         * scripts/options/symlinks: New file to test checking of symlink
668         timestamps.  Can't use filename dash-L because it conflicts with
669         dash-l on case-insensitive filesystems.
671         * scripts/variables/MAKEFILE_LIST, scripts/variables/MFILE_LIST:
672         Rename MAKEFILE_LIST test to MFILE_LIST, for systems that need 8.3
673         unique filenames.
675 2005-02-28  Boris Kolpackov  <boris@kolpackov.net>
677         * scripts/variables/DEFAULT_TARGET: Test the .DEFAULT_TARGET
678         special variable.
680 2005-02-27  Boris Kolpackov  <boris@kolpackov.net>
682         * scripts/features/se_explicit: Test the second expansion in
683         explicit rules.
684         * scripts/features/se_implicit: Test the second expansion in
685         implicit rules.
686         * scripts/features/se_statpat: Test the second expansion in
687         static pattern rules.
688         * scripts/variables/automatic: Fix to work with the second
689         expansion.
691         * scripts/misc/general4: Add a test for bug #12091.
693 2005-02-27  Paul D. Smith  <psmith@gnu.org>
695         * scripts/functions/eval: Check that eval of targets within
696         command scripts fails.  See Savannah bug # 12124.
698 2005-02-26  Paul D. Smith  <psmith@gnu.org>
700         * test_driver.pl (compare_output): If a basic comparison of the
701         log and answer doesn't match, try harder: change all backslashes
702         to slashes and all CRLF to LF.  This helps on DOS/Windows systems.
704 2005-02-09  Paul D. Smith  <psmith@gnu.org>
706         * scripts/features/recursion: Test command line variable settings:
707         only one instance of a given variable should be provided.
709 2004-11-30  Boris Kolpackov  <boris@kolpackov.net>
711         * tests/scripts/functions/abspath: New file: test `abspath'
712         built-in function.
714         * tests/scripts/functions/realpath: New file: test `realpath'
715         built-in function.
717 2004-11-28  Paul D. Smith  <psmith@gnu.org>
719         * scripts/options/dash-C [WINDOWS32]: Add a test for bug #10252;
720         this doesn't really test anything useful in UNIX but...
722         * scripts/variables/SHELL: New file: test proper handling of SHELL
723         according to POSIX rules.  Fixes bug #1276.
725 2004-10-21  Boris Kolpackov  <boris@kolpackov.net>
727         * scripts/functions/word: Test $(firstword ) and $(lastword ).
729 2004-10-05  Boris Kolpackov  <boris@kolpackov.net>
731         * scripts/features/patspecific_vars: Test simple/recursive
732         variable expansion.
734 2004-09-28  Boris Kolpackov  <boris@kolpackov.net>
736         * scripts/features/include: Test dontcare flag inheritance
737         when rebuilding makefiles.
739 2004-09-27  Boris Kolpackov  <boris@kolpackov.net>
741         * scripts/features/patspecific_vars: Test exported variables.
743 2004-09-22  Paul D. Smith  <psmith@gnu.org>
745         * run_make_tests.pl (run_make_test): Don't add newlines to the
746         makestring or answer if they are completely empty.
748         * scripts/features/patternrules: Rename from implicit_prereq_eval.
750         * scripts/test_template: Rework the template.
752 2004-09-21  Boris Kolpackov  <boris@kolpackov.net>
754         * run_make_tests.pl: Change `#!/usr/local/bin/perl' to be
755         `#!/usr/bin/env perl'.
757         * scripts/features/implicit_prereq_eval: Test implicit rule
758         prerequisite evaluation code.
760 2004-09-21  Paul D. Smith  <psmith@gnu.org>
762         * run_make_tests.pl (run_make_test): Enhance to allow the make
763         string to be undef: in that case it reuses the previous make
764         string.  Allows multiple tests on the same makefile.
766         * scripts/variables/flavors: Add some tests for prefix characters
767         interacting with define/endef variables.
769 2004-09-20  Paul D. Smith  <psmith@gnu.org>
771         * scripts/functions/substitution: Rewrite to use run_make_test()
772         interface, and add test for substitution failures reported by
773         Markus Mauhart <qwe123@chello.at>.
775 2004-03-22  Paul D. Smith  <psmith@gnu.org>
777         * test_driver.pl (run_each_test, toplevel, compare_output): Change
778         to track both the testing categories _AND_ the number of
779         individual tests, and report both sets of numbers.
781 2004-02-21  Paul D. Smith  <psmith@gnu.org>
783         * scripts/functions/origin: Set our own environment variable
784         rather than relying on $HOME.
786 2004-01-21  Paul D. Smith  <psmith@gnu.org>
788         * scripts/features/conditionals: Test arguments to ifn?def which
789         contain whitespace (such as a function that is evaluated).  Bug
790         #7257.
792 2004-01-07  Paul D. Smith  <psmith@gnu.org>
794         * scripts/features/order_only: Test order-only prerequisites in
795         pattern rules (patch #2349).
797 2003-11-02  Paul D. Smith  <psmith@gnu.org>
799         * scripts/functions/if: Test if on conditionals with trailing
800         whitespace--bug #5798.
802         * scripts/functions/eval: Test eval in a non-file context--bug #6195.
804 2003-04-19  Paul D. Smith  <psmith@gnu.org>
806         * scripts/features/patspecific_vars: Test multiple patterns
807         matching the same target--Bug #1405.
809 2003-04-09  Paul D. Smith  <psmith@gnu.org>
811         * run_make_tests.pl (set_more_defaults): A new $port_type of
812         'OS/2' for (surprise!) OS/2.  Also choose a wait time of 2 seconds
813         for OS/2.
815 2003-03-28  Paul D. Smith  <psmith@gnu.org>
817         * scripts/targets/SECONDARY: Test the "global" .SECONDARY (with
818         not prerequisites)--Bug #2515.
820 2003-01-30  Paul D. Smith  <psmith@gnu.org>
822         * scripts/features/targetvars: Test very long target-specific
823         variable definition lines (longer than the default make buffer
824         length).  Tests patch # 1022.
826         * scripts/functions/eval: Test very recursive $(eval ...) calls
827         with simple variable expansion (bug #2238).
829         * scripts/functions/word: Test error handling for word and
830         wordlist functions (bug #2407).
832 2003-01-22  Paul D. Smith  <psmith@gnu.org>
834         * scripts/functions/call: Test recursive argument masking (bug
835         #1744).
837 2002-10-25  Paul D. Smith  <psmith@gnu.org>
839         * scripts/functions/eval: Test using $(eval ...) inside
840         conditionals (Bug #1516).
842 2002-10-14  Paul D. Smith  <psmith@gnu.org>
844         * scripts/options/dash-t: Add a test for handling -t on targets
845         with no commands (Bug #1418).
847 2002-10-13  Paul D. Smith  <psmith@gnu.org>
849         * scripts/features/targetvars: Add a test for exporting
850         target-specific vars (Bug #1391).
852 2002-10-05  Paul D. Smith  <psmith@gnu.org>
854         * scripts/variables/automatic: Add tests for $$(@), $${@}, $${@D},
855         and $${@F}.
857 2002-09-23  Paul D. Smith  <psmith@gnu.org>
859         * scripts/features/escape: Test handling of escaped comment
860         characters in targets and prerequisites.
862 2002-09-18  Paul D. Smith  <psmith@gnu.org>
864         * scripts/features/export: Test export/unexport of multiple
865         variables in a single command.
867 2002-09-17  Paul D. Smith  <psmith@gnu.org>
869         * scripts/features/targetvars: Tests for Bug #940: test
870         target-specific and pattern-specific variables in conjunction with
871         double-colon targets.
873 2002-09-10  Paul D. Smith  <psmith@gnu.org>
875         * test_driver.pl (compare_output): Match the new format for time
876         skew error messages.
878         * scripts/features/export: Created.  Add tests for export/unexport
879         capabilities, including exporting/unexporting expanded variables.
881         * scripts/features/conditionals: Add a test for expanded variables
882         in ifdef conditionals.
884 2002-09-04  Paul D. Smith  <psmith@gnu.org>
886         * scripts/features/reinvoke: Change touch/sleep combos to utouch
887         invocations.
888         * scripts/features/vpathgpath: Ditto.
889         * scripts/features/vpathplus: Ditto.
890         * scripts/options/dash-n: Ditto.
891         * scripts/targets/INTERMEDIATE: Ditto.
892         * scripts/targets/SECONDARY: Ditto.
894         * scripts/options/dash-t: Added a test for the -t bug fixed by
895         Henning Makholm.  This test was also contributed by Henning.
897         * scripts/misc/general4: Add a test suite for obscure algorithmic
898         features of make.  First test: make sure creation subdirectories
899         as prerequisites of targets works properly.
901         * scripts/misc/version: Remove this bogus test.
903 2002-08-07  Paul D. Smith  <psmith@gnu.org>
905         * scripts/misc/general3: Add a test for makefiles that don't end
906         in newlines.
908         * scripts/variables/special: Create tests for the special
909         variables (.VARIABLES and .TARGETS).  Comment out .TARGETS test
910         for now as it's not yet supported.
912 2002-08-01  Paul D. Smith  <psmith@gnu.org>
914         * scripts/options/dash-B: Add a test for the new -B option.
916 2002-07-11  Paul D. Smith  <psmith@gnu.org>
918         * run_make_tests.pl (valid_option): Add support for Valgrind.  Use
919         -valgrind option to the test suite.
920         (set_more_defaults): Set up the file descriptor to capture
921         Valgrind output.  We have to unset its close-on-exec flag; we
922         hardcode the value for F_SETFD (2) rather than load it; hopefully
923         this will help us avoid breaking the Windows/DOS test suite.
925 2002-07-10  Paul D. Smith  <psmith@gnu.org>
927         * scripts/variables/automatic: Add some tests for $$@, $$(@D), and
928         $$(@F).
930         * test_driver.pl (utouch): Create a new function that creates a
931         file with a specific timestamp offset.  Use of this function will
932         let us avoid lots of annoying sleep() invocations in the tests
933         just to get proper timestamping, which will make the tests run a
934         lot faster.  So far it's only used in the automatic test suite.
936 2002-07-09  Paul D. Smith  <psmith@gnu.org>
938         * scripts/variables/automatic: Create a test for automatic variables.
940 2002-07-08  Paul D. Smith  <psmith@gnu.org>
942         * scripts/features/order_only: Test new order-only prerequisites.
944 2002-07-07  Paul D. Smith  <psmith@gnu.org>
946         * scripts/functions/eval: Test new function.
947         * scripts/functions/value: Test new function.
948         * scripts/variables/MAKEFILE_LIST: Test new variable.
950 2002-04-28  Paul D. Smith  <psmith@gnu.org>
952         * scripts/functions/call: New test: transitive closure
953         implementation using $(call ...) to test variable recursion.
955 2002-04-21  Paul D. Smith  <psmith@gnu.org>
957         * test_driver.pl (compare_dir_tree): Ignore CVS and RCS
958         directories in the script directories.
960 2001-05-02  Paul D. Smith  <psmith@gnu.org>
962         * scripts/variables/flavors: Test define/endef scripts where only
963         one of the command lines is quiet.
965 2000-06-22  Paul D. Smith  <psmith@gnu.org>
967         * scripts/options/dash-q: New file; test the -q option.  Includes
968         a test for PR/1780.
970 2000-06-21  Paul D. Smith  <psmith@gnu.org>
972         * scripts/features/targetvars: Added a test for PR/1709: allowing
973         semicolons in target-specific variable values.
975 2000-06-19  Paul D. Smith  <psmith@gnu.org>
977         * scripts/functions/addsuffix: Test for an empty final argument.
978         Actually this bug might have happened for any function, but this
979         one was handy.
981 2000-06-17  Eli Zaretskii  <eliz@is.elta.co.il>
983         * scripts/options/general: If parallel jobs are not supported,
984         expect a warning message from Make.
986 2000-06-15  Eli Zaretskii  <eliz@is.elta.co.il>
988         * scripts/options/general: Don't try -jN with N != 1 if parallel
989         jobs are not supported.
991 2000-05-24  Paul D. Smith  <psmith@gnu.org>
993         * scripts/options/general: Test general option processing (PR/1716).
995 2000-04-11  Paul D. Smith  <psmith@gnu.org>
997         * scripts/functions/strip: Test empty value to strip (PR/1689).
999 2000-04-08  Eli Zaretskii  <eliz@is.elta.co.il>
1001         * scripts/features/reinvoke: Sleep before updating the target
1002         files in the first test, to ensure its time stamp really gets
1003         newer; otherwise Make might re-exec more than once.
1005 2000-04-07  Eli Zaretskii  <eliz@is.elta.co.il>
1007         * scripts/features/double_colon: Don't run the parallel tests if
1008         parallel jobs aren't supported.
1010 2000-04-04  Paul D. Smith  <psmith@gnu.org>
1012         * scripts/functions/word: wordlist doesn't swap arguments anymore.
1014 2000-03-27  Paul D. Smith  <psmith@gnu.org>
1016         * scripts/features/statipattrules: Test that static pattern rules
1017         whose prerequisite patterns resolve to empty strings throw an
1018         error (instead of dumping core).  Fixes PR/1670.
1020         * scripts/features/reinvoke: Make more robust by touching "b"
1021         first, to ensure it's not newer than "a".
1022         Reported by Marco Franzen <Marco.Franzen@Thyron.com>.
1023         * scripts/options/dash-n: Ditto.
1025         * scripts/functions/call: Whoops.  The fix to PR/1527 caused
1026         recursive invocations of $(call ...) to break.  I can't come up
1027         with any way to get both working at the same time, so I backed out
1028         the fix to 1527 and added a test case for recursive calls.  This
1029         also tests the fix for PR/1610.
1031         * scripts/features/double_colon: Test that circular dependencies
1032         in double-colon rule sets are detected correctly (PR/1671).
1034 2000-03-26  Paul D. Smith  <psmith@gnu.org>
1036         * scripts/targets/INTERMEDIATE: Test that make doesn't remove
1037         .INTERMEDIATE files when given on the command line (PR/1669).
1039 2000-03-08  Paul D. Smith  <psmith@gnu.org>
1041         * scripts/options/dash-k: Add a test for error detection by
1042         multiple targets depending on the same prerequisite with -k.
1043         For PR/1634.
1045 2000-02-07  Paul D. Smith  <psmith@gnu.org>
1047         * scripts/features/escape: Add a test for backslash-escaped spaces
1048         in a target name (PR/1586).
1050 2000-02-04  Paul D. Smith  <psmith@gnu.org>
1052         * scripts/features/patspecific_vars: Add a test for pattern-specific
1053         target variables inherited from the parent target (PR/1407).
1055 2000-02-02  Paul D. Smith  <psmith@gnu.org>
1057         * run_make_tests.pl (set_more_defaults): Hard-code the LANG to C
1058         to make sure sorting order, etc. is predictable.
1059         Reported by Andreas Jaeger <aj@suse.de>.
1061         * run_make_tests.pl (set_more_defaults): Set the $wtime variable
1062         depending on the OS.  Eli Zaretskii <eliz@is.elta.co.il> reports
1063         this seems to need to be *4* on DOS/Windows, not just 2.  Keep it
1064         1 for other systems.
1065         * scripts/features/vpathplus (touchfiles): Use the $wtime value
1066         instead of hardcoding 2.
1067         * scripts/targets/SECONDARY: Ditto.
1068         * scripts/targets/INTERMEDIATE: Ditto.
1070 2000-01-27  Paul D. Smith  <psmith@gnu.org>
1072         * test_driver.pl (toplevel): Don't try to run test scripts which
1073         are really directories.
1075 2000-01-23  Paul D. Smith  <psmith@gnu.org>
1077         * scripts/features/include: Remove a check; the fix caused more
1078         problems than the error, so I removed it and removed the test for
1079         it.
1081 2000-01-11  Paul D. Smith  <psmith@gnu.org>
1083         * scripts/functions/call: Add a test for PR/1517 and PR/1527: make
1084         sure $(call ...) doesn't eval its arguments and that you can
1085         invoke foreach from it without looping forever.
1087 1999-12-15  Paul D. Smith  <psmith@gnu.org>
1089         * scripts/targets/INTERMEDIATE: Add a test for PR/1423: make sure
1090         .INTERMEDIATE settings on files don't disable them as implicit
1091         intermediate possibilities.
1093 1999-12-01  Paul D. Smith  <psmith@gnu.org>
1095         * scripts/features/double_colon: Add a test for PR/1476: Try
1096         double-colon rules as non-goal targets and during parallel builds
1097         to make sure they're handled serially.
1099 1999-11-17  Paul D. Smith  <psmith@gnu.org>
1101         * scripts/functions/if: Add a test for PR/1429: put some text
1102         after an if-statement to make sure it works.
1104         * scripts/features/targetvars: Add a test for PR/1380: handling +=
1105         in target-specific variable definitions correctly.
1107 1999-10-15  Paul D. Smith  <psmith@gnu.org>
1109         * scripts/variables/MAKEFILES: This was really broken: it didn't
1110         test anything at all, really.  Rewrote it, plus added a test for
1111         PR/1394.
1113 1999-10-13  Paul D. Smith  <psmith@gnu.org>
1115         * scripts/options/dash-n: Add a test for PR/1379: "-n doesn't
1116         behave properly when used with recursive targets".
1118 1999-10-08  Paul D. Smith  <psmith@gnu.org>
1120         * scripts/features/targetvars: Add a check for PR/1378:
1121         "Target-specific vars don't inherit correctly"
1123 1999-09-29  Paul D. Smith  <psmith@gnu.org>
1125         * test_driver.pl (get_osname): Change $fancy_file_names to
1126         $short_filenames and reverse the logic.
1127         (run_each_test): Change test of non-existent $port_host to use
1128         $short_filenames--problem reported by Eli Zaretskii.
1130 1999-09-23  Paul D. Smith  <psmith@gnu.org>
1132         * scripts/features/parallelism: Add a check to ensure that the
1133         jobserver works when we re-invoke.  Also cleaned up the tests a
1134         little, reducing the number of rules we use so the test won't need
1135         as many "sleep" commands.
1137 1999-09-16  Paul D. Smith  <psmith@gnu.org>
1139         * scripts/features/reinvoke: Remove invocations of "touch" in
1140         makefiles.  See the comments on the touch function rewrite below.
1141         Note that UNIX touch behaves the same way if the file already
1142         exists: it sets the time to the _local_ time.  We don't want
1143         this.  This is probably a good tip for makefile writers in
1144         general, actually... where practical.
1145         * scripts/options/dash-l: Ditto.
1146         * scripts/options/dash-n: Ditto.
1148         * test_driver.pl (run_each_test): In retrospect, I don't like the
1149         .lN/.bN/.dN postfix required by DOS.  So, for non-DOS systems I
1150         changed it back to use .log, .base, and .diff.
1152         * run_make_tests.pl (set_more_defaults): Move the check for the
1153         make pathname to here from set_defaults (that's too early since it
1154         happens before the command line processing).
1155         Create a new variable $port_type, calculated from $osname, to
1156         specify what kind of system we're running on.  We should integrate
1157         the VOS stuff here, too.
1158         (valid_option): Comment out the workdir/-work stuff so people
1159         won't be fooled into thinking it works... someone needs to fix
1160         this, though!
1162         * scripts/functions/origin: Use $port_type instead of $osname.
1163         * scripts/functions/foreach: Ditto.
1164         * scripts/features/default_names: Ditto.
1166 1999-09-15  Paul D. Smith  <psmith@gnu.org>
1168         * test_driver.pl (touch): Rewrite this function.  Previously it
1169         used to use utime() to hard-set the time based on the current
1170         local clock, or, if the file didn't exist, it merely created it.
1171         This mirrors exactly what real UNIX touch does, but it fails badly
1172         on networked filesystems where the FS server clock is skewed from
1173         the local clock: normally modifying a file causes it to get a mod
1174         time based on the _server's_ clock.  Hard-setting it based on the
1175         _local_ clock causes gratuitous errors and makes the tests
1176         unreliable except on local filesystems.  The new function will
1177         simply modify the file, allowing the filesystem to set the mod
1178         time as it sees fit.
1180         * scripts/features/parallelism: The second test output could
1181         change depending on how fast some scripts completed; use "sleep"
1182         to force the order we want.
1184         * test_driver.pl (toplevel): A bug in Perl 5.000 to Perl 5.004
1185         means that "%ENV = ();" doesn't do the right thing.  This worked
1186         in Perl 4 and was fixed in Perl 5.004_01, but use a loop to delete
1187         the environment rather than require specific versions.
1189         * run_make_tests.pl (set_more_defaults): Don't use Perl 5 s///
1190         modifier "s", so the tests will run with Perl 4.
1191         (set_more_defaults): Set $pure_log to empty if there's no -logfile
1192         option in PURIFYOPTIONS.
1193         (setup_for_test): Don't remove any logs unless $pure_log is set.
1195 1999-09-15  Eli Zaretskii  <eliz@is.elta.co.il>
1197         * scripts/features/reinvoke: Put the SHELL definition in the right
1198         test makefile.
1200 1999-09-15  Paul D. Smith  <psmith@gnu.org>
1202         ChangeLog file for the test suite created.
1205 Copyright (C) 1992-2012 Free Software Foundation, Inc.
1206 This file is part of GNU Make.
1208 GNU Make is free software; you can redistribute it and/or modify it under the
1209 terms of the GNU General Public License as published by the Free Software
1210 Foundation; either version 3 of the License, or (at your option) any later
1211 version.
1213 GNU Make is distributed in the hope that it will be useful, but WITHOUT ANY
1214 WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR
1215 A PARTICULAR PURPOSE.  See the GNU General Public License for more details.
1217 You should have received a copy of the GNU General Public License along with
1218 this program.  If not, see <http://www.gnu.org/licenses/>.