tests/scripts/features/parallelism

   1 #                                                                    -*-perl-*-
   2
   3 $description = "Test parallelism (-j) option.";
   4
   5
   6 $details = "This test creates a makefile with two double-colon default
   7 rules.  The first rule has a series of sleep and echo commands
   8 intended to run in series.  The second and third have just an
   9 echo statement.  When make is called in this test, it is given
  10 the -j option with a value of 4.  This tells make that it may
  11 start up to four jobs simultaneously.  In this case, since the
  12 first command is a sleep command, the output of the second
  13 and third commands will appear before the first if indeed
  14 make is running all of these commands in parallel.";
  15
  16 if (!$parallel_jobs) {
  17   return -1;
  18 }
  19
  20 if ($vos) {
  21   $sleep_command = "sleep -seconds";
  22 }
  23 else {
  24   $sleep_command = "sleep";
  25 }
  26
  27
  28 run_make_test("
  29 all : def_1 def_2 def_3
  30 def_1 : ; \@echo ONE; $sleep_command 3 ; echo TWO
  31 def_2 : ; \@$sleep_command 2 ; echo THREE
  32 def_3 : ; \@$sleep_command 1 ; echo FOUR",
  33               '-j4', "ONE\nFOUR\nTHREE\nTWO");
  34
  35 # Test parallelism with included files.  Here we sleep/echo while
  36 # building the included files, to test that they are being built in
  37 # parallel.
  38 run_make_test("
  39 all: 1 2; \@echo success
  40 -include 1.inc 2.inc
  41 1.inc: ; \@echo ONE.inc; $sleep_command 2; echo TWO.inc; echo '1: ; \@echo ONE; $sleep_command 2; echo TWO' > \$\@
  42 2.inc: ; \@$sleep_command 1; echo THREE.inc; echo '2: ; \@$sleep_command 1; echo THREE' > \$\@",
  43               "-j4",
  44               "ONE.inc\nTHREE.inc\nTWO.inc\nONE\nTHREE\nTWO\nsuccess\n");
  45
  46 rmfiles(qw(1.inc 2.inc));
  47
  48
  49 # Test parallelism with included files--this time recurse first and make
  50 # sure the jobserver works.
  51 run_make_test("
  52 recurse: ; \@\$(MAKE) --no-print-directory -f #MAKEFILE# INC=yes all
  53 all: 1 2; \@echo success
  54
  55 INC = no
  56 ifeq (\$(INC),yes)
  57 -include 1.inc 2.inc
  58 endif
  59
  60 1.inc: ; \@echo ONE.inc; $sleep_command 2; echo TWO.inc; echo '1: ; \@echo ONE; $sleep_command 2; echo TWO' > \$\@
  61 2.inc: ; \@$sleep_command 1; echo THREE.inc; echo '2: ; \@$sleep_command 1; echo THREE' > \$\@",
  62               "-j4",
  63               "ONE.inc\nTHREE.inc\nTWO.inc\nONE\nTHREE\nTWO\nsuccess\n");
  64
  65 rmfiles(qw(1.inc 2.inc));
  66
  67 # Grant Taylor reports a problem where tokens can be lost (not written back
  68 # to the pipe when they should be): this happened when there is a $(shell ...)
  69 # function in an exported recursive variable.  I added some code to check
  70 # for this situation and print a message if it occurred.  This test used
  71 # to trigger this code when I added it but no longer does after the fix.
  72 # We have to increase the timeout from the default (5s) on this test.
  73
  74 run_make_test("
  75 export HI = \$(shell \$(\$\@.CMD))
  76 first.CMD = echo hi
  77 second.CMD = $sleep_command 4; echo hi
  78
  79 .PHONY: all first second
  80 all: first second
  81
  82 first second: ; \@echo \$\@; $sleep_command 1; echo \$\@",
  83               '-j2', "first\nfirst\nsecond\nsecond", 0, 7);
  84
  85 # Michael Matz <matz@suse.de> reported a bug where if make is running in
  86 # parallel without -k and two jobs die in a row, but not too close to each
  87 # other, then make will quit without waiting for the rest of the jobs to die.
  88
  89 run_make_test("
  90 .PHONY: all fail.1 fail.2 fail.3 ok
  91 all: fail.1 ok fail.2 fail.3
  92
  93 fail.1 fail.2 fail.3:
  94         \@sleep \$(patsubst fail.%,%,\$\@)
  95         \@echo Fail
  96         \@exit 1
  97
  98 ok:
  99         \@sleep 4
 100         \@echo Ok done",
 101               '-rR -j5', 'Fail
 102 #MAKE#: *** [fail.1] Error 1
 103 #MAKE#: *** Waiting for unfinished jobs....
 104 Fail
 105 #MAKE#: *** [fail.2] Error 1
 106 Fail
 107 #MAKE#: *** [fail.3] Error 1
 108 Ok done',
 109              512);
 110
 111
 112 # Test for Savannah bug #15641.
 113 #
 114 run_make_test('
 115 .PHONY: all
 116 all:; @:
 117
 118 -include foo.d
 119
 120 foo.d: comp
 121         @echo building $@
 122
 123 comp: mod_a.o mod_b.o; @:
 124
 125 mod_a.o mod_b.o:
 126         @exit 1
 127 ', '-j2', '');
 128
 129
 130 # TEST #9 -- Savannah bugs 3330 and 15919
 131 # In earlier versions of make this will either give the wrong answer, or hang.
 132
 133 utouch(-10, 'target');
 134 run_make_test('target: intermed ; touch $@
 135
 136 .INTERMEDIATE: intermed
 137 intermed: | phony ; touch $@
 138
 139 .PHONY: phony
 140 phony: ; : phony', '-rR -j', ': phony');
 141 rmfiles('target');
 142
 143 # TEST #10: Don't put --jobserver-fds into a re-exec'd MAKEFLAGS.
 144 # We can't test this directly because there's no way a makefile can
 145 # show the value of MAKEFLAGS we were re-exec'd with.  We can intuit it
 146 # by looking for "disabling jobserver mode" warnings; we should only
 147 # get one from the original invocation and none from the re-exec.
 148 # See Savannah bug #18124
 149
 150 run_make_test(q!
 151 -include inc.mk
 152 recur:
 153 #       @echo 'MAKEFLAGS = $(MAKEFLAGS)'
 154         @rm -f inc.mk
 155         @$(MAKE) -j2 -f #MAKEFILE# all
 156 all:
 157 #       @echo 'MAKEFLAGS = $(MAKEFLAGS)'
 158         @echo $@
 159 inc.mk:
 160 #       @echo 'MAKEFLAGS = $(MAKEFLAGS)'
 161         @echo 'FOO = bar' > $@
 162 !,
 163               '--no-print-directory -j2', "#MAKE#[1]: warning: -jN forced in submake: disabling jobserver mode.\nall\n");
 164
 165 rmfiles('inc.mk');
 166
 167 if ($all_tests) {
 168     # Implicit files aren't properly recreated during parallel builds
 169     # Savannah bug #26864
 170
 171     # The first run works fine
 172     run_make_test(q!
 173 %.bar: %.x foo.y ; cat $^ > $@
 174 %.x: ; touch $@
 175 foo.y: foo.y.in ; cp $< $@
 176 foo.y.in: ; touch $@
 177 !,
 178                   '-j2 main.bar',
 179                   "touch foo.y.in
 180 touch main.x
 181 cp foo.y.in foo.y
 182 cat main.x foo.y > main.bar
 183 rm main.x");
 184
 185     # Now we touch the .in file and make sure it still works
 186     touch('foo.y.in');
 187
 188     run_make_test(undef, '-j2 main.bar', "cp foo.y.in foo.y
 189 touch main.x
 190 cat main.x foo.y > main.bar
 191 rm main.x");
 192
 193     # Clean up
 194     rmfiles(qw(foo.y foo.y.in main.bar));
 195 }
 196
 197 if ($all_tests) {
 198     # Jobserver FD handling is messed up in some way.
 199     # Savannah bug #28189
 200     # It doesn't look like that bug anymore but this is the code it runs
 201
 202     run_make_test(q!
 203 ifdef EXTRA
 204 vpath %.dst /
 205 xxx.dst: ; true
 206 yyy.dst: ; true
 207 endif
 208
 209 M := $(MAKE)
 210 xx: ; $M --no-print-directory -j2 -f $(MAKEFILE_LIST) xxx.dst yyy.dst EXTRA=1
 211 !,
 212                   '-j2',
 213                   '#MAKE#[1]: warning: -jN forced in submake: disabling jobserver mode.
 214 true
 215 true
 216 ');
 217 }
 218
 219 # Make sure that all jobserver FDs are closed if we need to re-exec the
 220 # master copy.
 221 #
 222 # First, find the "default" file descriptors we normally use
 223 # Then make sure they're still used.
 224 #
 225 # Right now we don't have a way to run a makefile and capture the output
 226 # without checking it, so we can't really write this test.
 227
 228 # run_make_test('
 229 # submake: ; @$(MAKE) --no-print-directory -f #MAKEFILE# fdprint 5>output
 230
 231 # dependfile: ; @echo FOO=bar > $@
 232
 233 # INCL := true
 234
 235 # FOO=foo
 236 # ifeq ($(INCL),true)
 237 # -include dependfile
 238 # endif
 239
 240 # fdprint: ; @echo $(filter --jobserver%,$(MAKEFLAGS))
 241
 242 # recurse: ; @$(MAKE) --no-print-directory -f #MAKEFILE# submake INCL=true',
 243 #               '-j2 INCL=false fdprint',
 244 #               'bar');
 245
 246 # rmfiles(qw(dependfile output));
 247
 248
 249 # # Do it again, this time where the include is done by the non-master make.
 250 # run_make_test(undef, '-j2 recurse INCL=false', 'bar');
 251
 252 # rmfiles(qw(dependfile output));
 253
 254 1;