tests/tcg/Makefile.target

   1 # -*- Mode: makefile -*-
   2 #
   3 # TCG tests
   4 #
   5 # These are complicated by the fact we want to build them for guest
   6 # systems. This requires knowing what guests we are building and which
   7 # ones we have cross-compilers for or docker images with
   8 # cross-compilers.
   9 #
  10 # The tests themselves should be as minimal as possible as
  11 # cross-compilers don't always have a large amount of libraries
  12 # available.
  13 #
  14 # We only include the host build system for SRC_PATH and we don't
  15 # bother with the common rules.mk. We expect the following:
  16 #
  17 #   CC - the C compiler command
  18 #   EXTRA_CFLAGS - any extra CFLAGS
  19 #   BUILD_STATIC - are we building static binaries
  20 #
  21 # By default all tests are statically compiled but some host systems
  22 # may not package static libraries by default. If an external
  23 # cross-compiler can only build dynamic libraries the user might need
  24 # to make extra efforts to ensure ld.so can link at runtime when the
  25 # tests are run.
  26 #
  27 # We also accept SPEED=slow to enable slower running tests
  28 #
  29 # We also expect to be in the tests build dir for the FOO-(linux-user|softmmu).
  30 #
  31
  32 all:
  33 -include ../../../config-host.mak
  34 -include ../config-$(TARGET).mak
  35 ifeq ($(CONFIG_USER_ONLY),y)
  36 -include $(SRC_PATH)/default-configs/targets/$(TARGET).mak
  37 endif
  38
  39 # for including , in command strings
  40 COMMA := ,
  41
  42 quiet-command = $(if $(V),$1,$(if $(2),@printf "  %-7s %s\n" $2 $3 && $1, @$1))
  43
  44 # $1 = test name, $2 = cmd, $3 = desc
  45 ifdef CONFIG_USER_ONLY
  46 run-test = $(call quiet-command, timeout --foreground $(TIMEOUT) $2 > $1.out, \
  47         "TEST",$3)
  48 else
  49 run-test = $(call quiet-command, timeout --foreground $(TIMEOUT) $2,"TEST",$3)
  50 endif
  51
  52 # $1 = test name, $2 = reference
  53 # to work around the pipe squashing the status we only pipe the result if
  54 # we know it failed and then force failure at the end.
  55 diff-out = $(call quiet-command, diff -q $1.out $2 || \
  56                                  (diff -u $1.out $2 | head -n 10 && false), \
  57                                  "DIFF","$1.out with $2")
  58
  59 # $1 = test name, $2 = reason
  60 skip-test = @printf "  SKIPPED %s on $(TARGET_NAME) because %s\n" $1 $2
  61
  62 # $1 = test name, $2 = reference
  63 # As above but only diff if reference file exists, otherwise the test
  64 # passes if it managed to complete with a status of zero
  65 conditional-diff-out =                                                  \
  66         $(if $(wildcard $2),                                            \
  67                 $(call diff-out,$1,$2),                                 \
  68                 $(call skip-test,"$1 check","no reference"))
  69
  70
  71 # Tests we are building
  72 TESTS=
  73 # additional tests which may re-use existing binaries
  74 EXTRA_TESTS=
  75
  76 # Start with a blank slate, the build targets get to add stuff first
  77 CFLAGS=
  78 QEMU_CFLAGS=
  79 LDFLAGS=
  80
  81 QEMU_OPTS=
  82
  83
  84 # If TCG debugging, or TCI is enabled things are a lot slower
  85 ifneq ($(CONFIG_TCG_INTERPRETER),)
  86 TIMEOUT=90
  87 else ifneq ($(CONFIG_DEBUG_TCG),)
  88 TIMEOUT=60
  89 else
  90 TIMEOUT=15
  91 endif
  92
  93 ifdef CONFIG_USER_ONLY
  94 # The order we include is important. We include multiarch first and
  95 # then the target. If there are common tests shared between
  96 # sub-targets (e.g. ARM & AArch64) then it is up to
  97 # $(TARGET_NAME)/Makefile.target to include the common parent
  98 # architecture in its VPATH.
  99 -include $(SRC_PATH)/tests/tcg/multiarch/Makefile.target
 100 -include $(SRC_PATH)/tests/tcg/$(TARGET_NAME)/Makefile.target
 101
 102 # Add the common build options
 103 CFLAGS+=-Wall -Werror -O0 -g -fno-strict-aliasing
 104 ifeq ($(BUILD_STATIC),y)
 105 LDFLAGS+=-static
 106 endif
 107
 108 %: %.c
 109         $(CC) $(CFLAGS) $(EXTRA_CFLAGS) $< -o $@ $(LDFLAGS)
 110 else
 111 # For softmmu targets we include a different Makefile fragement as the
 112 # build options for bare programs are usually pretty different. They
 113 # are expected to provide their own build recipes.
 114 -include $(SRC_PATH)/tests/tcg/minilib/Makefile.target
 115 -include $(SRC_PATH)/tests/tcg/multiarch/system/Makefile.softmmu-target
 116 -include $(SRC_PATH)/tests/tcg/$(TARGET_NAME)/Makefile.softmmu-target
 117
 118 endif
 119
 120 all: $(TESTS) $(EXTRA_TESTS)
 121
 122 #
 123 # Test Runners
 124 #
 125 # By default we just run the test with the appropriate QEMU for the
 126 # target. More advanced tests may want to override the runner in their
 127 # specific make rules. Additional runners for the same binary should
 128 # be added to EXTRA_RUNS.
 129 #
 130
 131 RUN_TESTS=$(patsubst %,run-%, $(TESTS))
 132
 133 # If plugins exist also include those in the tests
 134 ifeq ($(CONFIG_PLUGIN),y)
 135 PLUGIN_SRC=$(SRC_PATH)/tests/plugin
 136 PLUGIN_LIB=../../plugin
 137 VPATH+=$(PLUGIN_LIB)
 138 PLUGINS=$(patsubst %.c, lib%.so, $(notdir $(wildcard $(PLUGIN_SRC)/*.c)))
 139
 140 # We need to ensure expand the run-plugin-TEST-with-PLUGIN
 141 # pre-requistes manually here as we can't use stems to handle it. We
 142 # also add some special helpers the run-plugin- rules can use bellow.
 143
 144 $(foreach p,$(PLUGINS), \
 145         $(foreach t,$(TESTS),\
 146                 $(eval run-plugin-$(t)-with-$(p): $t $p) \
 147                 $(eval run-plugin-$(t)-with-$(p): TIMEOUT=60) \
 148                 $(eval RUN_TESTS+=run-plugin-$(t)-with-$(p))))
 149 endif
 150
 151 strip-plugin = $(wordlist 1, 1, $(subst -with-, ,$1))
 152 extract-plugin = $(wordlist 2, 2, $(subst -with-, ,$1))
 153
 154 RUN_TESTS+=$(EXTRA_RUNS)
 155
 156 ifdef CONFIG_USER_ONLY
 157 run-%: %
 158         $(call run-test, $<, $(QEMU) $(QEMU_OPTS) $<, "$< on $(TARGET_NAME)")
 159
 160 run-plugin-%:
 161         $(call run-test, $@, $(QEMU) $(QEMU_OPTS) \
 162                 -plugin $(PLUGIN_LIB)/$(call extract-plugin,$@) \
 163                 -d plugin -D $*.pout \
 164                  $(call strip-plugin,$<), \
 165         "$* on $(TARGET_NAME)")
 166 else
 167 run-%: %
 168         $(call run-test, $<, \
 169           $(QEMU) -monitor none -display none \
 170                   -chardev file$(COMMA)path=$<.out$(COMMA)id=output \
 171                   $(QEMU_OPTS) $<, \
 172           "$< on $(TARGET_NAME)")
 173
 174 run-plugin-%:
 175         $(call run-test, $@, \
 176           $(QEMU) -monitor none -display none \
 177                   -chardev file$(COMMA)path=$@.out$(COMMA)id=output \
 178                   -plugin $(PLUGIN_LIB)/$(call extract-plugin,$@) \
 179                   -d plugin -D $*.pout \
 180                   $(QEMU_OPTS) $(call strip-plugin,$<), \
 181           "$* on $(TARGET_NAME)")
 182 endif
 183
 184 gdb-%: %
 185         gdb --args $(QEMU) $(QEMU_OPTS) $<
 186
 187 .PHONY: run
 188 run: $(RUN_TESTS)
 189
 190 # There is no clean target, the calling make just rm's the tests build dir