tests/Makefile.inc

   1 # SPDX-License-Identifier: GPL-2.0-only
   2
   3 # Place the build output in one of two places depending on COV, so that code
   4 # built with code coverage never mixes with code built without code coverage.
   5 ifeq ($(COV),1)
   6 testobj := $(obj)/coverage
   7 else
   8 testobj := $(obj)/tests
   9 endif
  10
  11 include $(top)/tests/Makefile.common
  12
  13 # Enable code coverage if COV=1
  14 ifeq ($(COV),1)
  15 TEST_CFLAGS += --coverage
  16 TEST_LDFLAGS += --coverage
  17 endif
  18
  19 stages := decompressor bootblock romstage smm verstage
  20 stages += ramstage rmodule postcar libagesa
  21
  22 alltests :=
  23 subdirs := tests/arch tests/acpi tests/commonlib tests/console tests/cpu
  24 subdirs += tests/device tests/drivers tests/ec tests/lib tests/mainboard
  25 subdirs += tests/northbridge tests/security tests/soc tests/southbridge
  26 subdirs += tests/superio tests/vendorcode
  27
  28 define tests-handler
  29 alltests += $(1)$(2)
  30 $(foreach attribute,$(attributes),
  31         $(eval $(1)$(2)-$(attribute) += $($(2)-$(attribute))))
  32 $(foreach attribute,$(attributes),
  33         $(eval $(2)-$(attribute) := ))
  34
  35 # Sanity check for stage attribute value
  36 $(eval $(1)$(2)-stage := $(if $($(1)$(2)-stage),$($(1)$(2)-stage),ramstage))
  37 $(if $(findstring $($(1)$(2)-stage), $(stages)),,
  38         $(error Wrong $(1)$(2)-stage value $($(1)$(2)-stage). \
  39                 Check your $(dir $(1)$(2))Makefile.inc))
  40 endef
  41
  42 $(call add-special-class, tests)
  43 $(call evaluate_subdirs)
  44
  45 $(foreach test, $(alltests), \
  46         $(eval $(test)-srcobjs := $(addprefix $(testobj)/$(test)/, \
  47                 $(patsubst %.c,%.o,$(filter src/%,$($(test)-srcs))))) \
  48         $(eval $(test)-objs := $(addprefix $(testobj)/$(test)/, \
  49                 $(patsubst %.c,%.o,$($(test)-srcs)))))
  50 $(foreach test, $(alltests), \
  51         $(eval $(test)-bin := $(testobj)/$(test)/run))
  52 $(foreach test, $(alltests), \
  53         $(eval $(call TEST_CC_template,$(test))))
  54
  55 $(foreach test, $(alltests), \
  56         $(eval all-test-objs += $($(test)-objs)))
  57 $(foreach test, $(alltests), \
  58         $(eval test-bins += $($(test)-bin)))
  59
  60 DEPENDENCIES += $(addsuffix .d,$(basename $(all-test-objs)))
  61 -include $(DEPENDENCIES)
  62
  63 .PHONY: $(alltests) $(addprefix clean-,$(alltests))
  64 .PHONY: unit-tests build-unit-tests run-unit-tests clean-unit-tests
  65
  66 # %g in CMOCKA_XML_FILE will be replaced with "__TEST_NAME__(<test-group-name>)"
  67 # by macro cb_run_group_tests(), which should be used for running tests.
  68 # __TEST_NAME__ contains test name including path e.g. tests_lib_rtc-test
  69 ifeq ($(JUNIT_OUTPUT),y)
  70 $(alltests): export CMOCKA_MESSAGE_OUTPUT=xml
  71 $(alltests): export CMOCKA_XML_FILE=$(testobj)/junit-%g.xml
  72 endif
  73
  74 $(alltests): $$($$(@)-bin)
  75         rm -f $(testobj)/junit-$(subst /,_,$(patsubst $(testobj)/%/,%,$(dir $^)))\(*\).xml
  76         rm -f $(testobj)/$(subst /,_,$^).failed
  77         -$^ || echo failed > $(testobj)/$(subst /,_,$^).failed
  78
  79 # Build a code coverage report by collecting all the gcov files into a single
  80 # report. If COV is not set, this might be a user error, and they're trying
  81 # to generate a coverage report without first having built and run the code
  82 # with code coverage. So instead of silently correcting it by adding COV=1,
  83 # let's flag it to the user so they can be sure they're doing the thing they
  84 # want to do.
  85
  86 .PHONY: coverage-report clean-coverage-report
  87
  88 ifeq ($(COV),1)
  89 coverage-report:
  90         lcov -o $(testobj)/tests.info -c -d $(testobj) --exclude '$(testsrc)/*'
  91         genhtml -q -o $(testobj)/$(coverage_dir) -t "coreboot unit tests" \
  92         -s $(testobj)/tests.info
  93
  94 clean-coverage-report:
  95         rm -Rf $(testobj)/$(coverage_dir)
  96 else
  97 coverage-report:
  98         COV=1 V=$(V) $(MAKE) coverage-report
  99
 100 clean-coverage-report:
 101         COV=1 V=$(V) $(MAKE) clean-coverage-report
 102 endif
 103
 104 unit-tests: build-unit-tests run-unit-tests
 105
 106 build-unit-tests: $(test-bins)
 107
 108 run-unit-tests: $(alltests)
 109         if [ `find $(testobj) -name '*.failed' | wc -l` -gt 0 ]; then \
 110                 echo "**********************"; \
 111                 echo "     TESTS FAILED"; \
 112                 echo "**********************"; \
 113                 exit 1; \
 114         else \
 115                 echo "**********************"; \
 116                 echo "   ALL TESTS PASSED"; \
 117                 echo "**********************"; \
 118                 exit 0; \
 119         fi
 120
 121 $(addprefix clean-,$(alltests)): clean-%:
 122         rm -rf $(testobj)/$*
 123
 124 clean-unit-tests:
 125         rm -rf $(testobj)
 126
 127 list-unit-tests:
 128         @echo "unit-tests:"
 129         for t in $(sort $(alltests)); do \
 130                 echo "  $$t"; \
 131         done
 132
 133 help-unit-tests help::
 134         @echo  '*** coreboot unit-tests targets ***'
 135         @echo  '  Use "COV=1 make [target]" to enable code coverage for unit tests'
 136         @echo  '  unit-tests            - Run all unit-tests from tests/'
 137         @echo  '  clean-unit-tests      - Remove unit-tests build artifacts'
 138         @echo  '  list-unit-tests       - List all unit-tests'
 139         @echo  '  <unit-test>           - Build and run single unit-test'
 140         @echo  '  clean-<unit-test>     - Remove single unit-test build artifacts'
 141         @echo  '  coverage-report       - Generate a code coverage report'
 142         @echo  '  clean-coverage-report - Remove the code coverage report'
 143         @echo