.travis.yml

   1 # PLEASE NOTE: Travis is not currently utilised by the Moodle core integration
   2 # process (which uses our internal CI system) this file is here for the benefit
   3 # of community developers git clones - see MDL-51458.
   4
   5 # We currently disable Travis notifications entirely until https://github.com/travis-ci/travis-ci/issues/4976
   6 # is fixed.
   7 notifications:
   8   email: false
   9
  10 language: php
  11
  12 os: linux
  13
  14 dist: xenial
  15
  16 services:
  17     - mysql
  18     - docker
  19
  20 php:
  21     # We only run the highest and lowest supported versions to reduce the load on travis-ci.org.
  22     - 7.4
  23     - 7.2
  24
  25 addons:
  26   postgresql: "9.6"
  27
  28 env:
  29     # Although we want to run these jobs and see failures as quickly as possible, we also want to get the slowest job to
  30     # start first so that the total run time is not too high.
  31     #
  32     # We only run MySQL on PHP 7.2, so run that first.
  33     # CI Tests should be second-highest in priority as these only take <= 60 seconds to run under normal circumstances.
  34     # Postgres is significantly is pretty reasonable in its run-time.
  35
  36     # Run CI Tests without running PHPUnit.
  37     - DB=none     TASK=CITEST
  38
  39     # Run unit tests on Postgres
  40     - DB=pgsql    TASK=PHPUNIT
  41
  42     # Perform an upgrade test too.
  43     - DB=pgsql    TASK=UPGRADE
  44
  45 jobs:
  46     # Enable fast finish.
  47     # This will fail the build if a single job fails (except those in allow_failures).
  48     # It will not stop the jobs from running.
  49     fast_finish: true
  50
  51     include:
  52           # Run mysql only on highest - it's just too slow
  53         - php: 7.4
  54           env: DB=mysqli   TASK=PHPUNIT
  55           # Run grunt/npm install on highest version too ('node' is an alias for the latest node.js version.)
  56         - php: 7.4
  57           env: DB=none     TASK=GRUNT   NVM_VERSION='lts/carbon'
  58
  59 cache:
  60     directories:
  61       - $HOME/.composer/cache
  62       - $HOME/.npm
  63
  64 before_install:
  65     - docker run -d -p 127.0.0.1:8080:80 --name exttests moodlehq/moodle-exttests
  66     # Avoid IPv6 default binding as service (causes redis not to start).
  67     - sudo service redis-server start --bind 127.0.0.1
  68
  69 install:
  70     - >
  71         if [ "$DB" = 'mysqli' ];
  72         then
  73             sudo mkdir /mnt/ramdisk
  74             sudo mount -t tmpfs -o size=1024m tmpfs /mnt/ramdisk
  75             sudo service mysql stop
  76             sudo mv /var/lib/mysql /mnt/ramdisk
  77             sudo ln -s /mnt/ramdisk/mysql /var/lib/mysql
  78             sudo service mysql restart
  79         fi
  80     - >
  81         if [ "$DB" = 'pgsql' ];
  82         then
  83             sudo mkdir /mnt/ramdisk
  84             sudo mount -t tmpfs -o size=1024m tmpfs /mnt/ramdisk
  85             sudo service postgresql stop
  86             sudo mv /var/lib/postgresql /mnt/ramdisk
  87             sudo ln -s /mnt/ramdisk/postgresql /var/lib/postgresql
  88             sudo service postgresql start 9.6
  89         fi
  90     - >
  91         if [ "$TASK" = 'PHPUNIT' ];
  92         then
  93             if [ -n "$GITHUB_APITOKEN" ]; then
  94                 composer config github-oauth.github.com $GITHUB_APITOKEN;
  95                 echo 'auth.json' >> .git/info/exclude
  96             fi
  97
  98             echo 'extension="redis.so"' > /tmp/redis.ini
  99             phpenv config-add /tmp/redis.ini
 100
 101             # Install composer dependencies.
 102             # We need --no-interaction in case we hit API limits for composer. This causes it to fall back to a standard clone.
 103             # Typically it should be able to use the Composer cache if any other job has already completed before we started here.
 104             travis_retry composer install --prefer-dist --no-interaction;
 105         fi
 106
 107     - >
 108         if [ "$TASK" = 'GRUNT' ];
 109         then
 110             nvm install $NVM_VERSION ;
 111             nvm use $NVM_VERSION ;
 112         fi
 113
 114 before_script:
 115     - phpenv config-rm xdebug.ini
 116     - >
 117       if [ "$TASK" = 'PHPUNIT' -o "$TASK" = 'UPGRADE' ];
 118       then
 119         # Copy generic configuration in place.
 120         cp config-dist.php config.php ;
 121
 122         # Create the moodledata directory.
 123         mkdir -p "$HOME"/roots/base
 124
 125         # The database name and password.
 126         sed -i \
 127           -e "s%= 'moodle'%= 'travis_ci_test'%" \
 128           -e "s%= 'password'%= ''%" \
 129           config.php ;
 130
 131         # The wwwroot and dataroot.
 132         sed -i \
 133           -e "s%http://example.com/moodle%https://localhost%" \
 134           -e "s%/home/example/moodledata%/home/travis/roots/base%" \
 135           config.php ;
 136
 137         if [ "$DB" = 'pgsql' ];
 138         then
 139           # Postgres-specific setup.
 140           sed -i \
 141             -e "s%= 'username'%= 'postgres'%" \
 142             config.php ;
 143
 144           psql -c 'CREATE DATABASE travis_ci_test;' -U postgres;
 145         fi
 146
 147         if [ "$DB" = 'mysqli' ];
 148         then
 149           # MySQL-specific setup.
 150           sed -i \
 151             -e "s%= 'pgsql'%= 'mysqli'%" \
 152             -e "s%= 'username'%= 'travis'%" \
 153             -e "s%=> 'utf8mb4_unicode_ci'%=> 'utf8mb4_bin'%" \
 154             config.php;
 155
 156           mysql -u root -e 'SET GLOBAL innodb_file_format=barracuda;' ;
 157           mysql -u root -e 'SET GLOBAL innodb_file_per_table=ON;' ;
 158           mysql -u root -e 'SET GLOBAL innodb_large_prefix=ON;' ;
 159           mysql -e 'CREATE DATABASE travis_ci_test DEFAULT CHARACTER SET utf8mb4 DEFAULT COLLATE utf8mb4_bin;' ;
 160         fi
 161       fi
 162
 163     - >
 164       if [ "$TASK" = 'PHPUNIT' ];
 165       then
 166         # Create a directory for the phpunit dataroot.
 167         mkdir -p "$HOME"/roots/phpunit
 168
 169         # The phpunit dataroot and prefix..
 170         sed -i \
 171           -e "/require_once/i \\\$CFG->phpunit_dataroot = '\/home\/travis\/roots\/phpunit';" \
 172           -e "/require_once/i \\\$CFG->phpunit_prefix = 'p_';" \
 173           config.php ;
 174         # Enable test external resources
 175         sed -i \
 176           -e "/require_once/i \\define('TEST_EXTERNAL_FILES_HTTP_URL', 'http://127.0.0.1:8080');" \
 177           -e "/require_once/i \\define('TEST_EXTERNAL_FILES_HTTPS_URL', 'http://127.0.0.1:8080');" \
 178           config.php ;
 179
 180         # Redis cache store tests
 181         sed -i \
 182           -e "/require_once/i \\define('TEST_CACHESTORE_REDIS_TESTSERVERS', '127.0.0.1');" \
 183           config.php ;
 184         # Redis session tests, but not for PHP 7.2 and up. See MDL-60978 for more info.
 185         redissession="define('TEST_SESSION_REDIS_HOST', '127.0.0.1');"
 186         sed -i \
 187           -e "/require_once/i \\${redissession}" \
 188           config.php ;
 189
 190         # Initialise PHPUnit for Moodle.
 191         php admin/tool/phpunit/cli/init.php
 192       fi
 193
 194     - >
 195       if [ "$TASK" = 'GRUNT' ];
 196       then
 197         npm install --no-spin;
 198         npm install --no-spin -g grunt ;
 199       fi
 200
 201     ########################################################################
 202     # CI Tests
 203     ########################################################################
 204     - >
 205       if [ "$TASK" = 'CITEST' ];
 206       then
 207         # Note - this is deliberately placed in the script section as we
 208         # should not add any code until after phpunit has run.
 209
 210         # The following repositories are required.
 211         # The local_ci repository does the actual checking.
 212         git clone https://github.com/moodlehq/moodle-local_ci.git local/ci
 213
 214         # We need the official upstream for comparison
 215         git remote add upstream https://github.com/moodle/moodle.git;
 216
 217         git fetch upstream MOODLE_310_STABLE;
 218         export GIT_PREVIOUS_COMMIT="`git merge-base FETCH_HEAD $TRAVIS_COMMIT`";
 219         export GIT_COMMIT="$TRAVIS_COMMIT";
 220         export UPSTREAM_FETCH_HEAD=`git rev-parse FETCH_HEAD`
 221
 222         # Variables required by our linter.
 223         export gitcmd=`which git`;
 224         export gitdir="$TRAVIS_BUILD_DIR";
 225         export phpcmd=`which php`;
 226       fi
 227
 228     ########################################################################
 229     # Upgrade test
 230     ########################################################################
 231     - >
 232       if [ "$TASK" = 'UPGRADE' ];
 233       then
 234         # We need the official upstream.
 235         git remote add upstream https://github.com/moodle/moodle.git;
 236
 237         # Checkout 30 STABLE branch (the first version compatible with PHP 7.x)
 238         git fetch upstream MOODLE_30_STABLE;
 239         git checkout MOODLE_30_STABLE;
 240
 241         # Perform the upgrade
 242         php admin/cli/install_database.php --agree-license --adminpass=Password --adminemail=admin@example.com --fullname="Upgrade test" --shortname=Upgrade;
 243
 244         # Return to the previous commit
 245         git checkout -;
 246
 247         # Perform the upgrade
 248         php admin/cli/upgrade.php --non-interactive --allow-unstable ;
 249
 250         # The local_ci repository can be used to check upgrade savepoints.
 251         git clone https://github.com/moodlehq/moodle-local_ci.git local/ci ;
 252       fi
 253
 254 script:
 255     - >
 256       if [ "$TASK" = 'PHPUNIT' ];
 257       then
 258         vendor/bin/phpunit --fail-on-risky --disallow-test-output --verbose;
 259       fi
 260
 261     - >
 262       if [ "$TASK" = 'CITEST' ];
 263       then
 264         bash local/ci/php_lint/php_lint.sh;
 265       fi
 266
 267     - >
 268       if [ "$TASK" = 'GRUNT' ];
 269       then
 270         grunt ;
 271         # Add all files to the git index and then run diff --cached to see all changes.
 272         # This ensures that we get the status of all files, including new files.
 273         # We ignore npm-shrinkwrap.json to make the tasks immune to npm changes.
 274         git add . ;
 275         git reset -- npm-shrinkwrap.json ;
 276         git diff --cached --exit-code ;
 277       fi
 278
 279     ########################################################################
 280     # Upgrade test
 281     ########################################################################
 282     - >
 283       if [ "$TASK" = 'UPGRADE' ];
 284       then
 285         cp local/ci/check_upgrade_savepoints/check_upgrade_savepoints.php ./check_upgrade_savepoints.php
 286         result=`php check_upgrade_savepoints.php`;
 287         # Check if there are problems
 288         count=`echo "$result" | grep -P "ERROR|WARN" | wc -l` ;
 289         if (($count > 0));
 290         then
 291           echo "$result"
 292           exit 1 ;
 293         fi
 294       fi
 295
 296 after_script:
 297     - >
 298       if [ "$TASK" = 'PHPUNIT' ];
 299       then
 300         EXTTESTS_HITS=$(docker logs exttests 2>&1 | grep -Fv -e 'AH00558' -e '[pid 1]' | wc -l)
 301         echo -e "\nTest local resources number of hits: ${EXTTESTS_HITS}.\n"
 302       fi