Rakefile

   1 # -*- coding: utf-8 -*-
   2 # -*- mode: ruby -*-
   3 # vi: set ft=ruby :
   4 #
   5 # Tails: The Amnesic Incognito Live System
   6 # Copyright © 2012 Tails developers <tails@boum.org>
   7 #
   8 # This program is free software: you can redistribute it and/or modify
   9 # it under the terms of the GNU General Public License as published by
  10 # the Free Software Foundation, either version 3 of the License, or
  11 # (at your option) any later version.
  12 #
  13 # This program is distributed in the hope that it will be useful,
  14 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  15 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  16 # GNU General Public License for more details.
  17 #
  18 # You should have received a copy of the GNU General Public License
  19 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
  20
  21 require 'rbconfig'
  22 require 'rubygems'
  23 require 'vagrant'
  24 require 'uri'
  25
  26 $:.unshift File.expand_path('../vagrant/lib', __FILE__)
  27 require 'tails_build_settings'
  28 require 'vagrant_version'
  29
  30 # Path to the directory which holds our Vagrantfile
  31 VAGRANT_PATH = File.expand_path('../vagrant', __FILE__)
  32
  33 # Branches that are considered 'stable' (used to select SquashFS compression)
  34 STABLE_BRANCH_NAMES = ['stable', 'testing']
  35
  36 # Environment variables that will be exported to the build script
  37 EXPORTED_VARIABLES = ['http_proxy', 'MKSQUASHFS_OPTIONS', 'TAILS_RAM_BUILD', 'TAILS_CLEAN_BUILD']
  38
  39 # Let's save the http_proxy set before playing with it
  40 EXTERNAL_HTTP_PROXY = ENV['http_proxy']
  41
  42 # In-VM proxy URL
  43 INTERNEL_HTTP_PROXY = "http://#{VIRTUAL_MACHINE_HOSTNAME}:3142"
  44
  45 def primary_vm
  46   env = Vagrant::Environment.new(:cwd => VAGRANT_PATH, :ui_class => Vagrant::UI::Basic)
  47   if vagrant_old
  48     return env.primary_vm
  49   else
  50     name = env.primary_machine_name
  51     return env.machine(name, env.default_provider)
  52   end
  53 end
  54
  55 def primary_vm_state
  56   if vagrant_old
  57     return primary_vm.state
  58   else
  59     return primary_vm.state.id
  60   end
  61 end
  62
  63 def primary_vm_chan
  64   if vagrant_old
  65     return primary_vm.channel
  66   else
  67     return primary_vm.communicate
  68   end
  69 end
  70
  71
  72 def vm_id
  73   if vagrant_old
  74     primary_vm.uuid
  75   else
  76     primary_vm.id
  77   end
  78 end
  79
  80 def vm_driver
  81   if vagrant_old
  82     primary_vm.driver
  83   else
  84     primary_vm.provider.driver
  85   end
  86 end
  87
  88 def current_vm_cpus
  89   info = vm_driver.execute 'showvminfo', vm_id, '--machinereadable'
  90   $1.to_i if info =~ /^cpus=(\d+)/
  91 end
  92
  93 def vm_running?
  94   primary_vm_state == :running
  95 end
  96
  97 def enough_free_host_memory_for_ram_build?
  98   return false unless RbConfig::CONFIG['host_os'] =~ /linux/i
  99
 100   begin
 101     usable_free_mem = `free`.split[16].to_i
 102     usable_free_mem > VM_MEMORY_FOR_RAM_BUILDS * 1024
 103   rescue
 104     false
 105   end
 106 end
 107
 108 def free_vm_memory
 109   primary_vm_chan.execute("free", :error_check => false) do |fd, data|
 110     return data.split[16].to_i
 111   end
 112 end
 113
 114 def enough_free_vm_memory_for_ram_build?
 115   free_vm_memory > BUILD_SPACE_REQUIREMENT * 1024
 116 end
 117
 118 def enough_free_memory_for_ram_build?
 119   if vm_running?
 120     enough_free_vm_memory_for_ram_build?
 121   else
 122     enough_free_host_memory_for_ram_build?
 123   end
 124 end
 125
 126 def is_release?
 127   branch_name = `git name-rev --name-only HEAD`
 128   tag_name = `git describe --exact-match HEAD 2> /dev/null`
 129   STABLE_BRANCH_NAMES.include? branch_name.chomp or tag_name.chomp.length > 0
 130 end
 131
 132 def system_cpus
 133   return nil unless RbConfig::CONFIG['host_os'] =~ /linux/i
 134
 135   begin
 136     File.read('/proc/cpuinfo').scan(/^processor\s+:/).count
 137   rescue
 138     nil
 139   end
 140 end
 141
 142 task :parse_build_options do
 143   options = ''
 144
 145   # Default to in-memory builds if there is enough RAM available
 146   options += 'ram ' if enough_free_memory_for_ram_build?
 147
 148   # Use in-VM proxy unless an external proxy is set
 149   options += 'vmproxy ' unless EXTERNAL_HTTP_PROXY
 150
 151   # Default to fast compression on development branches
 152   options += 'gzipcomp ' unless is_release?
 153
 154   # Make sure release builds are clean
 155   options += 'cleanall ' if is_release?
 156
 157   # Default to the number of system CPUs when we can figure it out
 158   cpus = system_cpus
 159   options += "cpus=#{cpus} " if cpus
 160
 161   options += ENV['TAILS_BUILD_OPTIONS'] if ENV['TAILS_BUILD_OPTIONS']
 162   options.split(' ').each do |opt|
 163     case opt
 164     # Memory build settings
 165     when 'ram'
 166       ENV['TAILS_RAM_BUILD'] = '1'
 167     when 'noram'
 168       ENV['TAILS_RAM_BUILD'] = nil
 169     # Bootstrap cache settings
 170     # HTTP proxy settings
 171     when 'extproxy'
 172       abort "No HTTP proxy set, but one is required by TAILS_BUILD_OPTIONS. Aborting." unless EXTERNAL_HTTP_PROXY
 173       ENV['http_proxy'] = EXTERNAL_HTTP_PROXY
 174     when 'vmproxy'
 175       ENV['http_proxy'] = INTERNEL_HTTP_PROXY
 176     when 'noproxy'
 177       ENV['http_proxy'] = nil
 178     # SquashFS compression settings
 179     when 'gzipcomp'
 180       ENV['MKSQUASHFS_OPTIONS'] = '-comp gzip'
 181     when 'defaultcomp'
 182       ENV['MKSQUASHFS_OPTIONS'] = nil
 183     # Clean-up settings
 184     when 'cleanall'
 185       ENV['TAILS_CLEAN_BUILD'] = '1'
 186     # Virtual CPUs settings
 187     when /cpus=(\d+)/
 188       ENV['TAILS_BUILD_CPUS'] = $1
 189     # Git settings
 190     when 'ignorechanges'
 191       ENV['TAILS_BUILD_IGNORE_CHANGES'] = '1'
 192     end
 193   end
 194 end
 195
 196 task :ensure_clean_repository do
 197   git_status = `git status --porcelain`
 198   unless git_status.empty?
 199     if ENV['TAILS_BUILD_IGNORE_CHANGES']
 200       $stderr.puts <<-END_OF_MESSAGE.gsub(/^        /, '')
 201
 202         You have uncommitted changes in the Git repository. They will
 203         be ignored for the upcoming build:
 204         #{git_status}
 205
 206       END_OF_MESSAGE
 207     else
 208       $stderr.puts <<-END_OF_MESSAGE.gsub(/^        /, '')
 209
 210         You have uncommitted changes in the Git repository. Due to limitations
 211         of the build system, you need to commit them before building Tails:
 212         #{git_status}
 213
 214         If you don't care about those changes and want to build Tails nonetheless,
 215         please add `ignorechanges` to the TAILS_BUILD_OPTIONS environment
 216         variable.
 217
 218       END_OF_MESSAGE
 219       abort 'Uncommitted changes. Aborting.'
 220     end
 221   end
 222 end
 223
 224 task :validate_http_proxy do
 225   if ENV['http_proxy']
 226     proxy_host = URI.parse(ENV['http_proxy']).host
 227
 228     if proxy_host.nil?
 229       ENV['http_proxy'] = nil
 230       $stderr.puts "Ignoring invalid HTTP proxy."
 231       return
 232     end
 233
 234     if ['localhost', '[::1]'].include?(proxy_host) || proxy_host.start_with?('127.0.0.')
 235       abort 'Using an HTTP proxy listening on the loopback is doomed to fail. Aborting.'
 236     end
 237
 238     $stderr.puts "Using HTTP proxy: #{ENV['http_proxy']}"
 239   else
 240     $stderr.puts "No HTTP proxy set."
 241   end
 242 end
 243
 244 desc 'Build Tails'
 245 task :build => ['parse_build_options', 'ensure_clean_repository', 'validate_http_proxy', 'vm:up'] do
 246
 247   if ENV['TAILS_RAM_BUILD'] && not(enough_free_memory_for_ram_build?)
 248     $stderr.puts <<-END_OF_MESSAGE.gsub(/^      /, '')
 249
 250       The virtual machine is not currently set with enough memory to
 251       perform an in-memory build. Either remove the `ram` option from
 252       the TAILS_BUILD_OPTIONS environment variable, or shut the
 253       virtual machine down using `rake vm:halt` before trying again.
 254
 255     END_OF_MESSAGE
 256     abort 'Not enough memory for the virtual machine to run an in-memory build. Aborting.'
 257   end
 258
 259   if ENV['TAILS_BUILD_CPUS'] && current_vm_cpus != ENV['TAILS_BUILD_CPUS'].to_i
 260     $stderr.puts <<-END_OF_MESSAGE.gsub(/^      /, '')
 261
 262       The virtual machine is currently running with #{current_vm_cpus}
 263       virtual CPU(s). In order to change that number, you need to
 264       stop the VM first, using `rake vm:halt`. Otherwise, please
 265       adjust the `cpus` options accordingly.
 266
 267     END_OF_MESSAGE
 268     abort 'The virtual machine needs to be reloaded to change the number of CPUs. Aborting.'
 269   end
 270
 271   exported_env = EXPORTED_VARIABLES.select { |k| ENV[k] }.
 272                   collect { |k| "#{k}='#{ENV[k]}'" }.join(' ')
 273   status = primary_vm_chan.execute("#{exported_env} build-tails",
 274                                    :error_check => false) do |fd, data|
 275     (fd == :stdout ? $stdout : $stderr).write data
 276   end
 277
 278   # Move build products to the current directory
 279   FileUtils.mv Dir.glob("#{VAGRANT_PATH}/tails-*"),
 280                File.expand_path('..', __FILE__), :force => true
 281
 282   exit status
 283 end
 284
 285 namespace :vm do
 286   desc 'Start the build virtual machine'
 287   task :up => ['parse_build_options', 'validate_http_proxy'] do
 288     case primary_vm_state
 289     when :not_created
 290       # Do not use non-existant in-VM proxy to download the basebox
 291       if ENV['http_proxy'] == INTERNEL_HTTP_PROXY
 292         ENV['http_proxy'] = nil
 293         restore_internal_proxy = true
 294       end
 295
 296       $stderr.puts <<-END_OF_MESSAGE.gsub(/^        /, '')
 297
 298         This is the first time that the Tails builder virtual machine is
 299         started. The virtual machine template is about 300 MB to download,
 300         so the process might take some time.
 301
 302         Please remember to shut the virtual machine down once your work on
 303         Tails is done:
 304
 305             $ rake vm:halt
 306
 307       END_OF_MESSAGE
 308     when :poweroff
 309       $stderr.puts <<-END_OF_MESSAGE.gsub(/^        /, '')
 310
 311         Starting Tails builder virtual machine. This might take a short while.
 312         Please remember to shut it down once your work on Tails is done:
 313
 314             $ rake vm:halt
 315
 316       END_OF_MESSAGE
 317     end
 318     env = Vagrant::Environment.new(:cwd => VAGRANT_PATH, :ui_class => Vagrant::UI::Basic)
 319     result = env.cli('up')
 320     abort "'vagrant up' failed" unless result
 321
 322     ENV['http_proxy'] = INTERNEL_HTTP_PROXY if restore_internal_proxy
 323   end
 324
 325   desc 'Stop the build virtual machine'
 326   task :halt do
 327     env = Vagrant::Environment.new(:cwd => VAGRANT_PATH, :ui_class => Vagrant::UI::Basic)
 328     result = env.cli('halt')
 329     abort "'vagrant halt' failed" unless result
 330   end
 331
 332   desc 'Re-run virtual machine setup'
 333   task :provision => ['parse_build_options', 'validate_http_proxy'] do
 334     env = Vagrant::Environment.new(:cwd => VAGRANT_PATH, :ui_class => Vagrant::UI::Basic)
 335     result = env.cli('provision')
 336     abort "'vagrant provision' failed" unless result
 337   end
 338
 339   desc 'Destroy build virtual machine (clean up all files)'
 340   task :destroy do
 341     env = Vagrant::Environment.new(:cwd => VAGRANT_PATH, :ui_class => Vagrant::UI::Basic)
 342     result = env.cli('destroy', '--force')
 343     abort "'vagrant destroy' failed" unless result
 344   end
 345 end