lib/mogilefs/httpfile.rb

   1 require 'fcntl'
   2 require 'socket'
   3 require 'stringio'
   4 require 'uri'
   5 require 'mogilefs/backend'
   6 require 'mogilefs/util'
   7
   8 ##
   9 # HTTPFile wraps up the new file operations for storing files onto an HTTP
  10 # storage node.
  11 #
  12 # You really don't want to create an HTTPFile by hand.  Instead you want to
  13 # create a new file using MogileFS::MogileFS.new_file.
  14 #
  15 #--
  16 # TODO dup'd content in MogileFS::NFSFile
  17
  18 class MogileFS::HTTPFile < StringIO
  19   include MogileFS::Util
  20
  21   class EmptyResponseError < MogileFS::Error; end
  22   class BadResponseError < MogileFS::Error; end
  23   class UnparseableResponseError < MogileFS::Error; end
  24
  25   ##
  26   # The path this file will be stored to.
  27
  28   attr_reader :path
  29
  30   ##
  31   # The key for this file.  This key won't represent a real file until you've
  32   # called #close.
  33
  34   attr_reader :key
  35
  36   ##
  37   # The class of this file.
  38
  39   attr_reader :class
  40
  41   ##
  42   # The bigfile name in case we have file > 256M
  43
  44   attr_accessor :bigfile
  45
  46   ##
  47   # Works like File.open.  Use MogileFS::MogileFS#new_file instead of this
  48   # method.
  49
  50   def self.open(*args)
  51     fp = new(*args)
  52
  53     return fp unless block_given?
  54
  55     begin
  56       yield fp
  57     ensure
  58       fp.close
  59     end
  60   end
  61
  62   ##
  63   # Creates a new HTTPFile with MogileFS-specific data.  Use
  64   # MogileFS::MogileFS#new_file instead of this method.
  65
  66   def initialize(mg, fid, path, devid, klass, key, dests, content_length)
  67     super ''
  68     @mg = mg
  69     @fid = fid
  70     @path = path
  71     @devid = devid
  72     @klass = klass
  73     @key = key
  74     @bigfile = nil
  75
  76     @dests = dests.map { |(_,u)| URI.parse u }
  77     @tried = {}
  78
  79     @socket = nil
  80   end
  81
  82   ##
  83   # Closes the file handle and marks it as closed in MogileFS.
  84
  85   def close
  86     connect_socket
  87
  88     file_size = nil
  89     if @bigfile
  90       # Don't try to run out of memory
  91       fp = File.open(@bigfile)
  92       file_size = File.size(@bigfile)
  93       @socket.write "PUT #{@path.request_uri} HTTP/1.0\r\nContent-Length: #{file_size}\r\n\r\n"
  94       sysrwloop(fp, @socket)
  95       fp.close
  96     else
  97       @socket.write "PUT #{@path.request_uri} HTTP/1.0\r\nContent-Length: #{length}\r\n\r\n#{string}"
  98     end
  99
 100     if connected? then
 101       line = @socket.gets
 102       if line.nil?
 103         raise EmptyResponseError, 'Unable to read response line from server'
 104       end
 105
 106       if line =~ %r%^HTTP/\d+\.\d+\s+(\d+)% then
 107         status = Integer $1
 108         case status
 109         when 200..299 then # success!
 110         else
 111           raise BadResponseError, "HTTP response status from upload: #{status}"
 112         end
 113       else
 114         raise InvalidResponseError, "Response line not understood: #{line}"
 115       end
 116
 117       @socket.close
 118     end
 119
 120     @mg.backend.create_close(:fid => @fid, :devid => @devid,
 121                              :domain => @mg.domain, :key => @key,
 122                              :path => @path, :size => length)
 123     return file_size if @bigfile
 124     return nil
 125   end
 126
 127   private
 128
 129   def connected?
 130     return !(@socket.nil? or @socket.closed?)
 131   end
 132
 133   def connect_socket
 134     return @socket if connected?
 135
 136     next_path
 137
 138     if @path.nil? then
 139       @tried.clear
 140       next_path
 141       raise 'Unable to open socket to storage node' if @path.nil?
 142     end
 143
 144     @socket = TCPSocket.new @path.host, @path.port
 145   end
 146
 147   def next_path
 148     @path = nil
 149     @dests.each do |dest|
 150       unless @tried.include? dest then
 151         @path = dest
 152         return
 153       end
 154     end
 155   end
 156
 157 end
 158