remove nasty ugly hacks at startup
[unicorn.git] / DESIGN
blob1d195c77df9bb9b1dece18f9a7bf14111d420a76
1 == Design
3 * Simplicity: Unicorn is a traditional UNIX prefork web server.
4   No threads are used at all, this makes applications easier to debug
5   and fix.  When your application goes awry, a BOFH can just
6   "kill -9" the runaway worker process without worrying about tearing
7   all clients down, just one.  Only UNIX-like systems supporting
8   fork() and file descriptor inheritance are supported.
10 * The Ragel+C HTTP parser is taken from Mongrel.  This is the
11   only non-Ruby part and there are no plans to add any more
12   non-Ruby components.
14 * All HTTP protocol parsing and I/O is done much like Mongrel:
15     1. read/parse HTTP request headers in full
16     2. call Rack application
17     3. write HTTP response back to the client
19 * Like Mongrel, neither keepalive nor pipelining are supported.
20   These aren't needed since Unicorn is only designed to serve
21   fast, low-latency clients directly.  Do one thing, do it well;
22   let nginx handle slow clients.
24 * Configuration is purely in Ruby and eval().  Ruby is less
25   ambiguous than YAML and lets lambdas for
26   before_fork/after_fork/before_exec hooks be defined inline.  An
27   optional, separate config_file may be used to modify supported
28   configuration changes (and also gives you plenty of rope if you RTFS
29   :>)
31 * One master process spawns and reaps worker processes.  The
32   Rack application itself is called only within the worker process (but
33   can be loaded within the master).  A copy-on-write friendly garbage
34   collector like Ruby Enterprise Edition can be used to minimize memory
35   usage along with the "preload_app true" directive (see
36   Unicorn::Configurator).
38 * The number of worker processes should be scaled to the number of
39   CPUs, memory or even spindles you have.  If you have an existing
40   Mongrel cluster on a single-threaded app, using the same amount of
41   processes should work.  Let a full-HTTP-request-buffering reverse
42   proxy like nginx manage concurrency to thousands of slow clients for
43   you.  Unicorn scaling should only be concerned about limits of your
44   backend system(s).
46 * Load balancing between worker processes is done by the OS kernel.
47   All workers share a common set of listener sockets and does
48   non-blocking accept() on them.  The kernel will decide which worker
49   process to give a socket to and workers will sleep if there is
50   nothing to accept().
52 * Since non-blocking accept() is used, there can be a thundering
53   herd when an occasional client connects when application
54   *is not busy*.  The thundering herd problem should not affect
55   applications that are running all the time since worker processes
56   will only select()/accept() outside of the application dispatch.
58 * Additionally, thundering herds are much smaller than with
59   configurations using existing prefork servers.  Process counts should
60   only be scaled to backend resources, _never_ to the number of expected
61   clients like is typical with blocking prefork servers.  So while we've
62   seen instances of popular prefork servers configured to run many
63   hundreds of worker processes, Unicorn deployments are typically only
64   2-4 processes per-core.
66 * On-demand scaling of worker processes never happens automatically.
67   Again, Unicorn is concerned about scaling to backend limits and should
68   never configured in a fashion where it could be waiting on slow
69   clients.  For extremely rare circumstances, we provide TTIN and TTOU
70   signal handlers to increment/decrement your process counts without
71   reloading.  Think of it as driving a car with manual transmission:
72   you have a lot more control if you know what you're doing.
74 * Blocking I/O is used for clients.  This allows a simpler code path
75   to be followed within the Ruby interpreter and fewer syscalls.
76   Applications that use threads continue to work if Unicorn
77   is only serving LAN or localhost clients.
79 * Timeout implementation is done via fchmod(2) in each worker
80   on a shared file descriptor to update st_ctime on the inode.
81   Master process wakeups for checking on timeouts is throttled
82   one a second to minimize the performance impact and simplify
83   the code path within the worker.  Neither futimes(2) nor
84   pwrite(2)/pread(2) are supported by base MRI, nor are they as
85   portable on UNIX systems as fchmod(2).
87 * SIGKILL is used to terminate the timed-out workers from misbehaving apps
88   as reliably as possible on a UNIX system.  The default timeout is a
89   generous 60 seconds (same default as in Mongrel).
91 * The poor performance of select() on large FD sets is avoided
92   as few file descriptors are used in each worker.
93   There should be no gain from moving to highly scalable but
94   unportable event notification solutions for watching few
95   file descriptors.
97 * If the master process dies unexpectedly for any reason,
98   workers will notice within :timeout/2 seconds and follow
99   the master to its death.
101 * There is never any explicit real-time dependency or communication
102   between the worker processes nor to the master process.
103   Synchronization is handled entirely by the OS kernel and shared
104   resources are never accessed by the worker when it is servicing
105   a client.