Documentation/technical/api-run-command.txt

   1 run-command API
   2 ===============
   3
   4 The run-command API offers a versatile tool to run sub-processes with
   5 redirected input and output as well as with a modified environment
   6 and an alternate current directory.
   7
   8 A similar API offers the capability to run a function asynchronously,
   9 which is primarily used to capture the output that the function
  10 produces in the caller in order to process it.
  11
  12
  13 Functions
  14 ---------
  15
  16 `start_command`::
  17
  18         Start a sub-process. Takes a pointer to a `struct child_process`
  19         that specifies the details and returns pipe FDs (if requested).
  20         See below for details.
  21
  22 `finish_command`::
  23
  24         Wait for the completion of a sub-process that was started with
  25         start_command().
  26
  27 `run_command`::
  28
  29         A convenience function that encapsulates a sequence of
  30         start_command() followed by finish_command(). Takes a pointer
  31         to a `struct child_process` that specifies the details.
  32
  33 `run_command_v_opt`, `run_command_v_opt_cd_env`::
  34
  35         Convenience functions that encapsulate a sequence of
  36         start_command() followed by finish_command(). The argument argv
  37         specifies the program and its arguments. The argument opt is zero
  38         or more of the flags `RUN_COMMAND_NO_STDIN`, `RUN_GIT_CMD`,
  39         `RUN_COMMAND_STDOUT_TO_STDERR`, or `RUN_SILENT_EXEC_FAILURE`
  40         that correspond to the members .no_stdin, .git_cmd,
  41         .stdout_to_stderr, .silent_exec_failure of `struct child_process`.
  42         The argument dir corresponds the member .dir. The argument env
  43         corresponds to the member .env.
  44
  45 The functions above do the following:
  46
  47 . If a system call failed, errno is set and -1 is returned. A diagnostic
  48   is printed.
  49
  50 . If the program was not found, then -1 is returned and errno is set to
  51   ENOENT; a diagnostic is printed only if .silent_exec_failure is 0.
  52
  53 . Otherwise, the program is run. If it terminates regularly, its exit
  54   code is returned. No diagnostic is printed, even if the exit code is
  55   non-zero.
  56
  57 . If the program terminated due to a signal, then the return value is the
  58   signal number + 128, ie. the same value that a POSIX shell's $? would
  59   report.  A diagnostic is printed.
  60
  61
  62 `start_async`::
  63
  64         Run a function asynchronously. Takes a pointer to a `struct
  65         async` that specifies the details and returns a set of pipe FDs
  66         for communication with the function. See below for details.
  67
  68 `finish_async`::
  69
  70         Wait for the completion of an asynchronous function that was
  71         started with start_async().
  72
  73 `run_hook`::
  74
  75         Run a hook.
  76         The first argument is a pathname to an index file, or NULL
  77         if the hook uses the default index file or no index is needed.
  78         The second argument is the name of the hook.
  79         The further arguments correspond to the hook arguments.
  80         The last argument has to be NULL to terminate the arguments list.
  81         If the hook does not exist or is not executable, the return
  82         value will be zero.
  83         If it is executable, the hook will be executed and the exit
  84         status of the hook is returned.
  85         On execution, .stdout_to_stderr and .no_stdin will be set.
  86         (See below.)
  87
  88
  89 Data structures
  90 ---------------
  91
  92 * `struct child_process`
  93
  94 This describes the arguments, redirections, and environment of a
  95 command to run in a sub-process.
  96
  97 The caller:
  98
  99 1. allocates and clears (memset(&chld, 0, sizeof(chld));) a
 100    struct child_process variable;
 101 2. initializes the members;
 102 3. calls start_command();
 103 4. processes the data;
 104 5. closes file descriptors (if necessary; see below);
 105 6. calls finish_command().
 106
 107 The .argv member is set up as an array of string pointers (NULL
 108 terminated), of which .argv[0] is the program name to run (usually
 109 without a path). If the command to run is a git command, set argv[0] to
 110 the command name without the 'git-' prefix and set .git_cmd = 1.
 111
 112 Note that the ownership of the memory pointed to by .argv stays with the
 113 caller, but it should survive until `finish_command` completes. If the
 114 .argv member is NULL, `start_command` will point it at the .args
 115 `argv_array` (so you may use one or the other, but you must use exactly
 116 one). The memory in .args will be cleaned up automatically during
 117 `finish_command` (or during `start_command` when it is unsuccessful).
 118
 119 The members .in, .out, .err are used to redirect stdin, stdout,
 120 stderr as follows:
 121
 122 . Specify 0 to request no special redirection. No new file descriptor
 123   is allocated. The child process simply inherits the channel from the
 124   parent.
 125
 126 . Specify -1 to have a pipe allocated; start_command() replaces -1
 127   by the pipe FD in the following way:
 128
 129         .in: Returns the writable pipe end into which the caller writes;
 130                 the readable end of the pipe becomes the child's stdin.
 131
 132         .out, .err: Returns the readable pipe end from which the caller
 133                 reads; the writable end of the pipe end becomes child's
 134                 stdout/stderr.
 135
 136   The caller of start_command() must close the so returned FDs
 137   after it has completed reading from/writing to it!
 138
 139 . Specify a file descriptor > 0 to be used by the child:
 140
 141         .in: The FD must be readable; it becomes child's stdin.
 142         .out: The FD must be writable; it becomes child's stdout.
 143         .err: The FD must be writable; it becomes child's stderr.
 144
 145   The specified FD is closed by start_command(), even if it fails to
 146   run the sub-process!
 147
 148 . Special forms of redirection are available by setting these members
 149   to 1:
 150
 151         .no_stdin, .no_stdout, .no_stderr: The respective channel is
 152                 redirected to /dev/null.
 153
 154         .stdout_to_stderr: stdout of the child is redirected to its
 155                 stderr. This happens after stderr is itself redirected.
 156                 So stdout will follow stderr to wherever it is
 157                 redirected.
 158
 159 To modify the environment of the sub-process, specify an array of
 160 string pointers (NULL terminated) in .env:
 161
 162 . If the string is of the form "VAR=value", i.e. it contains '='
 163   the variable is added to the child process's environment.
 164
 165 . If the string does not contain '=', it names an environment
 166   variable that will be removed from the child process's environment.
 167
 168 To specify a new initial working directory for the sub-process,
 169 specify it in the .dir member.
 170
 171 If the program cannot be found, the functions return -1 and set
 172 errno to ENOENT. Normally, an error message is printed, but if
 173 .silent_exec_failure is set to 1, no message is printed for this
 174 special error condition.
 175
 176
 177 * `struct async`
 178
 179 This describes a function to run asynchronously, whose purpose is
 180 to produce output that the caller reads.
 181
 182 The caller:
 183
 184 1. allocates and clears (memset(&asy, 0, sizeof(asy));) a
 185    struct async variable;
 186 2. initializes .proc and .data;
 187 3. calls start_async();
 188 4. processes communicates with proc through .in and .out;
 189 5. closes .in and .out;
 190 6. calls finish_async().
 191
 192 The members .in, .out are used to provide a set of fd's for
 193 communication between the caller and the callee as follows:
 194
 195 . Specify 0 to have no file descriptor passed.  The callee will
 196   receive -1 in the corresponding argument.
 197
 198 . Specify < 0 to have a pipe allocated; start_async() replaces
 199   with the pipe FD in the following way:
 200
 201         .in: Returns the writable pipe end into which the caller
 202         writes; the readable end of the pipe becomes the function's
 203         in argument.
 204
 205         .out: Returns the readable pipe end from which the caller
 206         reads; the writable end of the pipe becomes the function's
 207         out argument.
 208
 209   The caller of start_async() must close the returned FDs after it
 210   has completed reading from/writing from them.
 211
 212 . Specify a file descriptor > 0 to be used by the function:
 213
 214         .in: The FD must be readable; it becomes the function's in.
 215         .out: The FD must be writable; it becomes the function's out.
 216
 217   The specified FD is closed by start_async(), even if it fails to
 218   run the function.
 219
 220 The function pointer in .proc has the following signature:
 221
 222         int proc(int in, int out, void *data);
 223
 224 . in, out specifies a set of file descriptors to which the function
 225   must read/write the data that it needs/produces.  The function
 226   *must* close these descriptors before it returns.  A descriptor
 227   may be -1 if the caller did not configure a descriptor for that
 228   direction.
 229
 230 . data is the value that the caller has specified in the .data member
 231   of struct async.
 232
 233 . The return value of the function is 0 on success and non-zero
 234   on failure. If the function indicates failure, finish_async() will
 235   report failure as well.
 236
 237
 238 There are serious restrictions on what the asynchronous function can do
 239 because this facility is implemented by a thread in the same address
 240 space on most platforms (when pthreads is available), but by a pipe to
 241 a forked process otherwise:
 242
 243 . It cannot change the program's state (global variables, environment,
 244   etc.) in a way that the caller notices; in other words, .in and .out
 245   are the only communication channels to the caller.
 246
 247 . It must not change the program's state that the caller of the
 248   facility also uses.