* nsmenu.m (runDialogAt): Remove argument to timer_check.
[emacs.git] / doc / lispref / processes.texi
blobdc9fed580763baca93a2da5fc82695bc5954270b
1 @c -*-texinfo-*-
2 @c This is part of the GNU Emacs Lisp Reference Manual.
3 @c Copyright (C) 1990-1995, 1998-1999, 2001-2011
4 @c   Free Software Foundation, Inc.
5 @c See the file elisp.texi for copying conditions.
6 @setfilename ../../info/processes
7 @node Processes, Display, Abbrevs, Top
8 @chapter Processes
9 @cindex child process
10 @cindex parent process
11 @cindex subprocess
12 @cindex process
14   In the terminology of operating systems, a @dfn{process} is a space in
15 which a program can execute.  Emacs runs in a process.  Emacs Lisp
16 programs can invoke other programs in processes of their own.  These are
17 called @dfn{subprocesses} or @dfn{child processes} of the Emacs process,
18 which is their @dfn{parent process}.
20   A subprocess of Emacs may be @dfn{synchronous} or @dfn{asynchronous},
21 depending on how it is created.  When you create a synchronous
22 subprocess, the Lisp program waits for the subprocess to terminate
23 before continuing execution.  When you create an asynchronous
24 subprocess, it can run in parallel with the Lisp program.  This kind of
25 subprocess is represented within Emacs by a Lisp object which is also
26 called a ``process.''  Lisp programs can use this object to communicate
27 with the subprocess or to control it.  For example, you can send
28 signals, obtain status information, receive output from the process, or
29 send input to it.
31 @defun processp object
32 This function returns @code{t} if @var{object} represents an Emacs
33 subprocess, @code{nil} otherwise.
34 @end defun
36   In addition to subprocesses of the current Emacs session, you can
37 also access other processes running on your machine.  @xref{System
38 Processes}.
40 @menu
41 * Subprocess Creation::      Functions that start subprocesses.
42 * Shell Arguments::          Quoting an argument to pass it to a shell.
43 * Synchronous Processes::    Details of using synchronous subprocesses.
44 * Asynchronous Processes::   Starting up an asynchronous subprocess.
45 * Deleting Processes::       Eliminating an asynchronous subprocess.
46 * Process Information::      Accessing run-status and other attributes.
47 * Input to Processes::       Sending input to an asynchronous subprocess.
48 * Signals to Processes::     Stopping, continuing or interrupting
49                                an asynchronous subprocess.
50 * Output from Processes::    Collecting output from an asynchronous subprocess.
51 * Sentinels::                Sentinels run when process run-status changes.
52 * Query Before Exit::        Whether to query if exiting will kill a process.
53 * System Processes::         Accessing other processes running on your system.
54 * Transaction Queues::       Transaction-based communication with subprocesses.
55 * Network::                  Opening network connections.
56 * Network Servers::          Network servers let Emacs accept net connections.
57 * Datagrams::                UDP network connections.
58 * Low-Level Network::        Lower-level but more general function
59                                to create connections and servers.
60 * Misc Network::             Additional relevant functions for net connections.
61 * Serial Ports::             Communicating with serial ports.
62 * Byte Packing::             Using bindat to pack and unpack binary data.
63 @end menu
65 @node Subprocess Creation
66 @section Functions that Create Subprocesses
68   There are three primitives that create a new subprocess in which to run
69 a program.  One of them, @code{start-process}, creates an asynchronous
70 process and returns a process object (@pxref{Asynchronous Processes}).
71 The other two, @code{call-process} and @code{call-process-region},
72 create a synchronous process and do not return a process object
73 (@pxref{Synchronous Processes}).
75   Synchronous and asynchronous processes are explained in the following
76 sections.  Since the three functions are all called in a similar
77 fashion, their common arguments are described here.
79 @cindex execute program
80 @cindex @code{PATH} environment variable
81 @cindex @code{HOME} environment variable
82   In all cases, the function's @var{program} argument specifies the
83 program to be run.  An error is signaled if the file is not found or
84 cannot be executed.  If the file name is relative, the variable
85 @code{exec-path} contains a list of directories to search.  Emacs
86 initializes @code{exec-path} when it starts up, based on the value of
87 the environment variable @code{PATH}.  The standard file name
88 constructs, @samp{~}, @samp{.}, and @samp{..}, are interpreted as
89 usual in @code{exec-path}, but environment variable substitutions
90 (@samp{$HOME}, etc.) are not recognized; use
91 @code{substitute-in-file-name} to perform them (@pxref{File Name
92 Expansion}).  @code{nil} in this list refers to
93 @code{default-directory}.
95   Executing a program can also try adding suffixes to the specified
96 name:
98 @defvar exec-suffixes
99 This variable is a list of suffixes (strings) to try adding to the
100 specified program file name.  The list should include @code{""} if you
101 want the name to be tried exactly as specified.  The default value is
102 system-dependent.
103 @end defvar
105   @strong{Please note:} The argument @var{program} contains only the
106 name of the program; it may not contain any command-line arguments.  You
107 must use @var{args} to provide those.
109   Each of the subprocess-creating functions has a @var{buffer-or-name}
110 argument which specifies where the standard output from the program will
111 go.  It should be a buffer or a buffer name; if it is a buffer name,
112 that will create the buffer if it does not already exist.  It can also
113 be @code{nil}, which says to discard the output unless a filter function
114 handles it.  (@xref{Filter Functions}, and @ref{Read and Print}.)
115 Normally, you should avoid having multiple processes send output to the
116 same buffer because their output would be intermixed randomly.
118 @cindex program arguments
119   All three of the subprocess-creating functions have a @code{&rest}
120 argument, @var{args}.  The @var{args} must all be strings, and they are
121 supplied to @var{program} as separate command line arguments.  Wildcard
122 characters and other shell constructs have no special meanings in these
123 strings, since the strings are passed directly to the specified program.
125   The subprocess gets its current directory from the value of
126 @code{default-directory} (@pxref{File Name Expansion}).
128 @cindex environment variables, subprocesses
129   The subprocess inherits its environment from Emacs, but you can
130 specify overrides for it with @code{process-environment}.  @xref{System
131 Environment}.
133 @defvar exec-directory
134 @pindex movemail
135 The value of this variable is a string, the name of a directory that
136 contains programs that come with GNU Emacs, programs intended for Emacs
137 to invoke.  The program @code{movemail} is an example of such a program;
138 Rmail uses it to fetch new mail from an inbox.
139 @end defvar
141 @defopt exec-path
142 The value of this variable is a list of directories to search for
143 programs to run in subprocesses.  Each element is either the name of a
144 directory (i.e., a string), or @code{nil}, which stands for the default
145 directory (which is the value of @code{default-directory}).
146 @cindex program directories
148 The value of @code{exec-path} is used by @code{call-process} and
149 @code{start-process} when the @var{program} argument is not an absolute
150 file name.
151 @end defopt
153 @node Shell Arguments
154 @section Shell Arguments
155 @cindex arguments for shell commands
156 @cindex shell command arguments
158   Lisp programs sometimes need to run a shell and give it a command
159 that contains file names that were specified by the user.  These
160 programs ought to be able to support any valid file name.  But the shell
161 gives special treatment to certain characters, and if these characters
162 occur in the file name, they will confuse the shell.  To handle these
163 characters, use the function @code{shell-quote-argument}:
165 @defun shell-quote-argument argument
166 This function returns a string which represents, in shell syntax,
167 an argument whose actual contents are @var{argument}.  It should
168 work reliably to concatenate the return value into a shell command
169 and then pass it to a shell for execution.
171 Precisely what this function does depends on your operating system.  The
172 function is designed to work with the syntax of your system's standard
173 shell; if you use an unusual shell, you will need to redefine this
174 function.
176 @example
177 ;; @r{This example shows the behavior on GNU and Unix systems.}
178 (shell-quote-argument "foo > bar")
179      @result{} "foo\\ \\>\\ bar"
181 ;; @r{This example shows the behavior on MS-DOS and MS-Windows.}
182 (shell-quote-argument "foo > bar")
183      @result{} "\"foo > bar\""
184 @end example
186 Here's an example of using @code{shell-quote-argument} to construct
187 a shell command:
189 @example
190 (concat "diff -c "
191         (shell-quote-argument oldfile)
192         " "
193         (shell-quote-argument newfile))
194 @end example
195 @end defun
197 @cindex quoting and unquoting command-line arguments
198 @cindex minibuffer input, and command-line arguments
199 @cindex @code{call-process}, command-line arguments from minibuffer
200 @cindex @code{start-process}, command-line arguments from minibuffer
201   The following two functions are useful for combining a list of
202 individual command-line argument strings into a single string, and
203 taking a string apart into a list of individual command-line
204 arguments.  These functions are mainly intended to be used for
205 converting user input in the minibuffer, a Lisp string, into a list of
206 string arguments to be passed to @code{call-process} or
207 @code{start-process}, or for the converting such lists of arguments in
208 a single Lisp string to be presented in the minibuffer or echo area.
210 @defun split-string-and-unquote string &optional separators
211 This function splits @var{string} into substrings at matches for the
212 regular expression @var{separators}, like @code{split-string} does
213 (@pxref{Creating Strings}); in addition, it removes quoting from the
214 substrings.  It then makes a list of the substrings and returns it.
216 If @var{separators} is omitted or @code{nil}, it defaults to
217 @code{"\\s-+"}, which is a regular expression that matches one or more
218 characters with whitespace syntax (@pxref{Syntax Class Table}).
220 This function supports two types of quoting: enclosing a whole string
221 in double quotes @code{"@dots{}"}, and quoting individual characters
222 with a backslash escape @samp{\}.  The latter is also used in Lisp
223 strings, so this function can handle those as well.
224 @end defun
226 @defun combine-and-quote-strings list-of-strings &optional separator
227 This function concatenates @var{list-of-strings} into a single string,
228 quoting each string as necessary.  It also sticks the @var{separator}
229 string between each pair of strings; if @var{separator} is omitted or
230 @code{nil}, it defaults to @code{" "}.  The return value is the
231 resulting string.
233 The strings in @var{list-of-strings} that need quoting are those that
234 include @var{separator} as their substring.  Quoting a string encloses
235 it in double quotes @code{"@dots{}"}.  In the simplest case, if you
236 are consing a command from the individual command-line arguments,
237 every argument that includes embedded blanks will be quoted.
238 @end defun
240 @node Synchronous Processes
241 @section Creating a Synchronous Process
242 @cindex synchronous subprocess
244   After a @dfn{synchronous process} is created, Emacs waits for the
245 process to terminate before continuing.  Starting Dired on GNU or
246 Unix@footnote{On other systems, Emacs uses a Lisp emulation of
247 @code{ls}; see @ref{Contents of Directories}.} is an example of this: it
248 runs @code{ls} in a synchronous process, then modifies the output
249 slightly.  Because the process is synchronous, the entire directory
250 listing arrives in the buffer before Emacs tries to do anything with it.
252   While Emacs waits for the synchronous subprocess to terminate, the
253 user can quit by typing @kbd{C-g}.  The first @kbd{C-g} tries to kill
254 the subprocess with a @code{SIGINT} signal; but it waits until the
255 subprocess actually terminates before quitting.  If during that time the
256 user types another @kbd{C-g}, that kills the subprocess instantly with
257 @code{SIGKILL} and quits immediately (except on MS-DOS, where killing
258 other processes doesn't work).  @xref{Quitting}.
260   The synchronous subprocess functions return an indication of how the
261 process terminated.
263   The output from a synchronous subprocess is generally decoded using a
264 coding system, much like text read from a file.  The input sent to a
265 subprocess by @code{call-process-region} is encoded using a coding
266 system, much like text written into a file.  @xref{Coding Systems}.
268 @defun call-process program &optional infile destination display &rest args
269 This function calls @var{program} and waits for it to finish.
271 The standard input for the new process comes from file @var{infile} if
272 @var{infile} is not @code{nil}, and from the null device otherwise.
273 The argument @var{destination} says where to put the process output.
274 Here are the possibilities:
276 @table @asis
277 @item a buffer
278 Insert the output in that buffer, before point.  This includes both the
279 standard output stream and the standard error stream of the process.
281 @item a string
282 Insert the output in a buffer with that name, before point.
284 @item @code{t}
285 Insert the output in the current buffer, before point.
287 @item @code{nil}
288 Discard the output.
290 @item 0
291 Discard the output, and return @code{nil} immediately without waiting
292 for the subprocess to finish.
294 In this case, the process is not truly synchronous, since it can run in
295 parallel with Emacs; but you can think of it as synchronous in that
296 Emacs is essentially finished with the subprocess as soon as this
297 function returns.
299 MS-DOS doesn't support asynchronous subprocesses, so this option doesn't
300 work there.
302 @item @code{(@var{real-destination} @var{error-destination})}
303 Keep the standard output stream separate from the standard error stream;
304 deal with the ordinary output as specified by @var{real-destination},
305 and dispose of the error output according to @var{error-destination}.
306 If @var{error-destination} is @code{nil}, that means to discard the
307 error output, @code{t} means mix it with the ordinary output, and a
308 string specifies a file name to redirect error output into.
310 You can't directly specify a buffer to put the error output in; that is
311 too difficult to implement.  But you can achieve this result by sending
312 the error output to a temporary file and then inserting the file into a
313 buffer.
314 @end table
316 If @var{display} is non-@code{nil}, then @code{call-process} redisplays
317 the buffer as output is inserted.  (However, if the coding system chosen
318 for decoding output is @code{undecided}, meaning deduce the encoding
319 from the actual data, then redisplay sometimes cannot continue once
320 non-@acronym{ASCII} characters are encountered.  There are fundamental
321 reasons why it is hard to fix this; see @ref{Output from Processes}.)
323 Otherwise the function @code{call-process} does no redisplay, and the
324 results become visible on the screen only when Emacs redisplays that
325 buffer in the normal course of events.
327 The remaining arguments, @var{args}, are strings that specify command
328 line arguments for the program.
330 The value returned by @code{call-process} (unless you told it not to
331 wait) indicates the reason for process termination.  A number gives the
332 exit status of the subprocess; 0 means success, and any other value
333 means failure.  If the process terminated with a signal,
334 @code{call-process} returns a string describing the signal.
336 In the examples below, the buffer @samp{foo} is current.
338 @smallexample
339 @group
340 (call-process "pwd" nil t)
341      @result{} 0
343 ---------- Buffer: foo ----------
344 /usr/user/lewis/manual
345 ---------- Buffer: foo ----------
346 @end group
348 @group
349 (call-process "grep" nil "bar" nil "lewis" "/etc/passwd")
350      @result{} 0
352 ---------- Buffer: bar ----------
353 lewis:5LTsHm66CSWKg:398:21:Bil Lewis:/user/lewis:/bin/csh
355 ---------- Buffer: bar ----------
356 @end group
357 @end smallexample
359 Here is a good example of the use of @code{call-process}, which used to
360 be found in the definition of @code{insert-directory}:
362 @smallexample
363 @group
364 (call-process insert-directory-program nil t nil @var{switches}
365               (if full-directory-p
366                   (concat (file-name-as-directory file) ".")
367                 file))
368 @end group
369 @end smallexample
370 @end defun
372 @defun process-file program &optional infile buffer display &rest args
373 This function processes files synchronously in a separate process.  It
374 is similar to @code{call-process} but may invoke a file handler based
375 on the value of the variable @code{default-directory}.  The current
376 working directory of the subprocess is @code{default-directory}.
378 The arguments are handled in almost the same way as for
379 @code{call-process}, with the following differences:
381 Some file handlers may not support all combinations and forms of the
382 arguments @var{infile}, @var{buffer}, and @var{display}.  For example,
383 some file handlers might behave as if @var{display} were @code{nil},
384 regardless of the value actually passed.  As another example, some
385 file handlers might not support separating standard output and error
386 output by way of the @var{buffer} argument.
388 If a file handler is invoked, it determines the program to run based
389 on the first argument @var{program}.  For instance, consider that a
390 handler for remote files is invoked.  Then the path that is used for
391 searching the program might be different than @code{exec-path}.
393 The second argument @var{infile} may invoke a file handler.  The file
394 handler could be different from the handler chosen for the
395 @code{process-file} function itself.  (For example,
396 @code{default-directory} could be on a remote host, whereas
397 @var{infile} is on another remote host.  Or @code{default-directory}
398 could be non-special, whereas @var{infile} is on a remote host.)
400 If @var{buffer} is a list of the form @code{(@var{real-destination}
401 @var{error-destination})}, and @var{error-destination} names a file,
402 then the same remarks as for @var{infile} apply.
404 The remaining arguments (@var{args}) will be passed to the process
405 verbatim.  Emacs is not involved in processing file names that are
406 present in @var{args}.  To avoid confusion, it may be best to avoid
407 absolute file names in @var{args}, but rather to specify all file
408 names as relative to @code{default-directory}.  The function
409 @code{file-relative-name} is useful for constructing such relative
410 file names.
411 @end defun
413 @defvar process-file-side-effects
414 This variable indicates, whether a call of @code{process-file} changes
415 remote files.
417 Per default, this variable is always set to @code{t}, meaning that a
418 call of @code{process-file} could potentially change any file on a
419 remote host.  When set to @code{nil}, a file handler could optimize
420 its behaviour with respect to remote file attributes caching.
422 This variable should never be changed by @code{setq}.  Instead of, it
423 shall be set only by let-binding.
424 @end defvar
426 @defun call-process-region start end program &optional delete destination display &rest args
427 This function sends the text from @var{start} to @var{end} as
428 standard input to a process running @var{program}.  It deletes the text
429 sent if @var{delete} is non-@code{nil}; this is useful when
430 @var{destination} is @code{t}, to insert the output in the current
431 buffer in place of the input.
433 The arguments @var{destination} and @var{display} control what to do
434 with the output from the subprocess, and whether to update the display
435 as it comes in.  For details, see the description of
436 @code{call-process}, above.  If @var{destination} is the integer 0,
437 @code{call-process-region} discards the output and returns @code{nil}
438 immediately, without waiting for the subprocess to finish (this only
439 works if asynchronous subprocesses are supported).
441 The remaining arguments, @var{args}, are strings that specify command
442 line arguments for the program.
444 The return value of @code{call-process-region} is just like that of
445 @code{call-process}: @code{nil} if you told it to return without
446 waiting; otherwise, a number or string which indicates how the
447 subprocess terminated.
449 In the following example, we use @code{call-process-region} to run the
450 @code{cat} utility, with standard input being the first five characters
451 in buffer @samp{foo} (the word @samp{input}).  @code{cat} copies its
452 standard input into its standard output.  Since the argument
453 @var{destination} is @code{t}, this output is inserted in the current
454 buffer.
456 @smallexample
457 @group
458 ---------- Buffer: foo ----------
459 input@point{}
460 ---------- Buffer: foo ----------
461 @end group
463 @group
464 (call-process-region 1 6 "cat" nil t)
465      @result{} 0
467 ---------- Buffer: foo ----------
468 inputinput@point{}
469 ---------- Buffer: foo ----------
470 @end group
471 @end smallexample
473   The @code{shell-command-on-region} command uses
474 @code{call-process-region} like this:
476 @smallexample
477 @group
478 (call-process-region
479  start end
480  shell-file-name      ; @r{Name of program.}
481  nil                  ; @r{Do not delete region.}
482  buffer               ; @r{Send output to @code{buffer}.}
483  nil                  ; @r{No redisplay during output.}
484  "-c" command)        ; @r{Arguments for the shell.}
485 @end group
486 @end smallexample
487 @end defun
489 @defun call-process-shell-command command &optional infile destination display &rest args
490 This function executes the shell command @var{command} synchronously.
491 The final arguments @var{args} are additional arguments to add at the
492 end of @var{command}.  The other arguments are handled as in
493 @code{call-process}.
494 @end defun
496 @defun process-file-shell-command command &optional infile destination display &rest args
497 This function is like @code{call-process-shell-command}, but uses
498 @code{process-file} internally.  Depending on @code{default-directory},
499 @var{command} can be executed also on remote hosts.
500 @end defun
502 @defun shell-command-to-string command
503 This function executes @var{command} (a string) as a shell command,
504 then returns the command's output as a string.
505 @end defun
507 @defun process-lines program &rest args
508 This function runs @var{program}, waits for it to finish, and returns
509 its output as a list of strings.  Each string in the list holds a
510 single line of text output by the program; the end-of-line characters
511 are stripped from each line.  The arguments beyond @var{program},
512 @var{args}, are strings that specify command-line arguments with which
513 to run the program.
515 If @var{program} exits with a non-zero exit status, this function
516 signals an error.
518 This function works by calling @code{call-process}, so program output
519 is decoded in the same way as for @code{call-process}.
520 @end defun
522 @node Asynchronous Processes
523 @section Creating an Asynchronous Process
524 @cindex asynchronous subprocess
526   After an @dfn{asynchronous process} is created, Emacs and the subprocess
527 both continue running immediately.  The process thereafter runs
528 in parallel with Emacs, and the two can communicate with each other
529 using the functions described in the following sections.  However,
530 communication is only partially asynchronous: Emacs sends data to the
531 process only when certain functions are called, and Emacs accepts data
532 from the process only when Emacs is waiting for input or for a time
533 delay.
535   Here we describe how to create an asynchronous process.
537 @defun start-process name buffer-or-name program &rest args
538 This function creates a new asynchronous subprocess and starts the
539 program @var{program} running in it.  It returns a process object that
540 stands for the new subprocess in Lisp.  The argument @var{name}
541 specifies the name for the process object; if a process with this name
542 already exists, then @var{name} is modified (by appending @samp{<1>},
543 etc.) to be unique.  The buffer @var{buffer-or-name} is the buffer to
544 associate with the process.
546 The remaining arguments, @var{args}, are strings that specify command
547 line arguments for the program.
549 In the example below, the first process is started and runs (rather,
550 sleeps) for 100 seconds.  Meanwhile, the second process is started, and
551 given the name @samp{my-process<1>} for the sake of uniqueness.  It
552 inserts the directory listing at the end of the buffer @samp{foo},
553 before the first process finishes.  Then it finishes, and a message to
554 that effect is inserted in the buffer.  Much later, the first process
555 finishes, and another message is inserted in the buffer for it.
557 @smallexample
558 @group
559 (start-process "my-process" "foo" "sleep" "100")
560      @result{} #<process my-process>
561 @end group
563 @group
564 (start-process "my-process" "foo" "ls" "-l" "/user/lewis/bin")
565      @result{} #<process my-process<1>>
567 ---------- Buffer: foo ----------
568 total 2
569 lrwxrwxrwx  1 lewis     14 Jul 22 10:12 gnuemacs --> /emacs
570 -rwxrwxrwx  1 lewis     19 Jul 30 21:02 lemon
572 Process my-process<1> finished
574 Process my-process finished
575 ---------- Buffer: foo ----------
576 @end group
577 @end smallexample
578 @end defun
580 @defun start-file-process name buffer-or-name program &rest args
581 Like @code{start-process}, this function starts a new asynchronous
582 subprocess running @var{program} in it, and returns its process
583 object---when @code{default-directory} is not a magic file name.
585 If @code{default-directory} is magic, the function invokes its file
586 handler instead.  This handler ought to run @var{program}, perhaps on
587 the local host, perhaps on a remote host that corresponds to
588 @code{default-directory}.  In the latter case, the local part of
589 @code{default-directory} becomes the working directory of the process.
591 This function does not try to invoke file name handlers for
592 @var{program} or for the @var{program-args}.
594 Depending on the implementation of the file handler, it might not be
595 possible to apply @code{process-filter} or @code{process-sentinel} to
596 the resulting process object (@pxref{Filter Functions}, @pxref{Sentinels}).
598 Some file handlers may not support @code{start-file-process} (for
599 example @code{ange-ftp-hook-function}).  In such cases, the function
600 does nothing and returns @code{nil}.
601 @end defun
603 @defun start-process-shell-command name buffer-or-name command
604 This function is like @code{start-process} except that it uses a shell
605 to execute the specified command.  The argument @var{command} is a shell
606 command name.  The variable @code{shell-file-name} specifies which shell to
607 use.
609 The point of running a program through the shell, rather than directly
610 with @code{start-process}, is so that you can employ shell features such
611 as wildcards in the arguments.  It follows that if you include an
612 arbitrary user-specified arguments in the command, you should quote it
613 with @code{shell-quote-argument} first, so that any special shell
614 characters do @emph{not} have their special shell meanings.  @xref{Shell
615 Arguments}.
616 @end defun
618 @defun start-file-process-shell-command name buffer-or-name command
619 This function is like @code{start-process-shell-command}, but uses
620 @code{start-file-process} internally.  By this, @var{command} can be
621 executed also on remote hosts, depending on @code{default-directory}.
622 @end defun
624 @defvar process-connection-type
625 @cindex pipes
626 @cindex @acronym{PTY}s
627 This variable controls the type of device used to communicate with
628 asynchronous subprocesses.  If it is non-@code{nil}, then @acronym{PTY}s are
629 used, when available.  Otherwise, pipes are used.
631 @acronym{PTY}s are usually preferable for processes visible to the user, as
632 in Shell mode, because they allow job control (@kbd{C-c}, @kbd{C-z},
633 etc.) to work between the process and its children, whereas pipes do
634 not.  For subprocesses used for internal purposes by programs, it is
635 often better to use a pipe, because they are more efficient.  In
636 addition, the total number of @acronym{PTY}s is limited on many systems and
637 it is good not to waste them.
639 The value of @code{process-connection-type} takes effect when
640 @code{start-process} is called.  So you can specify how to communicate
641 with one subprocess by binding the variable around the call to
642 @code{start-process}.
644 @smallexample
645 @group
646 (let ((process-connection-type nil))  ; @r{Use a pipe.}
647   (start-process @dots{}))
648 @end group
649 @end smallexample
651 To determine whether a given subprocess actually got a pipe or a
652 @acronym{PTY}, use the function @code{process-tty-name} (@pxref{Process
653 Information}).
654 @end defvar
656 @node Deleting Processes
657 @section Deleting Processes
658 @cindex deleting processes
660   @dfn{Deleting a process} disconnects Emacs immediately from the
661 subprocess.  Processes are deleted automatically after they terminate,
662 but not necessarily right away.  You can delete a process explicitly
663 at any time.  If you delete a terminated process explicitly before it
664 is deleted automatically, no harm results.  Deleting a running
665 process sends a signal to terminate it (and its child processes if
666 any), and calls the process sentinel if it has one.  @xref{Sentinels}.
668   When a process is deleted, the process object itself continues to
669 exist as long as other Lisp objects point to it.  All the Lisp
670 primitives that work on process objects accept deleted processes, but
671 those that do I/O or send signals will report an error.  The process
672 mark continues to point to the same place as before, usually into a
673 buffer where output from the process was being inserted.
675 @defopt delete-exited-processes
676 This variable controls automatic deletion of processes that have
677 terminated (due to calling @code{exit} or to a signal).  If it is
678 @code{nil}, then they continue to exist until the user runs
679 @code{list-processes}.  Otherwise, they are deleted immediately after
680 they exit.
681 @end defopt
683 @defun delete-process process
684 This function deletes a process, killing it with a @code{SIGKILL}
685 signal.  The argument may be a process, the name of a process, a
686 buffer, or the name of a buffer.  (A buffer or buffer-name stands for
687 the process that @code{get-buffer-process} returns.)  Calling
688 @code{delete-process} on a running process terminates it, updates the
689 process status, and runs the sentinel (if any) immediately.  If the
690 process has already terminated, calling @code{delete-process} has no
691 effect on its status, or on the running of its sentinel (which will
692 happen sooner or later).
694 @smallexample
695 @group
696 (delete-process "*shell*")
697      @result{} nil
698 @end group
699 @end smallexample
700 @end defun
702 @node Process Information
703 @section Process Information
705   Several functions return information about processes.
706 @code{list-processes} is provided for interactive use.
708 @deffn Command list-processes &optional query-only
709 This command displays a listing of all living processes.  In addition,
710 it finally deletes any process whose status was @samp{Exited} or
711 @samp{Signaled}.  It returns @code{nil}.
713 If @var{query-only} is non-@code{nil} then it lists only processes
714 whose query flag is non-@code{nil}.  @xref{Query Before Exit}.
715 @end deffn
717 @defun process-list
718 This function returns a list of all processes that have not been deleted.
720 @smallexample
721 @group
722 (process-list)
723      @result{} (#<process display-time> #<process shell>)
724 @end group
725 @end smallexample
726 @end defun
728 @defun get-process name
729 This function returns the process named @var{name}, or @code{nil} if
730 there is none.  An error is signaled if @var{name} is not a string.
732 @smallexample
733 @group
734 (get-process "shell")
735      @result{} #<process shell>
736 @end group
737 @end smallexample
738 @end defun
740 @defun process-command process
741 This function returns the command that was executed to start
742 @var{process}.  This is a list of strings, the first string being the
743 program executed and the rest of the strings being the arguments that
744 were given to the program.
746 @smallexample
747 @group
748 (process-command (get-process "shell"))
749      @result{} ("/bin/csh" "-i")
750 @end group
751 @end smallexample
752 @end defun
754 @defun process-contact process &optional key
756 This function returns information about how a network or serial
757 process was set up.  For a network process, when @var{key} is
758 @code{nil}, it returns @code{(@var{hostname} @var{service})} which
759 specifies what you connected to.  For a serial process, when @var{key}
760 is @code{nil}, it returns @code{(@var{port} @var{speed})}.  For an
761 ordinary child process, this function always returns @code{t}.
763 If @var{key} is @code{t}, the value is the complete status information
764 for the connection, server, or serial port; that is, the list of
765 keywords and values specified in @code{make-network-process} or
766 @code{make-serial-process}, except that some of the values represent
767 the current status instead of what you specified.
769 For a network process:
771 @table @code
772 @item :buffer
773 The associated value is the process buffer.
774 @item :filter
775 The associated value is the process filter function.
776 @item :sentinel
777 The associated value is the process sentinel function.
778 @item :remote
779 In a connection, the address in internal format of the remote peer.
780 @item :local
781 The local address, in internal format.
782 @item :service
783 In a server, if you specified @code{t} for @var{service},
784 this value is the actual port number.
785 @end table
787 @code{:local} and @code{:remote} are included even if they were not
788 specified explicitly in @code{make-network-process}.
790 For a serial process, see @code{make-serial-process} and
791 @code{serial-process-configure} for a list of keys.
793 If @var{key} is a keyword, the function returns the value corresponding
794 to that keyword.
795 @end defun
797 @defun process-id process
798 This function returns the @acronym{PID} of @var{process}.  This is an
799 integer that distinguishes the process @var{process} from all other
800 processes running on the same computer at the current time.  The
801 @acronym{PID} of a process is chosen by the operating system kernel when the
802 process is started and remains constant as long as the process exists.
803 @end defun
805 @defun process-name process
806 This function returns the name of @var{process}.
807 @end defun
809 @defun process-status process-name
810 This function returns the status of @var{process-name} as a symbol.
811 The argument @var{process-name} must be a process, a buffer, or a
812 process name (a string).
814 The possible values for an actual subprocess are:
816 @table @code
817 @item run
818 for a process that is running.
819 @item stop
820 for a process that is stopped but continuable.
821 @item exit
822 for a process that has exited.
823 @item signal
824 for a process that has received a fatal signal.
825 @item open
826 for a network connection that is open.
827 @item closed
828 for a network connection that is closed.  Once a connection
829 is closed, you cannot reopen it, though you might be able to open
830 a new connection to the same place.
831 @item connect
832 for a non-blocking connection that is waiting to complete.
833 @item failed
834 for a non-blocking connection that has failed to complete.
835 @item listen
836 for a network server that is listening.
837 @item nil
838 if @var{process-name} is not the name of an existing process.
839 @end table
841 @smallexample
842 @group
843 (process-status (get-buffer "*shell*"))
844      @result{} run
845 @end group
846 @group
848      @result{} #<process xx<1>>
849 (process-status x)
850      @result{} exit
851 @end group
852 @end smallexample
854 For a network connection, @code{process-status} returns one of the symbols
855 @code{open} or @code{closed}.  The latter means that the other side
856 closed the connection, or Emacs did @code{delete-process}.
857 @end defun
859 @defun process-type process
860 This function returns the symbol @code{network} for a network
861 connection or server, @code{serial} for a serial port connection, or
862 @code{real} for a real subprocess.
863 @end defun
865 @defun process-exit-status process
866 This function returns the exit status of @var{process} or the signal
867 number that killed it.  (Use the result of @code{process-status} to
868 determine which of those it is.)  If @var{process} has not yet
869 terminated, the value is 0.
870 @end defun
872 @defun process-tty-name process
873 This function returns the terminal name that @var{process} is using for
874 its communication with Emacs---or @code{nil} if it is using pipes
875 instead of a terminal (see @code{process-connection-type} in
876 @ref{Asynchronous Processes}).  If @var{process} represents a program
877 running on a remote host, the terminal name used by that program on
878 the remote host is provided as process property @code{remote-tty}.
879 @end defun
881 @defun process-coding-system process
882 @anchor{Coding systems for a subprocess}
883 This function returns a cons cell describing the coding systems in use
884 for decoding output from @var{process} and for encoding input to
885 @var{process} (@pxref{Coding Systems}).  The value has this form:
887 @example
888 (@var{coding-system-for-decoding} . @var{coding-system-for-encoding})
889 @end example
890 @end defun
892 @defun set-process-coding-system process &optional decoding-system encoding-system
893 This function specifies the coding systems to use for subsequent output
894 from and input to @var{process}.  It will use @var{decoding-system} to
895 decode subprocess output, and @var{encoding-system} to encode subprocess
896 input.
897 @end defun
899   Every process also has a property list that you can use to store
900 miscellaneous values associated with the process.
902 @defun process-get process propname
903 This function returns the value of the @var{propname} property
904 of @var{process}.
905 @end defun
907 @defun process-put process propname value
908 This function sets the value of the @var{propname} property
909 of @var{process} to @var{value}.
910 @end defun
912 @defun process-plist process
913 This function returns the process plist of @var{process}.
914 @end defun
916 @defun set-process-plist process plist
917 This function sets the process plist of @var{process} to @var{plist}.
918 @end defun
920 @node Input to Processes
921 @section Sending Input to Processes
922 @cindex process input
924   Asynchronous subprocesses receive input when it is sent to them by
925 Emacs, which is done with the functions in this section.  You must
926 specify the process to send input to, and the input data to send.  The
927 data appears on the ``standard input'' of the subprocess.
929   Some operating systems have limited space for buffered input in a
930 @acronym{PTY}.  On these systems, Emacs sends an @acronym{EOF}
931 periodically amidst the other characters, to force them through.  For
932 most programs, these @acronym{EOF}s do no harm.
934   Subprocess input is normally encoded using a coding system before the
935 subprocess receives it, much like text written into a file.  You can use
936 @code{set-process-coding-system} to specify which coding system to use
937 (@pxref{Process Information}).  Otherwise, the coding system comes from
938 @code{coding-system-for-write}, if that is non-@code{nil}; or else from
939 the defaulting mechanism (@pxref{Default Coding Systems}).
941   Sometimes the system is unable to accept input for that process,
942 because the input buffer is full.  When this happens, the send functions
943 wait a short while, accepting output from subprocesses, and then try
944 again.  This gives the subprocess a chance to read more of its pending
945 input and make space in the buffer.  It also allows filters, sentinels
946 and timers to run---so take account of that in writing your code.
948   In these functions, the @var{process} argument can be a process or
949 the name of a process, or a buffer or buffer name (which stands
950 for a process via @code{get-buffer-process}).  @code{nil} means
951 the current buffer's process.
953 @defun process-send-string process string
954 This function sends @var{process} the contents of @var{string} as
955 standard input.  If it is @code{nil}, the current buffer's process is used.
957   The function returns @code{nil}.
959 @smallexample
960 @group
961 (process-send-string "shell<1>" "ls\n")
962      @result{} nil
963 @end group
966 @group
967 ---------- Buffer: *shell* ----------
969 introduction.texi               syntax-tables.texi~
970 introduction.texi~              text.texi
971 introduction.txt                text.texi~
973 ---------- Buffer: *shell* ----------
974 @end group
975 @end smallexample
976 @end defun
978 @defun process-send-region process start end
979 This function sends the text in the region defined by @var{start} and
980 @var{end} as standard input to @var{process}.
982 An error is signaled unless both @var{start} and @var{end} are
983 integers or markers that indicate positions in the current buffer.  (It
984 is unimportant which number is larger.)
985 @end defun
987 @defun process-send-eof &optional process
988 This function makes @var{process} see an end-of-file in its
989 input.  The @acronym{EOF} comes after any text already sent to it.
991 The function returns @var{process}.
993 @smallexample
994 @group
995 (process-send-eof "shell")
996      @result{} "shell"
997 @end group
998 @end smallexample
999 @end defun
1001 @defun process-running-child-p &optional process
1002 This function will tell you whether a @var{process} has given control of
1003 its terminal to its own child process.  The value is @code{t} if this is
1004 true, or if Emacs cannot tell; it is @code{nil} if Emacs can be certain
1005 that this is not so.
1006 @end defun
1008 @node Signals to Processes
1009 @section Sending Signals to Processes
1010 @cindex process signals
1011 @cindex sending signals
1012 @cindex signals
1014   @dfn{Sending a signal} to a subprocess is a way of interrupting its
1015 activities.  There are several different signals, each with its own
1016 meaning.  The set of signals and their names is defined by the operating
1017 system.  For example, the signal @code{SIGINT} means that the user has
1018 typed @kbd{C-c}, or that some analogous thing has happened.
1020   Each signal has a standard effect on the subprocess.  Most signals
1021 kill the subprocess, but some stop or resume execution instead.  Most
1022 signals can optionally be handled by programs; if the program handles
1023 the signal, then we can say nothing in general about its effects.
1025   You can send signals explicitly by calling the functions in this
1026 section.  Emacs also sends signals automatically at certain times:
1027 killing a buffer sends a @code{SIGHUP} signal to all its associated
1028 processes; killing Emacs sends a @code{SIGHUP} signal to all remaining
1029 processes.  (@code{SIGHUP} is a signal that usually indicates that the
1030 user hung up the phone.)
1032   Each of the signal-sending functions takes two optional arguments:
1033 @var{process} and @var{current-group}.
1035   The argument @var{process} must be either a process, a process
1036 name, a buffer, a buffer name, or @code{nil}.  A buffer or buffer name
1037 stands for a process through @code{get-buffer-process}.  @code{nil}
1038 stands for the process associated with the current buffer.  An error
1039 is signaled if @var{process} does not identify a process.
1041   The argument @var{current-group} is a flag that makes a difference
1042 when you are running a job-control shell as an Emacs subprocess.  If it
1043 is non-@code{nil}, then the signal is sent to the current process-group
1044 of the terminal that Emacs uses to communicate with the subprocess.  If
1045 the process is a job-control shell, this means the shell's current
1046 subjob.  If it is @code{nil}, the signal is sent to the process group of
1047 the immediate subprocess of Emacs.  If the subprocess is a job-control
1048 shell, this is the shell itself.
1050   The flag @var{current-group} has no effect when a pipe is used to
1051 communicate with the subprocess, because the operating system does not
1052 support the distinction in the case of pipes.  For the same reason,
1053 job-control shells won't work when a pipe is used.  See
1054 @code{process-connection-type} in @ref{Asynchronous Processes}.
1056 @defun interrupt-process &optional process current-group
1057 This function interrupts the process @var{process} by sending the
1058 signal @code{SIGINT}.  Outside of Emacs, typing the ``interrupt
1059 character'' (normally @kbd{C-c} on some systems, and @code{DEL} on
1060 others) sends this signal.  When the argument @var{current-group} is
1061 non-@code{nil}, you can think of this function as ``typing @kbd{C-c}''
1062 on the terminal by which Emacs talks to the subprocess.
1063 @end defun
1065 @defun kill-process &optional process current-group
1066 This function kills the process @var{process} by sending the
1067 signal @code{SIGKILL}.  This signal kills the subprocess immediately,
1068 and cannot be handled by the subprocess.
1069 @end defun
1071 @defun quit-process &optional process current-group
1072 This function sends the signal @code{SIGQUIT} to the process
1073 @var{process}.  This signal is the one sent by the ``quit
1074 character'' (usually @kbd{C-b} or @kbd{C-\}) when you are not inside
1075 Emacs.
1076 @end defun
1078 @defun stop-process &optional process current-group
1079 This function stops the process @var{process} by sending the
1080 signal @code{SIGTSTP}.  Use @code{continue-process} to resume its
1081 execution.
1083 Outside of Emacs, on systems with job control, the ``stop character''
1084 (usually @kbd{C-z}) normally sends this signal.  When
1085 @var{current-group} is non-@code{nil}, you can think of this function as
1086 ``typing @kbd{C-z}'' on the terminal Emacs uses to communicate with the
1087 subprocess.
1088 @end defun
1090 @defun continue-process &optional process current-group
1091 This function resumes execution of the process @var{process} by sending
1092 it the signal @code{SIGCONT}.  This presumes that @var{process} was
1093 stopped previously.
1094 @end defun
1096 @defun signal-process process signal
1097 This function sends a signal to process @var{process}.  The argument
1098 @var{signal} specifies which signal to send; it should be an integer.
1100 The @var{process} argument can be a system process @acronym{ID}; that
1101 allows you to send signals to processes that are not children of
1102 Emacs.  @xref{System Processes}.
1103 @end defun
1105 @node Output from Processes
1106 @section Receiving Output from Processes
1107 @cindex process output
1108 @cindex output from processes
1110   There are two ways to receive the output that a subprocess writes to
1111 its standard output stream.  The output can be inserted in a buffer,
1112 which is called the associated buffer of the process, or a function
1113 called the @dfn{filter function} can be called to act on the output.  If
1114 the process has no buffer and no filter function, its output is
1115 discarded.
1117   When a subprocess terminates, Emacs reads any pending output,
1118 then stops reading output from that subprocess.  Therefore, if the
1119 subprocess has children that are still live and still producing
1120 output, Emacs won't receive that output.
1122   Output from a subprocess can arrive only while Emacs is waiting: when
1123 reading terminal input, in @code{sit-for} and @code{sleep-for}
1124 (@pxref{Waiting}), and in @code{accept-process-output} (@pxref{Accepting
1125 Output}).  This minimizes the problem of timing errors that usually
1126 plague parallel programming.  For example, you can safely create a
1127 process and only then specify its buffer or filter function; no output
1128 can arrive before you finish, if the code in between does not call any
1129 primitive that waits.
1131 @defvar process-adaptive-read-buffering
1132 On some systems, when Emacs reads the output from a subprocess, the
1133 output data is read in very small blocks, potentially resulting in
1134 very poor performance.  This behavior can be remedied to some extent
1135 by setting the variable @var{process-adaptive-read-buffering} to a
1136 non-@code{nil} value (the default), as it will automatically delay reading
1137 from such processes, thus allowing them to produce more output before
1138 Emacs tries to read it.
1139 @end defvar
1141   It is impossible to separate the standard output and standard error
1142 streams of the subprocess, because Emacs normally spawns the subprocess
1143 inside a pseudo-TTY, and a pseudo-TTY has only one output channel.  If
1144 you want to keep the output to those streams separate, you should
1145 redirect one of them to a file---for example, by using an appropriate
1146 shell command.
1148 @menu
1149 * Process Buffers::         If no filter, output is put in a buffer.
1150 * Filter Functions::        Filter functions accept output from the process.
1151 * Decoding Output::         Filters can get unibyte or multibyte strings.
1152 * Accepting Output::        How to wait until process output arrives.
1153 @end menu
1155 @node Process Buffers
1156 @subsection Process Buffers
1158   A process can (and usually does) have an @dfn{associated buffer},
1159 which is an ordinary Emacs buffer that is used for two purposes: storing
1160 the output from the process, and deciding when to kill the process.  You
1161 can also use the buffer to identify a process to operate on, since in
1162 normal practice only one process is associated with any given buffer.
1163 Many applications of processes also use the buffer for editing input to
1164 be sent to the process, but this is not built into Emacs Lisp.
1166   Unless the process has a filter function (@pxref{Filter Functions}),
1167 its output is inserted in the associated buffer.  The position to insert
1168 the output is determined by the @code{process-mark}, which is then
1169 updated to point to the end of the text just inserted.  Usually, but not
1170 always, the @code{process-mark} is at the end of the buffer.
1172 @findex process-kill-buffer-query-function
1173   Killing the associated buffer of a process also kills the process.
1174 Emacs asks for confirmation first, if the process's
1175 @code{process-query-on-exit-flag} is non-@code{nil} (@pxref{Query
1176 Before Exit}).  This confirmation is done by the function
1177 @code{process-kill-buffer-query-function}, which is run from
1178 @code{kill-buffer-query-functions} (@pxref{Killing Buffers}).
1180 @defun process-buffer process
1181 This function returns the associated buffer of the process
1182 @var{process}.
1184 @smallexample
1185 @group
1186 (process-buffer (get-process "shell"))
1187      @result{} #<buffer *shell*>
1188 @end group
1189 @end smallexample
1190 @end defun
1192 @defun process-mark process
1193 This function returns the process marker for @var{process}, which is the
1194 marker that says where to insert output from the process.
1196 If @var{process} does not have a buffer, @code{process-mark} returns a
1197 marker that points nowhere.
1199 Insertion of process output in a buffer uses this marker to decide where
1200 to insert, and updates it to point after the inserted text.  That is why
1201 successive batches of output are inserted consecutively.
1203 Filter functions normally should use this marker in the same fashion
1204 as is done by direct insertion of output in the buffer.  A good
1205 example of a filter function that uses @code{process-mark} is found at
1206 the end of the following section.
1208 When the user is expected to enter input in the process buffer for
1209 transmission to the process, the process marker separates the new input
1210 from previous output.
1211 @end defun
1213 @defun set-process-buffer process buffer
1214 This function sets the buffer associated with @var{process} to
1215 @var{buffer}.  If @var{buffer} is @code{nil}, the process becomes
1216 associated with no buffer.
1217 @end defun
1219 @defun get-buffer-process buffer-or-name
1220 This function returns a nondeleted process associated with the buffer
1221 specified by @var{buffer-or-name}.  If there are several processes
1222 associated with it, this function chooses one (currently, the one most
1223 recently created, but don't count on that).  Deletion of a process
1224 (see @code{delete-process}) makes it ineligible for this function to
1225 return.
1227 It is usually a bad idea to have more than one process associated with
1228 the same buffer.
1230 @smallexample
1231 @group
1232 (get-buffer-process "*shell*")
1233      @result{} #<process shell>
1234 @end group
1235 @end smallexample
1237 Killing the process's buffer deletes the process, which kills the
1238 subprocess with a @code{SIGHUP} signal (@pxref{Signals to Processes}).
1239 @end defun
1241 @node Filter Functions
1242 @subsection Process Filter Functions
1243 @cindex filter function
1244 @cindex process filter
1246   A process @dfn{filter function} is a function that receives the
1247 standard output from the associated process.  If a process has a filter,
1248 then @emph{all} output from that process is passed to the filter.  The
1249 process buffer is used directly for output from the process only when
1250 there is no filter.
1252   The filter function can only be called when Emacs is waiting for
1253 something, because process output arrives only at such times.  Emacs
1254 waits when reading terminal input, in @code{sit-for} and
1255 @code{sleep-for} (@pxref{Waiting}), and in @code{accept-process-output}
1256 (@pxref{Accepting Output}).
1258   A filter function must accept two arguments: the associated process
1259 and a string, which is output just received from it.  The function is
1260 then free to do whatever it chooses with the output.
1262   Quitting is normally inhibited within a filter function---otherwise,
1263 the effect of typing @kbd{C-g} at command level or to quit a user
1264 command would be unpredictable.  If you want to permit quitting inside
1265 a filter function, bind @code{inhibit-quit} to @code{nil}.  In most
1266 cases, the right way to do this is with the macro
1267 @code{with-local-quit}.  @xref{Quitting}.
1269   If an error happens during execution of a filter function, it is
1270 caught automatically, so that it doesn't stop the execution of whatever
1271 program was running when the filter function was started.  However, if
1272 @code{debug-on-error} is non-@code{nil}, the error-catching is turned
1273 off.  This makes it possible to use the Lisp debugger to debug the
1274 filter function.  @xref{Debugger}.
1276   Many filter functions sometimes or always insert the text in the
1277 process's buffer, mimicking the actions of Emacs when there is no
1278 filter.  Such filter functions need to use @code{set-buffer} in order to
1279 be sure to insert in that buffer.  To avoid setting the current buffer
1280 semipermanently, these filter functions must save and restore the
1281 current buffer.  They should also check whether the buffer is still
1282 alive, update the process marker, and in some cases update the value
1283 of point.  Here is how to do these things:
1285 @smallexample
1286 @group
1287 (defun ordinary-insertion-filter (proc string)
1288   (when (buffer-live-p (process-buffer proc))
1289     (with-current-buffer (process-buffer proc)
1290       (let ((moving (= (point) (process-mark proc))))
1291 @end group
1292 @group
1293         (save-excursion
1294           ;;  @r{Insert the text, advancing the process marker.}
1295           (goto-char (process-mark proc))
1296           (insert string)
1297           (set-marker (process-mark proc) (point)))
1298         (if moving (goto-char (process-mark proc)))))))
1299 @end group
1300 @end smallexample
1302 @noindent
1303 The reason to use @code{with-current-buffer}, rather than using
1304 @code{save-excursion} to save and restore the current buffer, is so as
1305 to preserve the change in point made by the second call to
1306 @code{goto-char}.
1308   To make the filter force the process buffer to be visible whenever new
1309 text arrives, insert the following line just before the
1310 @code{with-current-buffer} construct:
1312 @smallexample
1313 (display-buffer (process-buffer proc))
1314 @end smallexample
1316   To force point to the end of the new output, no matter where it was
1317 previously, eliminate the variable @code{moving} and call
1318 @code{goto-char} unconditionally.
1320   In earlier Emacs versions, every filter function that did regular
1321 expression searching or matching had to explicitly save and restore the
1322 match data.  Now Emacs does this automatically for filter functions;
1323 they never need to do it explicitly.  @xref{Match Data}.
1325   The output to the function may come in chunks of any size.  A program
1326 that produces the same output twice in a row may send it as one batch of
1327 200 characters one time, and five batches of 40 characters the next.  If
1328 the filter looks for certain text strings in the subprocess output, make
1329 sure to handle the case where one of these strings is split across two
1330 or more batches of output; one way to do this is to insert the
1331 received text into a temporary buffer, which can then be searched.
1333 @defun set-process-filter process filter
1334 This function gives @var{process} the filter function @var{filter}.  If
1335 @var{filter} is @code{nil}, it gives the process no filter.
1336 @end defun
1338 @defun process-filter process
1339 This function returns the filter function of @var{process}, or @code{nil}
1340 if it has none.
1341 @end defun
1343   Here is an example of use of a filter function:
1345 @smallexample
1346 @group
1347 (defun keep-output (process output)
1348    (setq kept (cons output kept)))
1349      @result{} keep-output
1350 @end group
1351 @group
1352 (setq kept nil)
1353      @result{} nil
1354 @end group
1355 @group
1356 (set-process-filter (get-process "shell") 'keep-output)
1357      @result{} keep-output
1358 @end group
1359 @group
1360 (process-send-string "shell" "ls ~/other\n")
1361      @result{} nil
1362 kept
1363      @result{} ("lewis@@slug[8] % "
1364 @end group
1365 @group
1366 "FINAL-W87-SHORT.MSS    backup.otl              kolstad.mss~
1367 address.txt             backup.psf              kolstad.psf
1368 backup.bib~             david.mss               resume-Dec-86.mss~
1369 backup.err              david.psf               resume-Dec.psf
1370 backup.mss              dland                   syllabus.mss
1372 "#backups.mss#          backup.mss~             kolstad.mss
1374 @end group
1375 @end smallexample
1377 @ignore   @c The code in this example doesn't show the right way to do things.
1378 Here is another, more realistic example, which demonstrates how to use
1379 the process mark to do insertion in the same fashion as is done when
1380 there is no filter function:
1382 @smallexample
1383 @group
1384 ;; @r{Insert input in the buffer specified by @code{my-shell-buffer}}
1385 ;;   @r{and make sure that buffer is shown in some window.}
1386 (defun my-process-filter (proc str)
1387   (let ((cur (selected-window))
1388         (pop-up-windows t))
1389     (pop-to-buffer my-shell-buffer)
1390 @end group
1391 @group
1392     (goto-char (point-max))
1393     (insert str)
1394     (set-marker (process-mark proc) (point-max))
1395     (select-window cur)))
1396 @end group
1397 @end smallexample
1398 @end ignore
1400 @node Decoding Output
1401 @subsection Decoding Process Output
1402 @cindex decode process output
1404   When Emacs writes process output directly into a multibyte buffer,
1405 it decodes the output according to the process output coding system.
1406 If the coding system is @code{raw-text} or @code{no-conversion}, Emacs
1407 converts the unibyte output to multibyte using
1408 @code{string-to-multibyte}, and inserts the resulting multibyte text.
1410   You can use @code{set-process-coding-system} to specify which coding
1411 system to use (@pxref{Process Information}).  Otherwise, the coding
1412 system comes from @code{coding-system-for-read}, if that is
1413 non-@code{nil}; or else from the defaulting mechanism (@pxref{Default
1414 Coding Systems}).  If the text output by a process contains null
1415 bytes, Emacs by default uses @code{no-conversion} for it; see
1416 @ref{Lisp and Coding Systems, inhibit-null-byte-detection}, for how to
1417 control this behavior.
1419   @strong{Warning:} Coding systems such as @code{undecided} which
1420 determine the coding system from the data do not work entirely
1421 reliably with asynchronous subprocess output.  This is because Emacs
1422 has to process asynchronous subprocess output in batches, as it
1423 arrives.  Emacs must try to detect the proper coding system from one
1424 batch at a time, and this does not always work.  Therefore, if at all
1425 possible, specify a coding system that determines both the character
1426 code conversion and the end of line conversion---that is, one like
1427 @code{latin-1-unix}, rather than @code{undecided} or @code{latin-1}.
1429 @c Let's keep the index entries that were there for
1430 @c set-process-filter-multibyte and process-filter-multibyte-p,
1431 @cindex filter multibyte flag, of process
1432 @cindex process filter multibyte flag
1433   When Emacs calls a process filter function, it provides the process
1434 output as a multibyte string or as a unibyte string according to the
1435 process's filter coding system.  Emacs
1436 decodes the output according to the process output coding system,
1437 which usually produces a multibyte string, except for coding systems
1438 such as @code{binary} and @code{raw-text}
1440 @node Accepting Output
1441 @subsection Accepting Output from Processes
1442 @cindex accept input from processes
1444   Output from asynchronous subprocesses normally arrives only while
1445 Emacs is waiting for some sort of external event, such as elapsed time
1446 or terminal input.  Occasionally it is useful in a Lisp program to
1447 explicitly permit output to arrive at a specific point, or even to wait
1448 until output arrives from a process.
1450 @defun accept-process-output &optional process seconds millisec just-this-one
1451 This function allows Emacs to read pending output from processes.  The
1452 output is inserted in the associated buffers or given to their filter
1453 functions.  If @var{process} is non-@code{nil} then this function does
1454 not return until some output has been received from @var{process}.
1456 @c Emacs 19 feature
1457 The arguments @var{seconds} and @var{millisec} let you specify timeout
1458 periods.  The former specifies a period measured in seconds and the
1459 latter specifies one measured in milliseconds.  The two time periods
1460 thus specified are added together, and @code{accept-process-output}
1461 returns after that much time, whether or not there has been any
1462 subprocess output.
1464 The argument @var{millisec} is semi-obsolete nowadays because
1465 @var{seconds} can be a floating point number to specify waiting a
1466 fractional number of seconds.  If @var{seconds} is 0, the function
1467 accepts whatever output is pending but does not wait.
1469 @c Emacs 22.1 feature
1470 If @var{process} is a process, and the argument @var{just-this-one} is
1471 non-@code{nil}, only output from that process is handled, suspending output
1472 from other processes until some output has been received from that
1473 process or the timeout expires.  If @var{just-this-one} is an integer,
1474 also inhibit running timers.  This feature is generally not
1475 recommended, but may be necessary for specific applications, such as
1476 speech synthesis.
1478 The function @code{accept-process-output} returns non-@code{nil} if it
1479 did get some output, or @code{nil} if the timeout expired before output
1480 arrived.
1481 @end defun
1483 @node Sentinels
1484 @section Sentinels: Detecting Process Status Changes
1485 @cindex process sentinel
1486 @cindex sentinel (of process)
1488   A @dfn{process sentinel} is a function that is called whenever the
1489 associated process changes status for any reason, including signals
1490 (whether sent by Emacs or caused by the process's own actions) that
1491 terminate, stop, or continue the process.  The process sentinel is
1492 also called if the process exits.  The sentinel receives two
1493 arguments: the process for which the event occurred, and a string
1494 describing the type of event.
1496   The string describing the event looks like one of the following:
1498 @itemize @bullet
1499 @item
1500 @code{"finished\n"}.
1502 @item
1503 @code{"exited abnormally with code @var{exitcode}\n"}.
1505 @item
1506 @code{"@var{name-of-signal}\n"}.
1508 @item
1509 @code{"@var{name-of-signal} (core dumped)\n"}.
1510 @end itemize
1512   A sentinel runs only while Emacs is waiting (e.g., for terminal
1513 input, or for time to elapse, or for process output).  This avoids the
1514 timing errors that could result from running them at random places in
1515 the middle of other Lisp programs.  A program can wait, so that
1516 sentinels will run, by calling @code{sit-for} or @code{sleep-for}
1517 (@pxref{Waiting}), or @code{accept-process-output} (@pxref{Accepting
1518 Output}).  Emacs also allows sentinels to run when the command loop is
1519 reading input.  @code{delete-process} calls the sentinel when it
1520 terminates a running process.
1522   Emacs does not keep a queue of multiple reasons to call the sentinel
1523 of one process; it records just the current status and the fact that
1524 there has been a change.  Therefore two changes in status, coming in
1525 quick succession, can call the sentinel just once.  However, process
1526 termination will always run the sentinel exactly once.  This is
1527 because the process status can't change again after termination.
1529   Emacs explicitly checks for output from the process before running
1530 the process sentinel.  Once the sentinel runs due to process
1531 termination, no further output can arrive from the process.
1533   A sentinel that writes the output into the buffer of the process
1534 should check whether the buffer is still alive.  If it tries to insert
1535 into a dead buffer, it will get an error.  If the buffer is dead,
1536 @code{(buffer-name (process-buffer @var{process}))} returns @code{nil}.
1538   Quitting is normally inhibited within a sentinel---otherwise, the
1539 effect of typing @kbd{C-g} at command level or to quit a user command
1540 would be unpredictable.  If you want to permit quitting inside a
1541 sentinel, bind @code{inhibit-quit} to @code{nil}.  In most cases, the
1542 right way to do this is with the macro @code{with-local-quit}.
1543 @xref{Quitting}.
1545   If an error happens during execution of a sentinel, it is caught
1546 automatically, so that it doesn't stop the execution of whatever
1547 programs was running when the sentinel was started.  However, if
1548 @code{debug-on-error} is non-@code{nil}, the error-catching is turned
1549 off.  This makes it possible to use the Lisp debugger to debug the
1550 sentinel.  @xref{Debugger}.
1552   While a sentinel is running, the process sentinel is temporarily
1553 set to @code{nil} so that the sentinel won't run recursively.
1554 For this reason it is not possible for a sentinel to specify
1555 a new sentinel.
1557   In earlier Emacs versions, every sentinel that did regular expression
1558 searching or matching had to explicitly save and restore the match data.
1559 Now Emacs does this automatically for sentinels; they never need to do
1560 it explicitly.  @xref{Match Data}.
1562 @defun set-process-sentinel process sentinel
1563 This function associates @var{sentinel} with @var{process}.  If
1564 @var{sentinel} is @code{nil}, then the process will have no sentinel.
1565 The default behavior when there is no sentinel is to insert a message in
1566 the process's buffer when the process status changes.
1568 Changes in process sentinel take effect immediately---if the sentinel
1569 is slated to be run but has not been called yet, and you specify a new
1570 sentinel, the eventual call to the sentinel will use the new one.
1572 @smallexample
1573 @group
1574 (defun msg-me (process event)
1575    (princ
1576      (format "Process: %s had the event `%s'" process event)))
1577 (set-process-sentinel (get-process "shell") 'msg-me)
1578      @result{} msg-me
1579 @end group
1580 @group
1581 (kill-process (get-process "shell"))
1582      @print{} Process: #<process shell> had the event `killed'
1583      @result{} #<process shell>
1584 @end group
1585 @end smallexample
1586 @end defun
1588 @defun process-sentinel process
1589 This function returns the sentinel of @var{process}, or @code{nil} if it
1590 has none.
1591 @end defun
1593 @defun waiting-for-user-input-p
1594 While a sentinel or filter function is running, this function returns
1595 non-@code{nil} if Emacs was waiting for keyboard input from the user at
1596 the time the sentinel or filter function was called, @code{nil} if it
1597 was not.
1598 @end defun
1600 @node Query Before Exit
1601 @section Querying Before Exit
1603   When Emacs exits, it terminates all its subprocesses by sending them
1604 the @code{SIGHUP} signal.  Because subprocesses may be doing
1605 valuable work, Emacs normally asks the user to confirm that it is ok
1606 to terminate them.  Each process has a query flag which, if
1607 non-@code{nil}, says that Emacs should ask for confirmation before
1608 exiting and thus killing that process.  The default for the query flag
1609 is @code{t}, meaning @emph{do} query.
1611 @defun process-query-on-exit-flag process
1612 This returns the query flag of @var{process}.
1613 @end defun
1615 @defun set-process-query-on-exit-flag process flag
1616 This function sets the query flag of @var{process} to @var{flag}.  It
1617 returns @var{flag}.
1619 @smallexample
1620 @group
1621 ;; @r{Don't query about the shell process}
1622 (set-process-query-on-exit-flag (get-process "shell") nil)
1623      @result{} t
1624 @end group
1625 @end smallexample
1626 @end defun
1628 @defun process-kill-without-query process &optional do-query
1629 This function clears the query flag of @var{process}, so that
1630 Emacs will not query the user on account of that process.
1632 Actually, the function does more than that: it returns the old value of
1633 the process's query flag, and sets the query flag to @var{do-query}.
1634 Please don't use this function to do those things any more---please
1635 use the newer, cleaner functions @code{process-query-on-exit-flag} and
1636 @code{set-process-query-on-exit-flag} in all but the simplest cases.
1637 The only way you should use @code{process-kill-without-query} nowadays
1638 is like this:
1640 @smallexample
1641 @group
1642 ;; @r{Don't query about the shell process}
1643 (process-kill-without-query (get-process "shell"))
1644 @end group
1645 @end smallexample
1646 @end defun
1648 @node System Processes
1649 @section Accessing Other Processes
1650 @cindex system processes
1652   In addition to accessing and manipulating processes that are
1653 subprocesses of the current Emacs session, Emacs Lisp programs can
1654 also access other processes running on the same machine.  We call
1655 these @dfn{system processes}, to distinguish between them and Emacs
1656 subprocesses.
1658   Emacs provides several primitives for accessing system processes.
1659 Not all platforms support these primitives; on those which don't,
1660 these primitives return @code{nil}.
1662 @defun list-system-processes
1663 This function returns a list of all the processes running on the
1664 system.  Each process is identified by its @acronym{PID}, a numerical
1665 process ID that is assigned by the OS and distinguishes the process
1666 from all the other processes running on the same machine at the same
1667 time.
1668 @end defun
1670 @defun process-attributes pid
1671 This function returns an alist of attributes for the process specified
1672 by its process ID @var{pid}.  Each association in the alist is of the
1673 form @code{(@var{key} . @var{value})}, where @var{key} designates the
1674 attribute and @var{value} is the value of that attribute.  The various
1675 attribute @var{key}'s that this function can return are listed below.
1676 Not all platforms support all of these attributes; if an attribute is
1677 not supported, its association will not appear in the returned alist.
1678 Values that are numbers can be either integer or floating-point,
1679 depending on the magnitude of the value.
1681 @table @code
1682 @item euid
1683 The effective user ID of the user who invoked the process.  The
1684 corresponding @var{value} is a number.  If the process was invoked by
1685 the same user who runs the current Emacs session, the value is
1686 identical to what @code{user-uid} returns (@pxref{User
1687 Identification}).
1689 @item user
1690 User name corresponding to the process's effective user ID, a string.
1692 @item egid
1693 The group ID of the effective user ID, a number.
1695 @item group
1696 Group name corresponding to the effective user's group ID, a string.
1698 @item comm
1699 The name of the command that runs in the process.  This is a string
1700 that usually specifies the name of the executable file of the process,
1701 without the leading directories.  However, some special system
1702 processes can report strings that do not correspond to an executable
1703 file of a program.
1705 @item state
1706 The state code of the process.  This is a short string that encodes
1707 the scheduling state of the process.  Here's a list of the most
1708 frequently seen codes:
1710 @table @code
1711 @item "D"
1712 uninterruptible sleep (usually I/O)
1713 @item "R"
1714 running
1715 @item "S"
1716 interruptible sleep (waiting for some event)
1717 @item "T"
1718 stopped, e.g., by a job control signal
1719 @item "Z"
1720 ``zombie'': a process that terminated, but was not reaped by its parent
1721 @end table
1723 @noindent
1724 For the full list of the possible states, see the manual page of the
1725 @command{ps} command.
1727 @item ppid
1728 The process ID of the parent process, a number.
1730 @item pgrp
1731 The process group ID of the process, a number.
1733 @item sess
1734 The session ID of the process.  This is a number that is the process
1735 ID of the process's @dfn{session leader}.
1737 @item ttname
1738 A string that is the name of the process's controlling terminal.  On
1739 Unix and GNU systems, this is normally the file name of the
1740 corresponding terminal device, such as @file{/dev/pts65}.
1742 @item tpgid
1743 The numerical process group ID of the foreground process group that
1744 uses the process's terminal.
1746 @item minflt
1747 The number of minor page faults caused by the process since its
1748 beginning.  (Minor page faults are those that don't involve reading
1749 from disk.)
1751 @item majflt
1752 The number of major page faults caused by the process since its
1753 beginning.  (Major page faults require a disk to be read, and are thus
1754 more expensive than minor page faults.)
1756 @item cminflt
1757 @itemx cmajflt
1758 Like @code{minflt} and @code{majflt}, but include the number of page
1759 faults for all the child processes of the given process.
1761 @item utime
1762 Time spent by the process in the user context, for running the
1763 application's code.  The corresponding @var{value} is in the
1764 @w{@code{(@var{high} @var{low} @var{microsec})}} format, the same
1765 format used by functions @code{current-time} (@pxref{Time of Day,
1766 current-time}) and @code{file-attributes} (@pxref{File Attributes}).
1768 @item stime
1769 Time spent by the process in the system (kernel) context, for
1770 processing system calls.  The corresponding @var{value} is in the same
1771 format as for @code{utime}.
1773 @item time
1774 The sum of @code{utime} and @code{stime}.  The corresponding
1775 @var{value} is in the same format as for @code{utime}.
1777 @item cutime
1778 @itemx cstime
1779 @itemx ctime
1780 Like @code{utime}, @code{stime}, and @code{time}, but include the
1781 times of all the child processes of the given process.
1783 @item pri
1784 The numerical priority of the process.
1786 @item nice
1787 The @dfn{nice value} of the process, a number.  (Processes with smaller
1788 nice values get scheduled more favorably.)
1790 @item thcount
1791 The number of threads in the process.
1793 @item start
1794 The time the process was started, in the @w{@code{(@var{high}
1795 @var{low} @var{microsec})}} format used by @code{current-time} and
1796 @code{file-attributes}.
1798 @item etime
1799 The time elapsed since the process started, in the @w{@code{(@var{high}
1800 @var{low} @var{microsec})}} format.
1802 @item vsize
1803 The virtual memory size of the process, measured in kilobytes.
1805 @item rss
1806 The size of the process's @dfn{resident set}, the number of kilobytes
1807 occupied by the process in the machine's physical memory.
1809 @item pcpu
1810 The percentage of the CPU time used by the process since it started.
1811 The corresponding @var{value} is a floating-point number between 0 and
1812 100.
1814 @item pmem
1815 The percentage of the total physical memory installed on the machine
1816 used by the process's resident set.  The value is a floating-point
1817 number between 0 and 100.
1819 @item args
1820 The command-line with which the process was invoked.  This is a string
1821 in which individual command-line arguments are separated by blanks;
1822 whitespace characters that are embedded in the arguments are quoted as
1823 appropriate for the system's shell: escaped by backslash characters on
1824 GNU and Unix, and enclosed in double quote characters on Windows.
1825 Thus, this command-line string can be directly used in primitives such
1826 as @code{shell-command}.
1827 @end table
1829 @end defun
1832 @node Transaction Queues
1833 @section Transaction Queues
1834 @cindex transaction queue
1836 You can use a @dfn{transaction queue} to communicate with a subprocess
1837 using transactions.  First use @code{tq-create} to create a transaction
1838 queue communicating with a specified process.  Then you can call
1839 @code{tq-enqueue} to send a transaction.
1841 @defun tq-create process
1842 This function creates and returns a transaction queue communicating with
1843 @var{process}.  The argument @var{process} should be a subprocess
1844 capable of sending and receiving streams of bytes.  It may be a child
1845 process, or it may be a TCP connection to a server, possibly on another
1846 machine.
1847 @end defun
1849 @defun tq-enqueue queue question regexp closure fn &optional delay-question
1850 This function sends a transaction to queue @var{queue}.  Specifying the
1851 queue has the effect of specifying the subprocess to talk to.
1853 The argument @var{question} is the outgoing message that starts the
1854 transaction.  The argument @var{fn} is the function to call when the
1855 corresponding answer comes back; it is called with two arguments:
1856 @var{closure}, and the answer received.
1858 The argument @var{regexp} is a regular expression that should match
1859 text at the end of the entire answer, but nothing before; that's how
1860 @code{tq-enqueue} determines where the answer ends.
1862 If the argument @var{delay-question} is non-@code{nil}, delay sending
1863 this question until the process has finished replying to any previous
1864 questions.  This produces more reliable results with some processes.
1866 The return value of @code{tq-enqueue} itself is not meaningful.
1867 @end defun
1869 @defun tq-close queue
1870 Shut down transaction queue @var{queue}, waiting for all pending transactions
1871 to complete, and then terminate the connection or child process.
1872 @end defun
1874 Transaction queues are implemented by means of a filter function.
1875 @xref{Filter Functions}.
1877 @node Network
1878 @section Network Connections
1879 @cindex network connection
1880 @cindex TCP
1881 @cindex UDP
1883   Emacs Lisp programs can open stream (TCP) and datagram (UDP) network
1884 connections to other processes on the same machine or other machines.
1885 A network connection is handled by Lisp much like a subprocess, and is
1886 represented by a process object.  However, the process you are
1887 communicating with is not a child of the Emacs process, so it has no
1888 process @acronym{ID}, and you can't kill it or send it signals.  All you
1889 can do is send and receive data.  @code{delete-process} closes the
1890 connection, but does not kill the program at the other end; that
1891 program must decide what to do about closure of the connection.
1893   Lisp programs can listen for connections by creating network
1894 servers.  A network server is also represented by a kind of process
1895 object, but unlike a network connection, the network server never
1896 transfers data itself.  When it receives a connection request, it
1897 creates a new network connection to represent the connection just
1898 made.  (The network connection inherits certain information, including
1899 the process plist, from the server.)  The network server then goes
1900 back to listening for more connection requests.
1902   Network connections and servers are created by calling
1903 @code{make-network-process} with an argument list consisting of
1904 keyword/argument pairs, for example @code{:server t} to create a
1905 server process, or @code{:type 'datagram} to create a datagram
1906 connection.  @xref{Low-Level Network}, for details.  You can also use
1907 the @code{open-network-stream} function described below.
1909   To distinguish the different types of processes, the
1910 @code{process-type} function returns the symbol @code{network} for a
1911 network connection or server, @code{serial} for a serial port
1912 connection, or @code{real} for a real subprocess.
1914   The @code{process-status} function returns @code{open},
1915 @code{closed}, @code{connect}, and @code{failed} for network
1916 connections.  For a network server, the status is always
1917 @code{listen}.  None of those values is possible for a real
1918 subprocess.  @xref{Process Information}.
1920   You can stop and resume operation of a network process by calling
1921 @code{stop-process} and @code{continue-process}.  For a server
1922 process, being stopped means not accepting new connections.  (Up to 5
1923 connection requests will be queued for when you resume the server; you
1924 can increase this limit, unless it is imposed by the operating
1925 system.)  For a network stream connection, being stopped means not
1926 processing input (any arriving input waits until you resume the
1927 connection).  For a datagram connection, some number of packets may be
1928 queued but input may be lost.  You can use the function
1929 @code{process-command} to determine whether a network connection or
1930 server is stopped; a non-@code{nil} value means yes.
1932 @defun open-network-stream name buffer-or-name host service
1933 This function opens a TCP connection, and returns a process object
1934 that represents the connection.
1936 The @var{name} argument specifies the name for the process object.  It
1937 is modified as necessary to make it unique.
1939 The @var{buffer-or-name} argument is the buffer to associate with the
1940 connection.  Output from the connection is inserted in the buffer,
1941 unless you specify a filter function to handle the output.  If
1942 @var{buffer-or-name} is @code{nil}, it means that the connection is not
1943 associated with any buffer.
1945 The arguments @var{host} and @var{service} specify where to connect to;
1946 @var{host} is the host name (a string), and @var{service} is the name of
1947 a defined network service (a string) or a port number (an integer).
1948 @end defun
1950 @node Network Servers
1951 @section Network Servers
1952 @cindex network servers
1954   You create a server by calling @code{make-network-process} with
1955 @code{:server t}.  The server will listen for connection requests from
1956 clients.  When it accepts a client connection request, that creates a
1957 new network connection, itself a process object, with the following
1958 parameters:
1960 @itemize @bullet
1961 @item
1962 The connection's process name is constructed by concatenating the
1963 server process' @var{name} with a client identification string.  The
1964 client identification string for an IPv4 connection looks like
1965 @samp{<@var{a}.@var{b}.@var{c}.@var{d}:@var{p}>}.  Otherwise, it is a
1966 unique number in brackets, as in @samp{<@var{nnn}>}.  The number
1967 is unique for each connection in the Emacs session.
1969 @item
1970 If the server's filter is non-@code{nil}, the connection process does
1971 not get a separate process buffer; otherwise, Emacs creates a new
1972 buffer for the purpose.  The buffer name is the server's buffer name
1973 or process name, concatenated with the client identification string.
1975 The server's process buffer value is never used directly by Emacs, but
1976 it is passed to the log function, which can log connections by
1977 inserting text there.
1979 @item
1980 The communication type and the process filter and sentinel are
1981 inherited from those of the server.  The server never directly
1982 uses its filter and sentinel; their sole purpose is to initialize
1983 connections made to the server.
1985 @item
1986 The connection's process contact info is set according to the client's
1987 addressing information (typically an IP address and a port number).
1988 This information is associated with the @code{process-contact}
1989 keywords @code{:host}, @code{:service}, @code{:remote}.
1991 @item
1992 The connection's local address is set up according to the port
1993 number used for the connection.
1995 @item
1996 The client process' plist is initialized from the server's plist.
1997 @end itemize
1999 @node Datagrams
2000 @section Datagrams
2001 @cindex datagrams
2003   A datagram connection communicates with individual packets rather
2004 than streams of data.  Each call to @code{process-send} sends one
2005 datagram packet (@pxref{Input to Processes}), and each datagram
2006 received results in one call to the filter function.
2008   The datagram connection doesn't have to talk with the same remote
2009 peer all the time.  It has a @dfn{remote peer address} which specifies
2010 where to send datagrams to.  Each time an incoming datagram is passed
2011 to the filter function, the peer address is set to the address that
2012 datagram came from; that way, if the filter function sends a datagram,
2013 it will go back to that place.  You can specify the remote peer
2014 address when you create the datagram connection using the
2015 @code{:remote} keyword.  You can change it later on by calling
2016 @code{set-process-datagram-address}.
2018 @defun process-datagram-address process
2019 If @var{process} is a datagram connection or server, this function
2020 returns its remote peer address.
2021 @end defun
2023 @defun set-process-datagram-address process address
2024 If @var{process} is a datagram connection or server, this function
2025 sets its remote peer address to @var{address}.
2026 @end defun
2028 @node Low-Level Network
2029 @section Low-Level Network Access
2031   You can also create network connections by operating at a lower
2032 level than that of @code{open-network-stream}, using
2033 @code{make-network-process}.
2035 @menu
2036 * Proc: Network Processes.   Using @code{make-network-process}.
2037 * Options: Network Options.  Further control over network connections.
2038 * Features: Network Feature Testing.
2039                              Determining which network features work on
2040                                the machine you are using.
2041 @end menu
2043 @node Network Processes
2044 @subsection @code{make-network-process}
2046    The basic function for creating network connections and network
2047 servers is @code{make-network-process}.  It can do either of those
2048 jobs, depending on the arguments you give it.
2050 @defun make-network-process &rest args
2051 This function creates a network connection or server and returns the
2052 process object that represents it.  The arguments @var{args} are a
2053 list of keyword/argument pairs.  Omitting a keyword is always
2054 equivalent to specifying it with value @code{nil}, except for
2055 @code{:coding}, @code{:filter-multibyte}, and @code{:reuseaddr}.  Here
2056 are the meaningful keywords:
2058 @table @asis
2059 @item :name @var{name}
2060 Use the string @var{name} as the process name.  It is modified if
2061 necessary to make it unique.
2063 @item :type @var{type}
2064 Specify the communication type.  A value of @code{nil} specifies a
2065 stream connection (the default); @code{datagram} specifies a datagram
2066 connection; @code{seqpacket} specifies a ``sequenced packet stream''
2067 connection.  Both connections and servers can be of these types.
2069 @item :server @var{server-flag}
2070 If @var{server-flag} is non-@code{nil}, create a server.  Otherwise,
2071 create a connection.  For a stream type server, @var{server-flag} may
2072 be an integer which then specifies the length of the queue of pending
2073 connections to the server.  The default queue length is 5.
2075 @item :host @var{host}
2076 Specify the host to connect to.  @var{host} should be a host name or
2077 Internet address, as a string, or the symbol @code{local} to specify
2078 the local host.  If you specify @var{host} for a server, it must
2079 specify a valid address for the local host, and only clients
2080 connecting to that address will be accepted.
2082 @item :service @var{service}
2083 @var{service} specifies a port number to connect to, or, for a server,
2084 the port number to listen on.  It should be a service name that
2085 translates to a port number, or an integer specifying the port number
2086 directly.  For a server, it can also be @code{t}, which means to let
2087 the system select an unused port number.
2089 @item :family @var{family}
2090 @var{family} specifies the address (and protocol) family for
2091 communication.  @code{nil} means determine the proper address family
2092 automatically for the given @var{host} and @var{service}.
2093 @code{local} specifies a Unix socket, in which case @var{host} is
2094 ignored.  @code{ipv4} and @code{ipv6} specify to use IPv4 and IPv6
2095 respectively.
2097 @item :local @var{local-address}
2098 For a server process, @var{local-address} is the address to listen on.
2099 It overrides @var{family}, @var{host} and @var{service}, and you
2100 may as well not specify them.
2102 @item :remote @var{remote-address}
2103 For a connection, @var{remote-address} is the address to connect to.
2104 It overrides @var{family}, @var{host} and @var{service}, and you
2105 may as well not specify them.
2107 For a datagram server, @var{remote-address} specifies the initial
2108 setting of the remote datagram address.
2110 The format of @var{local-address} or @var{remote-address} depends on
2111 the address family:
2113 @itemize -
2114 @item
2115 An IPv4 address is represented as a five-element vector of four 8-bit
2116 integers and one 16-bit integer
2117 @code{[@var{a} @var{b} @var{c} @var{d} @var{p}]} corresponding to
2118 numeric IPv4 address @var{a}.@var{b}.@var{c}.@var{d} and port number
2119 @var{p}.
2121 @item
2122 An IPv6 address is represented as a nine-element vector of 16-bit
2123 integers @code{[@var{a} @var{b} @var{c} @var{d} @var{e} @var{f}
2124 @var{g} @var{h} @var{p}]} corresponding to numeric IPv6 address
2125 @var{a}:@var{b}:@var{c}:@var{d}:@var{e}:@var{f}:@var{g}:@var{h} and
2126 port number @var{p}.
2128 @item
2129 A local address is represented as a string which specifies the address
2130 in the local address space.
2132 @item
2133 An ``unsupported family'' address is represented by a cons
2134 @code{(@var{f} . @var{av})}, where @var{f} is the family number and
2135 @var{av} is a vector specifying the socket address using one element
2136 per address data byte.  Do not rely on this format in portable code,
2137 as it may depend on implementation defined constants, data sizes, and
2138 data structure alignment.
2139 @end itemize
2141 @item :nowait @var{bool}
2142 If @var{bool} is non-@code{nil} for a stream connection, return
2143 without waiting for the connection to complete.  When the connection
2144 succeeds or fails, Emacs will call the sentinel function, with a
2145 second argument matching @code{"open"} (if successful) or
2146 @code{"failed"}.  The default is to block, so that
2147 @code{make-network-process} does not return until the connection
2148 has succeeded or failed.
2150 @item :stop @var{stopped}
2151 Start the network connection or server in the `stopped' state if
2152 @var{stopped} is non-@code{nil}.
2154 @item :buffer @var{buffer}
2155 Use @var{buffer} as the process buffer.
2157 @item :coding @var{coding}
2158 Use @var{coding} as the coding system for this process.  To specify
2159 different coding systems for decoding data from the connection and for
2160 encoding data sent to it, specify @code{(@var{decoding} .
2161 @var{encoding})} for @var{coding}.
2163 If you don't specify this keyword at all, the default
2164 is to determine the coding systems from the data.
2166 @item :noquery @var{query-flag}
2167 Initialize the process query flag to @var{query-flag}.
2168 @xref{Query Before Exit}.
2170 @item :filter @var{filter}
2171 Initialize the process filter to @var{filter}.
2173 @item :sentinel @var{sentinel}
2174 Initialize the process sentinel to @var{sentinel}.
2176 @item :log @var{log}
2177 Initialize the log function of a server process to @var{log}.  The log
2178 function is called each time the server accepts a network connection
2179 from a client.  The arguments passed to the log function are
2180 @var{server}, @var{connection}, and @var{message}, where @var{server}
2181 is the server process, @var{connection} is the new process for the
2182 connection, and @var{message} is a string describing what has
2183 happened.
2185 @item :plist @var{plist}
2186 Initialize the process plist to @var{plist}.
2187 @end table
2189 The original argument list, modified with the actual connection
2190 information, is available via the @code{process-contact} function.
2191 @end defun
2193 @node Network Options
2194 @subsection Network Options
2196   The following network options can be specified when you create a
2197 network process.  Except for @code{:reuseaddr}, you can also set or
2198 modify these options later, using @code{set-network-process-option}.
2200   For a server process, the options specified with
2201 @code{make-network-process} are not inherited by the client
2202 connections, so you will need to set the necessary options for each
2203 child connection as it is created.
2205 @table @asis
2206 @item :bindtodevice @var{device-name}
2207 If @var{device-name} is a non-empty string identifying a network
2208 interface name (see @code{network-interface-list}), only handle
2209 packets received on that interface.  If @var{device-name} is @code{nil}
2210 (the default), handle packets received on any interface.
2212 Using this option may require special privileges on some systems.
2214 @item :broadcast @var{broadcast-flag}
2215 If @var{broadcast-flag} is non-@code{nil} for a datagram process, the
2216 process will receive datagram packet sent to a broadcast address, and
2217 be able to send packets to a broadcast address.  Ignored for a stream
2218 connection.
2220 @item :dontroute @var{dontroute-flag}
2221 If @var{dontroute-flag} is non-@code{nil}, the process can only send
2222 to hosts on the same network as the local host.
2224 @item :keepalive @var{keepalive-flag}
2225 If @var{keepalive-flag} is non-@code{nil} for a stream connection,
2226 enable exchange of low-level keep-alive messages.
2228 @item :linger @var{linger-arg}
2229 If @var{linger-arg} is non-@code{nil}, wait for successful
2230 transmission of all queued packets on the connection before it is
2231 deleted (see @code{delete-process}).  If @var{linger-arg} is an
2232 integer, it specifies the maximum time in seconds to wait for queued
2233 packets to be sent before closing the connection.  Default is
2234 @code{nil} which means to discard unsent queued packets when the
2235 process is deleted.
2237 @item :oobinline @var{oobinline-flag}
2238 If @var{oobinline-flag} is non-@code{nil} for a stream connection,
2239 receive out-of-band data in the normal data stream.  Otherwise, ignore
2240 out-of-band data.
2242 @item :priority @var{priority}
2243 Set the priority for packets sent on this connection to the integer
2244 @var{priority}.  The interpretation of this number is protocol
2245 specific, such as setting the TOS (type of service) field on IP
2246 packets sent on this connection.  It may also have system dependent
2247 effects, such as selecting a specific output queue on the network
2248 interface.
2250 @item :reuseaddr @var{reuseaddr-flag}
2251 If @var{reuseaddr-flag} is non-@code{nil} (the default) for a stream
2252 server process, allow this server to reuse a specific port number (see
2253 @code{:service}) unless another process on this host is already
2254 listening on that port.  If @var{reuseaddr-flag} is @code{nil}, there
2255 may be a period of time after the last use of that port (by any
2256 process on the host), where it is not possible to make a new server on
2257 that port.
2258 @end table
2260 @defun set-network-process-option process option value &optional no-error
2261 This function sets or modifies a network option for network process
2262 @var{process}.  See @code{make-network-process} for details of options
2263 @var{option} and their corresponding values @var{value}.  If
2264 @var{no-error} is non-@code{nil}, this function returns @code{nil}
2265 instead of signaling an error if @var{option} is not a supported
2266 option.  If the function successfully completes, it returns @code{t}.
2268 The current setting of an option is available via the
2269 @code{process-contact} function.
2270 @end defun
2272 @node Network Feature Testing
2273 @subsection Testing Availability of Network Features
2275   To test for the availability of a given network feature, use
2276 @code{featurep} like this:
2278 @example
2279 (featurep 'make-network-process '(@var{keyword} @var{value}))
2280 @end example
2282 @noindent
2283 The result of the first form is @code{t} if it works to specify
2284 @var{keyword} with value @var{value} in @code{make-network-process}.
2285 The result of the second form is @code{t} if @var{keyword} is
2286 supported by @code{make-network-process}.  Here are some of the
2287 @var{keyword}---@var{value} pairs you can test in
2288 this way.
2290 @table @code
2291 @item (:nowait t)
2292 Non-@code{nil} if non-blocking connect is supported.
2293 @item (:type datagram)
2294 Non-@code{nil} if datagrams are supported.
2295 @item (:family local)
2296 Non-@code{nil} if local (a.k.a.@: ``UNIX domain'') sockets are supported.
2297 @item (:family ipv6)
2298 Non-@code{nil} if IPv6 is supported.
2299 @item (:service t)
2300 Non-@code{nil} if the system can select the port for a server.
2301 @end table
2303   To test for the availability of a given network option, use
2304 @code{featurep} like this:
2306 @example
2307 (featurep 'make-network-process '@var{keyword})
2308 @end example
2310 @noindent
2311 Here are some of the options you can test in this way.
2313 @table @code
2314 @item :bindtodevice
2315 @itemx :broadcast
2316 @itemx :dontroute
2317 @itemx :keepalive
2318 @itemx :linger
2319 @itemx :oobinline
2320 @itemx :priority
2321 @itemx :reuseaddr
2322 That particular network option is supported by
2323 @code{make-network-process} and @code{set-network-process-option}.
2324 @end table
2326 @node Misc Network
2327 @section Misc Network Facilities
2329   These additional functions are useful for creating and operating
2330 on network connections.  Note that they are supported only on some
2331 systems.
2333 @defun network-interface-list
2334 This function returns a list describing the network interfaces
2335 of the machine you are using.  The value is an alist whose
2336 elements have the form @code{(@var{name} . @var{address})}.
2337 @var{address} has the same form as the @var{local-address}
2338 and @var{remote-address} arguments to @code{make-network-process}.
2339 @end defun
2341 @defun network-interface-info ifname
2342 This function returns information about the network interface named
2343 @var{ifname}.  The value is a list of the form
2344 @code{(@var{addr} @var{bcast} @var{netmask} @var{hwaddr} @var{flags})}.
2346 @table @var
2347 @item addr
2348 The Internet protocol address.
2349 @item bcast
2350 The broadcast address.
2351 @item netmask
2352 The network mask.
2353 @item hwaddr
2354 The layer 2 address (Ethernet MAC address, for instance).
2355 @item flags
2356 The current flags of the interface.
2357 @end table
2358 @end defun
2360 @defun format-network-address address &optional omit-port
2361 This function converts the Lisp representation of a network address to
2362 a string.
2364 A five-element vector @code{[@var{a} @var{b} @var{c} @var{d} @var{p}]}
2365 represents an IPv4 address @var{a}.@var{b}.@var{c}.@var{d} and port
2366 number @var{p}.  @code{format-network-address} converts that to the
2367 string @code{"@var{a}.@var{b}.@var{c}.@var{d}:@var{p}"}.
2369 A nine-element vector @code{[@var{a} @var{b} @var{c} @var{d} @var{e}
2370 @var{f} @var{g} @var{h} @var{p}]} represents an IPv6 address along
2371 with a port number.  @code{format-network-address} converts that to
2372 the string
2373 @code{"[@var{a}:@var{b}:@var{c}:@var{d}:@var{e}:@var{f}:@var{g}:@var{h}]:@var{p}"}.
2375 If the vector does not include the port number, @var{p}, or if
2376 @var{omit-port} is non-@code{nil}, the result does not include the
2377 @code{:@var{p}} suffix.
2378 @end defun
2380 @node Serial Ports
2381 @section Communicating with Serial Ports
2382 @cindex @file{/dev/tty}
2383 @cindex @file{COM1}
2384 @cindex serial connections
2386   Emacs can communicate with serial ports.  For interactive use,
2387 @kbd{M-x serial-term} opens a terminal window.  In a Lisp program,
2388 @code{make-serial-process} creates a process object.
2390   The serial port can be configured at run-time, without having to
2391 close and re-open it.  The function @code{serial-process-configure}
2392 lets you change the speed, bytesize, and other parameters.  In a
2393 terminal window created by @code{serial-term}, you can click on the
2394 mode line for configuration.
2396   A serial connection is represented by a process object which can be
2397 used similar to a subprocess or network process.  You can send and
2398 receive data and configure the serial port.  A serial process object
2399 has no process ID, you can't send signals to it, and the status codes
2400 are different from other types of processes.
2401 @code{delete-process} on the process object or @code{kill-buffer} on
2402 the process buffer close the connection, but this does not affect the
2403 device connected to the serial port.
2405   The function @code{process-type} returns the symbol @code{serial}
2406 for a process object representing a serial port connection.
2408   Serial ports are available on GNU/Linux, Unix, and Windows systems.
2410 @deffn Command serial-term port speed
2411 Start a terminal-emulator for a serial port in a new buffer.
2412 @var{port} is the name of the serial port to which to connect.  For
2413 example, this could be @file{/dev/ttyS0} on Unix.  On Windows, this
2414 could be @file{COM1}, or @file{\\.\COM10} (double the backslashes in
2415 Lisp strings).
2417 @var{speed} is the speed of the serial port in bits per second.  9600
2418 is a common value.  The buffer is in Term mode; see @ref{Term Mode,,,
2419 emacs, The GNU Emacs Manual}, for the commands to use in that buffer.
2420 You can change the speed and the configuration in the mode line menu.
2421 @end deffn
2423 @defun make-serial-process &rest args
2424 This function creates a process and a buffer.  Arguments are specified
2425 as keyword/argument pairs.  Here's the list of the meaningful keywords:
2427 @table @code
2428 @item :port @var{port}@r{ (mandatory)}
2429 This is the name of the serial port.  On Unix and GNU systems, this is
2430 a file name such as @file{/dev/ttyS0}.  On Windows, this could be
2431 @file{COM1}, or @file{\\.\COM10} for ports higher than @file{COM9}
2432 (double the backslashes in Lisp strings).
2434 @item :speed @var{speed}@r{ (mandatory)}
2435 The speed of the serial port in bits per second.  This function calls
2436 @code{serial-process-configure} to handle the speed.
2438 @item :name @var{name}
2439 The name of the process.  If @var{name} is not given, @var{port} will
2440 serve as the process name as well.
2442 @item :buffer @var{buffer}
2443 The buffer to associate with the process.  The value could be either a
2444 buffer or a string that names a buffer.  Process output goes at the
2445 end of that buffer, unless you specify an output stream or filter
2446 function to handle the output.  If @var{buffer} is not given, the
2447 process buffer's name is taken from the value of the @code{:name}
2448 keyword.
2450 @item :coding @var{coding}
2451 If @var{coding} is a symbol, it specifies the coding system used for
2452 both reading and writing for this process.  If @var{coding} is a cons
2453 @code{(decoding . encoding)}, @var{decoding} is used for reading, and
2454 @var{encoding} is used for writing.  If not specified, the default is
2455 to determine the coding systems from data itself.
2457 @item :noquery @var{query-flag}
2458 Initialize the process query flag to @var{query-flag}.  @xref{Query
2459 Before Exit}.  The flags defaults to @code{nil} if unspecified.
2461 @item :stop @var{bool}
2462 Start process in the @code{stopped} state if @var{bool} is
2463 non-@code{nil}.  In the stopped state, a serial process does not
2464 accept incoming data, but you can send outgoing data.  The stopped
2465 state is cleared by @code{continue-process} and set by
2466 @code{stop-process}.
2468 @item :filter @var{filter}
2469 Install @var{filter} as the process filter.
2471 @item :sentinel @var{sentinel}
2472 Install @var{sentinel} as the process sentinel.
2474 @item :plist @var{plist}
2475 Install @var{plist} as the initial plist of the process.
2477 @item :speed
2478 @itemx :bytesize
2479 @itemx :parity
2480 @itemx :stopbits
2481 @itemx :flowcontrol
2482 These arguments are handled by @code{serial-process-configure}, which
2483 is called by @code{make-serial-process}.
2484 @end table
2486 The original argument list, possibly modified by later configuration,
2487 is available via the function @code{process-contact}.
2489 Examples:
2491 @example
2492 (make-serial-process :port "/dev/ttyS0" :speed 9600)
2494 (make-serial-process :port "COM1" :speed 115200 :stopbits 2)
2496 (make-serial-process :port "\\\\.\\COM13" :speed 1200
2497                      :bytesize 7 :parity 'odd)
2499 (make-serial-process :port "/dev/tty.BlueConsole-SPP-1"
2500                      :speed nil)
2501 @end example
2502 @end defun
2504 @defun serial-process-configure &rest args
2505 @cindex baud, in serial connections
2506 @cindex bytesize, in serial connections
2507 @cindex parity, in serial connections
2508 @cindex stopbits, in serial connections
2509 @cindex flowcontrol, in serial connections
2511 This functions configures a serial port connection.  Arguments are
2512 specified as keyword/argument pairs.  Attributes that are not given
2513 are re-initialized from the process's current configuration (available
2514 via the function @code{process-contact}) or set to reasonable default
2515 values.  The following arguments are defined:
2517 @table @code
2518 @item :process @var{process}
2519 @itemx :name @var{name}
2520 @itemx :buffer @var{buffer}
2521 @itemx :port @var{port}
2522 Any of these arguments can be given to identify the process that is to
2523 be configured.  If none of these arguments is given, the current
2524 buffer's process is used.
2526 @item :speed @var{speed}
2527 The speed of the serial port in bits per second, a.k.a.@: @dfn{baud
2528 rate}.  The value can be any number, but most serial ports work only
2529 at a few defined values between 1200 and 115200, with 9600 being the
2530 most common value.  If @var{speed} is @code{nil}, the function ignores
2531 all other arguments and does not configure the port.  This may be
2532 useful for special serial ports such as Bluetooth-to-serial converters
2533 which can only be configured through AT commands sent through the
2534 connection.  The value of @code{nil} for @var{speed} is valid only for
2535 connections that were already opened by a previous call to
2536 @code{make-serial-process} or @code{serial-term}.
2538 @item :bytesize @var{bytesize}
2539 The number of bits per byte, which can be 7 or 8.  If @var{bytesize}
2540 is not given or @code{nil}, it defaults to 8.
2542 @item :parity @var{parity}
2543 The value can be @code{nil} (don't use parity), the symbol
2544 @code{odd} (use odd parity), or the symbol @code{even} (use even
2545 parity).  If @var{parity} is not given, it defaults to no parity.
2547 @item :stopbits @var{stopbits}
2548 The number of stopbits used to terminate a transmission
2549 of each byte.  @var{stopbits} can be 1 or 2.  If @var{stopbits} is not
2550 given or @code{nil}, it defaults to 1.
2552 @item :flowcontrol @var{flowcontrol}
2553 The type of flow control to use for this connection, which is either
2554 @code{nil} (don't use flow control), the symbol @code{hw} (use RTS/CTS
2555 hardware flow control), or the symbol @code{sw} (use XON/XOFF software
2556 flow control).  If @var{flowcontrol} is not given, it defaults to no
2557 flow control.
2558 @end table
2560 @code{serial-process-configure} is called by @code{make-serial-process} for the
2561 initial configuration of the serial port.
2563 Examples:
2565 @example
2566 (serial-process-configure :process "/dev/ttyS0" :speed 1200)
2568 (serial-process-configure :buffer "COM1" :stopbits 1
2569                           :parity 'odd :flowcontrol 'hw)
2571 (serial-process-configure :port "\\\\.\\COM13" :bytesize 7)
2572 @end example
2573 @end defun
2575 @node Byte Packing
2576 @section Packing and Unpacking Byte Arrays
2577 @cindex byte packing and unpacking
2579   This section describes how to pack and unpack arrays of bytes,
2580 usually for binary network protocols.  These functions convert byte arrays
2581 to alists, and vice versa.  The byte array can be represented as a
2582 unibyte string or as a vector of integers, while the alist associates
2583 symbols either with fixed-size objects or with recursive sub-alists.
2585 @cindex serializing
2586 @cindex deserializing
2587 @cindex packing
2588 @cindex unpacking
2589   Conversion from byte arrays to nested alists is also known as
2590 @dfn{deserializing} or @dfn{unpacking}, while going in the opposite
2591 direction is also known as @dfn{serializing} or @dfn{packing}.
2593 @menu
2594 * Bindat Spec::         Describing data layout.
2595 * Bindat Functions::    Doing the unpacking and packing.
2596 * Bindat Examples::     Samples of what bindat.el can do for you!
2597 @end menu
2599 @node Bindat Spec
2600 @subsection Describing Data Layout
2602   To control unpacking and packing, you write a @dfn{data layout
2603 specification}, a special nested list describing named and typed
2604 @dfn{fields}.  This specification controls length of each field to be
2605 processed, and how to pack or unpack it.  We normally keep bindat specs
2606 in variables whose names end in @samp{-bindat-spec}; that kind of name
2607 is automatically recognized as ``risky.''
2609 @cindex endianness
2610 @cindex big endian
2611 @cindex little endian
2612 @cindex network byte ordering
2613   A field's @dfn{type} describes the size (in bytes) of the object
2614 that the field represents and, in the case of multibyte fields, how
2615 the bytes are ordered within the field.  The two possible orderings
2616 are ``big endian'' (also known as ``network byte ordering'') and
2617 ``little endian.''  For instance, the number @code{#x23cd} (decimal
2618 9165) in big endian would be the two bytes @code{#x23} @code{#xcd};
2619 and in little endian, @code{#xcd} @code{#x23}.  Here are the possible
2620 type values:
2622 @table @code
2623 @item u8
2624 @itemx byte
2625 Unsigned byte, with length 1.
2627 @item u16
2628 @itemx word
2629 @itemx short
2630 Unsigned integer in network byte order, with length 2.
2632 @item u24
2633 Unsigned integer in network byte order, with length 3.
2635 @item u32
2636 @itemx dword
2637 @itemx long
2638 Unsigned integer in network byte order, with length 4.
2639 Note: These values may be limited by Emacs' integer implementation limits.
2641 @item u16r
2642 @itemx u24r
2643 @itemx u32r
2644 Unsigned integer in little endian order, with length 2, 3 and 4, respectively.
2646 @item str @var{len}
2647 String of length @var{len}.
2649 @item strz @var{len}
2650 Zero-terminated string, in a fixed-size field with length @var{len}.
2652 @item vec @var{len} [@var{type}]
2653 Vector of @var{len} elements of type @var{type}, or bytes if not
2654 @var{type} is specified.
2655 The @var{type} is any of the simple types above, or another vector
2656 specified as a list @code{(vec @var{len} [@var{type}])}.
2658 @item ip
2659 Four-byte vector representing an Internet address.  For example:
2660 @code{[127 0 0 1]} for localhost.
2662 @item bits @var{len}
2663 List of set bits in @var{len} bytes.  The bytes are taken in big
2664 endian order and the bits are numbered starting with @code{8 *
2665 @var{len} @minus{} 1} and ending with zero.  For example: @code{bits
2666 2} unpacks @code{#x28} @code{#x1c} to @code{(2 3 4 11 13)} and
2667 @code{#x1c} @code{#x28} to @code{(3 5 10 11 12)}.
2669 @item (eval @var{form})
2670 @var{form} is a Lisp expression evaluated at the moment the field is
2671 unpacked or packed.  The result of the evaluation should be one of the
2672 above-listed type specifications.
2673 @end table
2675 For a fixed-size field, the length @var{len} is given as an integer
2676 specifying the number of bytes in the field.
2678 When the length of a field is not fixed, it typically depends on the
2679 value of a preceding field.  In this case, the length @var{len} can be
2680 given either as a list @code{(@var{name} ...)} identifying a
2681 @dfn{field name} in the format specified for @code{bindat-get-field}
2682 below, or by an expression @code{(eval @var{form})} where @var{form}
2683 should evaluate to an integer, specifying the field length.
2685 A field specification generally has the form @code{([@var{name}]
2686 @var{handler})}.  The square braces indicate that @var{name} is
2687 optional.  (Don't use names that are symbols meaningful as type
2688 specifications (above) or handler specifications (below), since that
2689 would be ambiguous.)  @var{name} can be a symbol or the expression
2690 @code{(eval @var{form})}, in which case @var{form} should evaluate to
2691 a symbol.
2693 @var{handler} describes how to unpack or pack the field and can be one
2694 of the following:
2696 @table @code
2697 @item @var{type}
2698 Unpack/pack this field according to the type specification @var{type}.
2700 @item eval @var{form}
2701 Evaluate @var{form}, a Lisp expression, for side-effect only.  If the
2702 field name is specified, the value is bound to that field name.
2704 @item fill @var{len}
2705 Skip @var{len} bytes.  In packing, this leaves them unchanged,
2706 which normally means they remain zero.  In unpacking, this means
2707 they are ignored.
2709 @item align @var{len}
2710 Skip to the next multiple of @var{len} bytes.
2712 @item struct @var{spec-name}
2713 Process @var{spec-name} as a sub-specification.  This describes a
2714 structure nested within another structure.
2716 @item union @var{form} (@var{tag} @var{spec})@dots{}
2717 @c ??? I don't see how one would actually  use this.
2718 @c ??? what kind of expression would be useful for @var{form}?
2719 Evaluate @var{form}, a Lisp expression, find the first @var{tag}
2720 that matches it, and process its associated data layout specification
2721 @var{spec}.  Matching can occur in one of three ways:
2723 @itemize
2724 @item
2725 If a @var{tag} has the form @code{(eval @var{expr})}, evaluate
2726 @var{expr} with the variable @code{tag} dynamically bound to the value
2727 of @var{form}.  A non-@code{nil} result indicates a match.
2729 @item
2730 @var{tag} matches if it is @code{equal} to the value of @var{form}.
2732 @item
2733 @var{tag} matches unconditionally if it is @code{t}.
2734 @end itemize
2736 @item repeat @var{count} @var{field-specs}@dots{}
2737 Process the @var{field-specs} recursively, in order, then repeat
2738 starting from the first one, processing all the specs @var{count}
2739 times overall.  The @var{count} is given using the same formats as a
2740 field length---if an @code{eval} form is used, it is evaluated just once.
2741 For correct operation, each spec in @var{field-specs} must include a name.
2742 @end table
2744 For the @code{(eval @var{form})} forms used in a bindat specification,
2745 the @var{form} can access and update these dynamically bound variables
2746 during evaluation:
2748 @table @code
2749 @item last
2750 Value of the last field processed.
2752 @item bindat-raw
2753 The data as a byte array.
2755 @item bindat-idx
2756 Current index (within @code{bindat-raw}) for unpacking or packing.
2758 @item struct
2759 The alist containing the structured data that have been unpacked so
2760 far, or the entire structure being packed.  You can use
2761 @code{bindat-get-field} to access specific fields of this structure.
2763 @item count
2764 @itemx index
2765 Inside a @code{repeat} block, these contain the maximum number of
2766 repetitions (as specified by the @var{count} parameter), and the
2767 current repetition number (counting from 0).  Setting @code{count} to
2768 zero will terminate the inner-most repeat block after the current
2769 repetition has completed.
2770 @end table
2772 @node Bindat Functions
2773 @subsection Functions to Unpack and Pack Bytes
2775   In the following documentation, @var{spec} refers to a data layout
2776 specification, @code{bindat-raw} to a byte array, and @var{struct} to an
2777 alist representing unpacked field data.
2779 @defun bindat-unpack spec bindat-raw &optional bindat-idx
2780 This function unpacks data from the unibyte string or byte
2781 array @code{bindat-raw}
2782 according to @var{spec}.  Normally this starts unpacking at the
2783 beginning of the byte array, but if @var{bindat-idx} is non-@code{nil}, it
2784 specifies a zero-based starting position to use instead.
2786 The value is an alist or nested alist in which each element describes
2787 one unpacked field.
2788 @end defun
2790 @defun bindat-get-field struct &rest name
2791 This function selects a field's data from the nested alist
2792 @var{struct}.  Usually @var{struct} was returned by
2793 @code{bindat-unpack}.  If @var{name} corresponds to just one argument,
2794 that means to extract a top-level field value.  Multiple @var{name}
2795 arguments specify repeated lookup of sub-structures.  An integer name
2796 acts as an array index.
2798 For example, if @var{name} is @code{(a b 2 c)}, that means to find
2799 field @code{c} in the third element of subfield @code{b} of field
2800 @code{a}.  (This corresponds to @code{struct.a.b[2].c} in C.)
2801 @end defun
2803   Although packing and unpacking operations change the organization of
2804 data (in memory), they preserve the data's @dfn{total length}, which is
2805 the sum of all the fields' lengths, in bytes.  This value is not
2806 generally inherent in either the specification or alist alone; instead,
2807 both pieces of information contribute to its calculation.  Likewise, the
2808 length of a string or array being unpacked may be longer than the data's
2809 total length as described by the specification.
2811 @defun bindat-length spec struct
2812 This function returns the total length of the data in @var{struct},
2813 according to @var{spec}.
2814 @end defun
2816 @defun bindat-pack spec struct &optional bindat-raw bindat-idx
2817 This function returns a byte array packed according to @var{spec} from
2818 the data in the alist @var{struct}.  Normally it creates and fills a
2819 new byte array starting at the beginning.  However, if @var{bindat-raw}
2820 is non-@code{nil}, it specifies a pre-allocated unibyte string or vector to
2821 pack into.  If @var{bindat-idx} is non-@code{nil}, it specifies the starting
2822 offset for packing into @code{bindat-raw}.
2824 When pre-allocating, you should make sure @code{(length @var{bindat-raw})}
2825 meets or exceeds the total length to avoid an out-of-range error.
2826 @end defun
2828 @defun bindat-ip-to-string ip
2829 Convert the Internet address vector @var{ip} to a string in the usual
2830 dotted notation.
2832 @example
2833 (bindat-ip-to-string [127 0 0 1])
2834      @result{} "127.0.0.1"
2835 @end example
2836 @end defun
2838 @node Bindat Examples
2839 @subsection Examples of Byte Unpacking and Packing
2841   Here is a complete example of byte unpacking and packing:
2843 @lisp
2844 (defvar fcookie-index-spec
2845   '((:version  u32)
2846     (:count    u32)
2847     (:longest  u32)
2848     (:shortest u32)
2849     (:flags    u32)
2850     (:delim    u8)
2851     (:ignored  fill 3)
2852     (:offset   repeat (:count)
2853                (:foo u32)))
2854   "Description of a fortune cookie index file's contents.")
2856 (defun fcookie (cookies &optional index)
2857   "Display a random fortune cookie from file COOKIES.
2858 Optional second arg INDEX specifies the associated index
2859 filename, which is by default constructed by appending
2860 \".dat\" to COOKIES.  Display cookie text in possibly
2861 new buffer \"*Fortune Cookie: BASENAME*\" where BASENAME
2862 is COOKIES without the directory part."
2863   (interactive "fCookies file: ")
2864   (let* ((info (with-temp-buffer
2865                  (insert-file-contents-literally
2866                   (or index (concat cookies ".dat")))
2867                  (bindat-unpack fcookie-index-spec
2868                                 (buffer-string))))
2869          (sel (random (bindat-get-field info :count)))
2870          (beg (cdar (bindat-get-field info :offset sel)))
2871          (end (or (cdar (bindat-get-field info
2872                                           :offset (1+ sel)))
2873                   (nth 7 (file-attributes cookies)))))
2874     (switch-to-buffer
2875      (get-buffer-create
2876       (format "*Fortune Cookie: %s*"
2877               (file-name-nondirectory cookies))))
2878     (erase-buffer)
2879     (insert-file-contents-literally
2880      cookies nil beg (- end 3))))
2882 (defun fcookie-create-index (cookies &optional index delim)
2883   "Scan file COOKIES, and write out its index file.
2884 Optional second arg INDEX specifies the index filename,
2885 which is by default constructed by appending \".dat\" to
2886 COOKIES.  Optional third arg DELIM specifies the unibyte
2887 character which, when found on a line of its own in
2888 COOKIES, indicates the border between entries."
2889   (interactive "fCookies file: ")
2890   (setq delim (or delim ?%))
2891   (let ((delim-line (format "\n%c\n" delim))
2892         (count 0)
2893         (max 0)
2894         min p q len offsets)
2895     (unless (= 3 (string-bytes delim-line))
2896       (error "Delimiter cannot be represented in one byte"))
2897     (with-temp-buffer
2898       (insert-file-contents-literally cookies)
2899       (while (and (setq p (point))
2900                   (search-forward delim-line (point-max) t)
2901                   (setq len (- (point) 3 p)))
2902         (setq count (1+ count)
2903               max (max max len)
2904               min (min (or min max) len)
2905               offsets (cons (1- p) offsets))))
2906     (with-temp-buffer
2907       (set-buffer-multibyte nil)
2908       (insert
2909        (bindat-pack
2910         fcookie-index-spec
2911         `((:version . 2)
2912           (:count . ,count)
2913           (:longest . ,max)
2914           (:shortest . ,min)
2915           (:flags . 0)
2916           (:delim . ,delim)
2917           (:offset . ,(mapcar (lambda (o)
2918                                 (list (cons :foo o)))
2919                               (nreverse offsets))))))
2920       (let ((coding-system-for-write 'raw-text-unix))
2921         (write-file (or index (concat cookies ".dat")))))))
2922 @end lisp
2924 Following is an example of defining and unpacking a complex structure.
2925 Consider the following C structures:
2927 @example
2928 struct header @{
2929     unsigned long    dest_ip;
2930     unsigned long    src_ip;
2931     unsigned short   dest_port;
2932     unsigned short   src_port;
2935 struct data @{
2936     unsigned char    type;
2937     unsigned char    opcode;
2938     unsigned short   length;  /* In network byte order */
2939     unsigned char    id[8];   /* null-terminated string  */
2940     unsigned char    data[/* (length + 3) & ~3 */];
2943 struct packet @{
2944     struct header    header;
2945     unsigned long    counters[2];  /* In little endian order */
2946     unsigned char    items;
2947     unsigned char    filler[3];
2948     struct data      item[/* items */];
2951 @end example
2953 The corresponding data layout specification:
2955 @lisp
2956 (setq header-spec
2957       '((dest-ip   ip)
2958         (src-ip    ip)
2959         (dest-port u16)
2960         (src-port  u16)))
2962 (setq data-spec
2963       '((type      u8)
2964         (opcode    u8)
2965         (length    u16)  ;; network byte order
2966         (id        strz 8)
2967         (data      vec (length))
2968         (align     4)))
2970 (setq packet-spec
2971       '((header    struct header-spec)
2972         (counters  vec 2 u32r)   ;; little endian order
2973         (items     u8)
2974         (fill      3)
2975         (item      repeat (items)
2976                    (struct data-spec))))
2977 @end lisp
2979 A binary data representation:
2981 @lisp
2982 (setq binary-data
2983       [ 192 168 1 100 192 168 1 101 01 28 21 32
2984         160 134 1 0 5 1 0 0 2 0 0 0
2985         2 3 0 5 ?A ?B ?C ?D ?E ?F 0 0 1 2 3 4 5 0 0 0
2986         1 4 0 7 ?B ?C ?D ?E ?F ?G 0 0 6 7 8 9 10 11 12 0 ])
2987 @end lisp
2989 The corresponding decoded structure:
2991 @lisp
2992 (setq decoded (bindat-unpack packet-spec binary-data))
2993      @result{}
2994 ((header
2995   (dest-ip   . [192 168 1 100])
2996   (src-ip    . [192 168 1 101])
2997   (dest-port . 284)
2998   (src-port  . 5408))
2999  (counters . [100000 261])
3000  (items . 2)
3001  (item ((data . [1 2 3 4 5])
3002         (id . "ABCDEF")
3003         (length . 5)
3004         (opcode . 3)
3005         (type . 2))
3006        ((data . [6 7 8 9 10 11 12])
3007         (id . "BCDEFG")
3008         (length . 7)
3009         (opcode . 4)
3010         (type . 1))))
3011 @end lisp
3013 Fetching data from this structure:
3015 @lisp
3016 (bindat-get-field decoded 'item 1 'id)
3017      @result{} "BCDEFG"
3018 @end lisp