(Serial Ports): Fix wording and improve markup.
[emacs.git] / doc / lispref / processes.texi
blob0ae10fac8317e1b537067d3dd32bb2448307411c
1 @c -*-texinfo-*-
2 @c This is part of the GNU Emacs Lisp Reference Manual.
3 @c Copyright (C) 1990, 1991, 1992, 1993, 1994, 1995, 1998, 1999, 2001,
4 @c   2002, 2003, 2004, 2005, 2006, 2007, 2008  Free Software Foundation, Inc.
5 @c See the file elisp.texi for copying conditions.
6 @setfilename ../../info/processes
7 @node Processes, Display, Abbrevs, Top
8 @chapter Processes
9 @cindex child process
10 @cindex parent process
11 @cindex subprocess
12 @cindex process
14   In the terminology of operating systems, a @dfn{process} is a space in
15 which a program can execute.  Emacs runs in a process.  Emacs Lisp
16 programs can invoke other programs in processes of their own.  These are
17 called @dfn{subprocesses} or @dfn{child processes} of the Emacs process,
18 which is their @dfn{parent process}.
20   A subprocess of Emacs may be @dfn{synchronous} or @dfn{asynchronous},
21 depending on how it is created.  When you create a synchronous
22 subprocess, the Lisp program waits for the subprocess to terminate
23 before continuing execution.  When you create an asynchronous
24 subprocess, it can run in parallel with the Lisp program.  This kind of
25 subprocess is represented within Emacs by a Lisp object which is also
26 called a ``process.''  Lisp programs can use this object to communicate
27 with the subprocess or to control it.  For example, you can send
28 signals, obtain status information, receive output from the process, or
29 send input to it.
31 @defun processp object
32 This function returns @code{t} if @var{object} represents an Emacs
33 subprocess, @code{nil} otherwise.
34 @end defun
36   In addition to subprocesses of the current Emacs session, you can
37 also access other processes running on your machine.  @xref{System
38 Processes}.
40 @menu
41 * Subprocess Creation::      Functions that start subprocesses.
42 * Shell Arguments::          Quoting an argument to pass it to a shell.
43 * Synchronous Processes::    Details of using synchronous subprocesses.
44 * Asynchronous Processes::   Starting up an asynchronous subprocess.
45 * Deleting Processes::       Eliminating an asynchronous subprocess.
46 * Process Information::      Accessing run-status and other attributes.
47 * Input to Processes::       Sending input to an asynchronous subprocess.
48 * Signals to Processes::     Stopping, continuing or interrupting
49                                an asynchronous subprocess.
50 * Output from Processes::    Collecting output from an asynchronous subprocess.
51 * Sentinels::                Sentinels run when process run-status changes.
52 * Query Before Exit::        Whether to query if exiting will kill a process.
53 * System Processes::         Accessing other processes running on your system.
54 * Transaction Queues::       Transaction-based communication with subprocesses.
55 * Network::                  Opening network connections.
56 * Network Servers::          Network servers let Emacs accept net connections.
57 * Datagrams::                UDP network connections.
58 * Low-Level Network::        Lower-level but more general function
59                                to create connections and servers.
60 * Misc Network::             Additional relevant functions for network connections.
61 * Serial Ports::             Communicating with serial ports.
62 * Byte Packing::             Using bindat to pack and unpack binary data.
63 @end menu
65 @node Subprocess Creation
66 @section Functions that Create Subprocesses
68   There are three primitives that create a new subprocess in which to run
69 a program.  One of them, @code{start-process}, creates an asynchronous
70 process and returns a process object (@pxref{Asynchronous Processes}).
71 The other two, @code{call-process} and @code{call-process-region},
72 create a synchronous process and do not return a process object
73 (@pxref{Synchronous Processes}).
75   Synchronous and asynchronous processes are explained in the following
76 sections.  Since the three functions are all called in a similar
77 fashion, their common arguments are described here.
79 @cindex execute program
80 @cindex @code{PATH} environment variable
81 @cindex @code{HOME} environment variable
82   In all cases, the function's @var{program} argument specifies the
83 program to be run.  An error is signaled if the file is not found or
84 cannot be executed.  If the file name is relative, the variable
85 @code{exec-path} contains a list of directories to search.  Emacs
86 initializes @code{exec-path} when it starts up, based on the value of
87 the environment variable @code{PATH}.  The standard file name
88 constructs, @samp{~}, @samp{.}, and @samp{..}, are interpreted as
89 usual in @code{exec-path}, but environment variable substitutions
90 (@samp{$HOME}, etc.) are not recognized; use
91 @code{substitute-in-file-name} to perform them (@pxref{File Name
92 Expansion}).  @code{nil} in this list refers to
93 @code{default-directory}.
95   Executing a program can also try adding suffixes to the specified
96 name:
98 @defvar exec-suffixes
99 This variable is a list of suffixes (strings) to try adding to the
100 specified program file name.  The list should include @code{""} if you
101 want the name to be tried exactly as specified.  The default value is
102 system-dependent.
103 @end defvar
105   @strong{Please note:} The argument @var{program} contains only the
106 name of the program; it may not contain any command-line arguments.  You
107 must use @var{args} to provide those.
109   Each of the subprocess-creating functions has a @var{buffer-or-name}
110 argument which specifies where the standard output from the program will
111 go.  It should be a buffer or a buffer name; if it is a buffer name,
112 that will create the buffer if it does not already exist.  It can also
113 be @code{nil}, which says to discard the output unless a filter function
114 handles it.  (@xref{Filter Functions}, and @ref{Read and Print}.)
115 Normally, you should avoid having multiple processes send output to the
116 same buffer because their output would be intermixed randomly.
118 @cindex program arguments
119   All three of the subprocess-creating functions have a @code{&rest}
120 argument, @var{args}.  The @var{args} must all be strings, and they are
121 supplied to @var{program} as separate command line arguments.  Wildcard
122 characters and other shell constructs have no special meanings in these
123 strings, since the strings are passed directly to the specified program.
125   The subprocess gets its current directory from the value of
126 @code{default-directory} (@pxref{File Name Expansion}).
128 @cindex environment variables, subprocesses
129   The subprocess inherits its environment from Emacs, but you can
130 specify overrides for it with @code{process-environment}.  @xref{System
131 Environment}.
133 @defvar exec-directory
134 @pindex movemail
135 The value of this variable is a string, the name of a directory that
136 contains programs that come with GNU Emacs, programs intended for Emacs
137 to invoke.  The program @code{movemail} is an example of such a program;
138 Rmail uses it to fetch new mail from an inbox.
139 @end defvar
141 @defopt exec-path
142 The value of this variable is a list of directories to search for
143 programs to run in subprocesses.  Each element is either the name of a
144 directory (i.e., a string), or @code{nil}, which stands for the default
145 directory (which is the value of @code{default-directory}).
146 @cindex program directories
148 The value of @code{exec-path} is used by @code{call-process} and
149 @code{start-process} when the @var{program} argument is not an absolute
150 file name.
151 @end defopt
153 @node Shell Arguments
154 @section Shell Arguments
155 @cindex arguments for shell commands
156 @cindex shell command arguments
158   Lisp programs sometimes need to run a shell and give it a command
159 that contains file names that were specified by the user.  These
160 programs ought to be able to support any valid file name.  But the shell
161 gives special treatment to certain characters, and if these characters
162 occur in the file name, they will confuse the shell.  To handle these
163 characters, use the function @code{shell-quote-argument}:
165 @defun shell-quote-argument argument
166 This function returns a string which represents, in shell syntax,
167 an argument whose actual contents are @var{argument}.  It should
168 work reliably to concatenate the return value into a shell command
169 and then pass it to a shell for execution.
171 Precisely what this function does depends on your operating system.  The
172 function is designed to work with the syntax of your system's standard
173 shell; if you use an unusual shell, you will need to redefine this
174 function.
176 @example
177 ;; @r{This example shows the behavior on GNU and Unix systems.}
178 (shell-quote-argument "foo > bar")
179      @result{} "foo\\ \\>\\ bar"
181 ;; @r{This example shows the behavior on MS-DOS and MS-Windows.}
182 (shell-quote-argument "foo > bar")
183      @result{} "\"foo > bar\""
184 @end example
186 Here's an example of using @code{shell-quote-argument} to construct
187 a shell command:
189 @example
190 (concat "diff -c "
191         (shell-quote-argument oldfile)
192         " "
193         (shell-quote-argument newfile))
194 @end example
195 @end defun
197 @cindex quoting and unquoting shell command line
198   The following two functions help creating shell commands from
199 individual argument strings and taking shell command lines apart into
200 individual arguments.
202 @defun split-string-and-unquote string &optional separators
203 This function splits @var{string} into substrings at matches for the
204 regular expression @var{separators}, like @code{split-string} does
205 (@pxref{Creating Strings}), but it additionally removes quoting from
206 the substrings.  It then makes a list of the substrings and returns
209 If @var{separators} is omitted or nil, it defaults to @code{"\\s-+"},
210 which is a regular expression that matches one or more characters with
211 whitespace syntax (@pxref{Syntax Class Table}).
213 The quoting this function supports is of 2 styles: by enclosing a
214 whole string in double quotes @code{"@dots{}"}, or by quoting
215 individual characters with a backslash escape @samp{\}.  The latter is
216 also used in Lisp strings, so this function can handle those as well.
217 @end defun
219 @defun combine-and-quote-strings list-of-strings &optional separator
220 This function concatenates @var{list-of-strings} into a single string,
221 quoting each string in the list that needs quoting as it goes.  It
222 also sticks the @var{separator} string in between each pair of strings
223 in the result, and returns that result.  If @var{separator} is omitted
224 or @code{nil}, it defaults to a blank @code{" "}.
226 The strings in @var{list-of-strings} that need quoting are those that
227 include @var{separator} as their substring.  Quoting a string encloses
228 it in double quotes @code{"@dots{}"}.  In the simplest case, if you
229 are consing a shell command from the individual command-line
230 arguments, every argument that includes embedded blanks will be
231 quoted.
232 @end defun
234 @node Synchronous Processes
235 @section Creating a Synchronous Process
236 @cindex synchronous subprocess
238   After a @dfn{synchronous process} is created, Emacs waits for the
239 process to terminate before continuing.  Starting Dired on GNU or
240 Unix@footnote{On other systems, Emacs uses a Lisp emulation of
241 @code{ls}; see @ref{Contents of Directories}.} is an example of this: it
242 runs @code{ls} in a synchronous process, then modifies the output
243 slightly.  Because the process is synchronous, the entire directory
244 listing arrives in the buffer before Emacs tries to do anything with it.
246   While Emacs waits for the synchronous subprocess to terminate, the
247 user can quit by typing @kbd{C-g}.  The first @kbd{C-g} tries to kill
248 the subprocess with a @code{SIGINT} signal; but it waits until the
249 subprocess actually terminates before quitting.  If during that time the
250 user types another @kbd{C-g}, that kills the subprocess instantly with
251 @code{SIGKILL} and quits immediately (except on MS-DOS, where killing
252 other processes doesn't work).  @xref{Quitting}.
254   The synchronous subprocess functions return an indication of how the
255 process terminated.
257   The output from a synchronous subprocess is generally decoded using a
258 coding system, much like text read from a file.  The input sent to a
259 subprocess by @code{call-process-region} is encoded using a coding
260 system, much like text written into a file.  @xref{Coding Systems}.
262 @defun call-process program &optional infile destination display &rest args
263 This function calls @var{program} in a separate process and waits for
264 it to finish.
266 The standard input for the process comes from file @var{infile} if
267 @var{infile} is not @code{nil}, and from the null device otherwise.
268 The argument @var{destination} says where to put the process output.
269 Here are the possibilities:
271 @table @asis
272 @item a buffer
273 Insert the output in that buffer, before point.  This includes both the
274 standard output stream and the standard error stream of the process.
276 @item a string
277 Insert the output in a buffer with that name, before point.
279 @item @code{t}
280 Insert the output in the current buffer, before point.
282 @item @code{nil}
283 Discard the output.
285 @item 0
286 Discard the output, and return @code{nil} immediately without waiting
287 for the subprocess to finish.
289 In this case, the process is not truly synchronous, since it can run in
290 parallel with Emacs; but you can think of it as synchronous in that
291 Emacs is essentially finished with the subprocess as soon as this
292 function returns.
294 MS-DOS doesn't support asynchronous subprocesses, so this option doesn't
295 work there.
297 @item @code{(@var{real-destination} @var{error-destination})}
298 Keep the standard output stream separate from the standard error stream;
299 deal with the ordinary output as specified by @var{real-destination},
300 and dispose of the error output according to @var{error-destination}.
301 If @var{error-destination} is @code{nil}, that means to discard the
302 error output, @code{t} means mix it with the ordinary output, and a
303 string specifies a file name to redirect error output into.
305 You can't directly specify a buffer to put the error output in; that is
306 too difficult to implement.  But you can achieve this result by sending
307 the error output to a temporary file and then inserting the file into a
308 buffer.
309 @end table
311 If @var{display} is non-@code{nil}, then @code{call-process} redisplays
312 the buffer as output is inserted.  (However, if the coding system chosen
313 for decoding output is @code{undecided}, meaning deduce the encoding
314 from the actual data, then redisplay sometimes cannot continue once
315 non-@acronym{ASCII} characters are encountered.  There are fundamental
316 reasons why it is hard to fix this; see @ref{Output from Processes}.)
318 Otherwise the function @code{call-process} does no redisplay, and the
319 results become visible on the screen only when Emacs redisplays that
320 buffer in the normal course of events.
322 The remaining arguments, @var{args}, are strings that specify command
323 line arguments for the program.
325 The value returned by @code{call-process} (unless you told it not to
326 wait) indicates the reason for process termination.  A number gives the
327 exit status of the subprocess; 0 means success, and any other value
328 means failure.  If the process terminated with a signal,
329 @code{call-process} returns a string describing the signal.
331 In the examples below, the buffer @samp{foo} is current.
333 @smallexample
334 @group
335 (call-process "pwd" nil t)
336      @result{} 0
338 ---------- Buffer: foo ----------
339 /usr/user/lewis/manual
340 ---------- Buffer: foo ----------
341 @end group
343 @group
344 (call-process "grep" nil "bar" nil "lewis" "/etc/passwd")
345      @result{} 0
347 ---------- Buffer: bar ----------
348 lewis:5LTsHm66CSWKg:398:21:Bil Lewis:/user/lewis:/bin/csh
350 ---------- Buffer: bar ----------
351 @end group
352 @end smallexample
354 Here is a good example of the use of @code{call-process}, which used to
355 be found in the definition of @code{insert-directory}:
357 @smallexample
358 @group
359 (call-process insert-directory-program nil t nil @var{switches}
360               (if full-directory-p
361                   (concat (file-name-as-directory file) ".")
362                 file))
363 @end group
364 @end smallexample
365 @end defun
367 @defun process-file program &optional infile buffer display &rest args
368 This function processes files synchronously in a separate process.  It
369 is similar to @code{call-process} but may invoke a file handler based
370 on the value of the variable @code{default-directory}.  The current
371 working directory of the subprocess is @code{default-directory}.
373 The arguments are handled in almost the same way as for
374 @code{call-process}, with the following differences:
376 Some file handlers may not support all combinations and forms of the
377 arguments @var{infile}, @var{buffer}, and @var{display}.  For example,
378 some file handlers might behave as if @var{display} were @code{nil},
379 regardless of the value actually passed.  As another example, some
380 file handlers might not support separating standard output and error
381 output by way of the @var{buffer} argument.
383 If a file handler is invoked, it determines the program to run based
384 on the first argument @var{program}.  For instance, consider that a
385 handler for remote files is invoked.  Then the path that is used for
386 searching the program might be different than @code{exec-path}.
388 The second argument @var{infile} may invoke a file handler.  The file
389 handler could be different from the handler chosen for the
390 @code{process-file} function itself.  (For example,
391 @code{default-directory} could be on a remote host, whereas
392 @var{infile} is on another remote host.  Or @code{default-directory}
393 could be non-special, whereas @var{infile} is on a remote host.)
395 If @var{buffer} is a list of the form @code{(@var{real-destination}
396 @var{error-destination})}, and @var{error-destination} names a file,
397 then the same remarks as for @var{infile} apply.
399 The remaining arguments (@var{args}) will be passed to the process
400 verbatim.  Emacs is not involved in processing file names that are
401 present in @var{args}.  To avoid confusion, it may be best to avoid
402 absolute file names in @var{args}, but rather to specify all file
403 names as relative to @code{default-directory}.  The function
404 @code{file-relative-name} is useful for constructing such relative
405 file names.
406 @end defun
408 @defun call-process-region start end program &optional delete destination display &rest args
409 This function sends the text from @var{start} to @var{end} as
410 standard input to a process running @var{program}.  It deletes the text
411 sent if @var{delete} is non-@code{nil}; this is useful when
412 @var{destination} is @code{t}, to insert the output in the current
413 buffer in place of the input.
415 The arguments @var{destination} and @var{display} control what to do
416 with the output from the subprocess, and whether to update the display
417 as it comes in.  For details, see the description of
418 @code{call-process}, above.  If @var{destination} is the integer 0,
419 @code{call-process-region} discards the output and returns @code{nil}
420 immediately, without waiting for the subprocess to finish (this only
421 works if asynchronous subprocesses are supported).
423 The remaining arguments, @var{args}, are strings that specify command
424 line arguments for the program.
426 The return value of @code{call-process-region} is just like that of
427 @code{call-process}: @code{nil} if you told it to return without
428 waiting; otherwise, a number or string which indicates how the
429 subprocess terminated.
431 In the following example, we use @code{call-process-region} to run the
432 @code{cat} utility, with standard input being the first five characters
433 in buffer @samp{foo} (the word @samp{input}).  @code{cat} copies its
434 standard input into its standard output.  Since the argument
435 @var{destination} is @code{t}, this output is inserted in the current
436 buffer.
438 @smallexample
439 @group
440 ---------- Buffer: foo ----------
441 input@point{}
442 ---------- Buffer: foo ----------
443 @end group
445 @group
446 (call-process-region 1 6 "cat" nil t)
447      @result{} 0
449 ---------- Buffer: foo ----------
450 inputinput@point{}
451 ---------- Buffer: foo ----------
452 @end group
453 @end smallexample
455   The @code{shell-command-on-region} command uses
456 @code{call-process-region} like this:
458 @smallexample
459 @group
460 (call-process-region
461  start end
462  shell-file-name      ; @r{Name of program.}
463  nil                  ; @r{Do not delete region.}
464  buffer               ; @r{Send output to @code{buffer}.}
465  nil                  ; @r{No redisplay during output.}
466  "-c" command)        ; @r{Arguments for the shell.}
467 @end group
468 @end smallexample
469 @end defun
471 @defun call-process-shell-command command &optional infile destination display &rest args
472 This function executes the shell command @var{command} synchronously
473 in a separate process.  The final arguments @var{args} are additional
474 arguments to add at the end of @var{command}.  The other arguments
475 are handled as in @code{call-process}.
476 @end defun
478 @defun process-file-shell-command command &optional infile destination display &rest args
479 This function is like @code{call-process-shell-command}, but uses
480 @code{process-file} internally.  Depending on @code{default-directory},
481 @var{command} can be executed also on remote hosts.
482 @end defun
484 @defun shell-command-to-string command
485 This function executes @var{command} (a string) as a shell command,
486 then returns the command's output as a string.
487 @end defun
489 @defun process-lines program &rest args
490 This function runs @var{program} in a separate process, waits for it
491 to finish, and returns its output as a list of strings.  Each string
492 in the list holds a single line of text output by the program; the
493 end-of-line characters are stripped from each line.  The arguments
494 beyond @var{program}, @var{args}, are strings that specify
495 command-line arguments with which to run the program.
497 If @var{program} exits with a non-zero exit status, this function
498 signals an error.
500 This function works by calling @code{call-process}, so program output
501 is decoded in the same way as for @code{call-process}.
502 @end defun
504 @node Asynchronous Processes
505 @section Creating an Asynchronous Process
506 @cindex asynchronous subprocess
508   After an @dfn{asynchronous process} is created, Emacs and the subprocess
509 both continue running immediately.  The process thereafter runs
510 in parallel with Emacs, and the two can communicate with each other
511 using the functions described in the following sections.  However,
512 communication is only partially asynchronous: Emacs sends data to the
513 process only when certain functions are called, and Emacs accepts data
514 from the process only when Emacs is waiting for input or for a time
515 delay.
517   Here we describe how to create an asynchronous process.
519 @defun start-process name buffer-or-name program &rest args
520 This function creates a new asynchronous subprocess and starts the
521 program @var{program} running in it.  It returns a process object that
522 stands for the new subprocess in Lisp.  The argument @var{name}
523 specifies the name for the process object; if a process with this name
524 already exists, then @var{name} is modified (by appending @samp{<1>},
525 etc.) to be unique.  The buffer @var{buffer-or-name} is the buffer to
526 associate with the process.
528 The remaining arguments, @var{args}, are strings that specify command
529 line arguments for the program.
531 In the example below, the first process is started and runs (rather,
532 sleeps) for 100 seconds.  Meanwhile, the second process is started, and
533 given the name @samp{my-process<1>} for the sake of uniqueness.  It
534 inserts the directory listing at the end of the buffer @samp{foo},
535 before the first process finishes.  Then it finishes, and a message to
536 that effect is inserted in the buffer.  Much later, the first process
537 finishes, and another message is inserted in the buffer for it.
539 @smallexample
540 @group
541 (start-process "my-process" "foo" "sleep" "100")
542      @result{} #<process my-process>
543 @end group
545 @group
546 (start-process "my-process" "foo" "ls" "-l" "/user/lewis/bin")
547      @result{} #<process my-process<1>>
549 ---------- Buffer: foo ----------
550 total 2
551 lrwxrwxrwx  1 lewis     14 Jul 22 10:12 gnuemacs --> /emacs
552 -rwxrwxrwx  1 lewis     19 Jul 30 21:02 lemon
554 Process my-process<1> finished
556 Process my-process finished
557 ---------- Buffer: foo ----------
558 @end group
559 @end smallexample
560 @end defun
562 @defun start-file-process name buffer-or-name program &rest args
563 Like @code{start-process}, this function starts a new asynchronous
564 subprocess running @var{program} in it, and returns its process
565 object---when @code{default-directory} is not a magic file name.
567 If @code{default-directory} is magic, the function invokes its file
568 handler instead.  This handler ought to run @var{program}, perhaps on
569 the local host, perhaps on a remote host that corresponds to
570 @code{default-directory}.  In the latter case, the local part of
571 @code{default-directory} becomes the working directory of the process.
573 This function does not try to invoke file name handlers for
574 @var{program} or for the @var{program-args}.
576 Depending on the implementation of the file handler, it might not be
577 possible to apply @code{process-filter} or @code{process-sentinel} to
578 the resulting process object (@pxref{Filter Functions}, @pxref{Sentinels}).
580 Some file handlers may not support @code{start-file-process} (for
581 example @code{ange-ftp-hook-function}).  In such cases, the function
582 does nothing and returns @code{nil}.
583 @end defun
585 @defun start-process-shell-command name buffer-or-name command &rest command-args
586 This function is like @code{start-process} except that it uses a shell
587 to execute the specified command.  The argument @var{command} is a shell
588 command name, and @var{command-args} are the arguments for the shell
589 command.  The variable @code{shell-file-name} specifies which shell to
590 use.
592 The point of running a program through the shell, rather than directly
593 with @code{start-process}, is so that you can employ shell features such
594 as wildcards in the arguments.  It follows that if you include an
595 arbitrary user-specified arguments in the command, you should quote it
596 with @code{shell-quote-argument} first, so that any special shell
597 characters do @emph{not} have their special shell meanings.  @xref{Shell
598 Arguments}.
599 @end defun
601 @defun start-file-process-shell-command name buffer-or-name command &rest command-args
602 This function is like @code{start-process-shell-command}, but uses
603 @code{start-file-process} internally.  By this, @var{command} can be
604 executed also on remote hosts, depending on @code{default-directory}.
605 @end defun
607 @defvar process-connection-type
608 @cindex pipes
609 @cindex @acronym{PTY}s
610 This variable controls the type of device used to communicate with
611 asynchronous subprocesses.  If it is non-@code{nil}, then @acronym{PTY}s are
612 used, when available.  Otherwise, pipes are used.
614 @acronym{PTY}s are usually preferable for processes visible to the user, as
615 in Shell mode, because they allow job control (@kbd{C-c}, @kbd{C-z},
616 etc.) to work between the process and its children, whereas pipes do
617 not.  For subprocesses used for internal purposes by programs, it is
618 often better to use a pipe, because they are more efficient.  In
619 addition, the total number of @acronym{PTY}s is limited on many systems and
620 it is good not to waste them.
622 The value of @code{process-connection-type} takes effect when
623 @code{start-process} is called.  So you can specify how to communicate
624 with one subprocess by binding the variable around the call to
625 @code{start-process}.
627 @smallexample
628 @group
629 (let ((process-connection-type nil))  ; @r{Use a pipe.}
630   (start-process @dots{}))
631 @end group
632 @end smallexample
634 To determine whether a given subprocess actually got a pipe or a
635 @acronym{PTY}, use the function @code{process-tty-name} (@pxref{Process
636 Information}).
637 @end defvar
639 @node Deleting Processes
640 @section Deleting Processes
641 @cindex deleting processes
643   @dfn{Deleting a process} disconnects Emacs immediately from the
644 subprocess.  Processes are deleted automatically after they terminate,
645 but not necessarily right away.  You can delete a process explicitly
646 at any time.  If you delete a terminated process explicitly before it
647 is deleted automatically, no harm results.  Deleting a running
648 process sends a signal to terminate it (and its child processes if
649 any), and calls the process sentinel if it has one.  @xref{Sentinels}.
651   When a process is deleted, the process object itself continues to
652 exist as long as other Lisp objects point to it.  All the Lisp
653 primitives that work on process objects accept deleted processes, but
654 those that do I/O or send signals will report an error.  The process
655 mark continues to point to the same place as before, usually into a
656 buffer where output from the process was being inserted.
658 @defopt delete-exited-processes
659 This variable controls automatic deletion of processes that have
660 terminated (due to calling @code{exit} or to a signal).  If it is
661 @code{nil}, then they continue to exist until the user runs
662 @code{list-processes}.  Otherwise, they are deleted immediately after
663 they exit.
664 @end defopt
666 @defun delete-process process
667 This function deletes a process, killing it with a @code{SIGKILL}
668 signal.  The argument may be a process, the name of a process, a
669 buffer, or the name of a buffer.  (A buffer or buffer-name stands for
670 the process that @code{get-buffer-process} returns.)  Calling
671 @code{delete-process} on a running process terminates it, updates the
672 process status, and runs the sentinel (if any) immediately.  If the
673 process has already terminated, calling @code{delete-process} has no
674 effect on its status, or on the running of its sentinel (which will
675 happen sooner or later).
677 @smallexample
678 @group
679 (delete-process "*shell*")
680      @result{} nil
681 @end group
682 @end smallexample
683 @end defun
685 @node Process Information
686 @section Process Information
688   Several functions return information about processes.
689 @code{list-processes} is provided for interactive use.
691 @deffn Command list-processes &optional query-only
692 This command displays a listing of all living processes.  In addition,
693 it finally deletes any process whose status was @samp{Exited} or
694 @samp{Signaled}.  It returns @code{nil}.
696 If @var{query-only} is non-@code{nil} then it lists only processes
697 whose query flag is non-@code{nil}.  @xref{Query Before Exit}.
698 @end deffn
700 @defun process-list
701 This function returns a list of all processes that have not been deleted.
703 @smallexample
704 @group
705 (process-list)
706      @result{} (#<process display-time> #<process shell>)
707 @end group
708 @end smallexample
709 @end defun
711 @defun get-process name
712 This function returns the process named @var{name}, or @code{nil} if
713 there is none.  An error is signaled if @var{name} is not a string.
715 @smallexample
716 @group
717 (get-process "shell")
718      @result{} #<process shell>
719 @end group
720 @end smallexample
721 @end defun
723 @defun process-command process
724 This function returns the command that was executed to start
725 @var{process}.  This is a list of strings, the first string being the
726 program executed and the rest of the strings being the arguments that
727 were given to the program.
729 @smallexample
730 @group
731 (process-command (get-process "shell"))
732      @result{} ("/bin/csh" "-i")
733 @end group
734 @end smallexample
735 @end defun
737 @defun process-contact process &optional key
739 This function returns information about how a network or serial
740 process was set up.  For a network process, when @var{key} is
741 @code{nil}, it returns @code{(@var{hostname} @var{service})} which
742 specifies what you connected to.  For a serial process, when @var{key}
743 is @code{nil}, it returns @code{(@var{port} @var{speed})}.  For an
744 ordinary child process, this function always returns @code{t}.
746 If @var{key} is @code{t}, the value is the complete status information
747 for the connection, server, or serial port; that is, the list of
748 keywords and values specified in @code{make-network-process} or
749 @code{make-serial-process}, except that some of the values represent
750 the current status instead of what you specified.
752 For a network process:
754 @table @code
755 @item :buffer
756 The associated value is the process buffer.
757 @item :filter
758 The associated value is the process filter function.
759 @item :sentinel
760 The associated value is the process sentinel function.
761 @item :remote
762 In a connection, the address in internal format of the remote peer.
763 @item :local
764 The local address, in internal format.
765 @item :service
766 In a server, if you specified @code{t} for @var{service},
767 this value is the actual port number.
768 @end table
770 @code{:local} and @code{:remote} are included even if they were not
771 specified explicitly in @code{make-network-process}.
773 For a serial process, see @code{make-serial-process} and
774 @code{serial-process-configure} for a list of keys.
776 If @var{key} is a keyword, the function returns the value corresponding
777 to that keyword.
778 @end defun
780 @defun process-id process
781 This function returns the @acronym{PID} of @var{process}.  This is an
782 integer that distinguishes the process @var{process} from all other
783 processes running on the same computer at the current time.  The
784 @acronym{PID} of a process is chosen by the operating system kernel when the
785 process is started and remains constant as long as the process exists.
786 @end defun
788 @defun process-name process
789 This function returns the name of @var{process}.
790 @end defun
792 @defun process-status process-name
793 This function returns the status of @var{process-name} as a symbol.
794 The argument @var{process-name} must be a process, a buffer, a
795 process name (string) or a buffer name (string).
797 The possible values for an actual subprocess are:
799 @table @code
800 @item run
801 for a process that is running.
802 @item stop
803 for a process that is stopped but continuable.
804 @item exit
805 for a process that has exited.
806 @item signal
807 for a process that has received a fatal signal.
808 @item open
809 for a network connection that is open.
810 @item closed
811 for a network connection that is closed.  Once a connection
812 is closed, you cannot reopen it, though you might be able to open
813 a new connection to the same place.
814 @item connect
815 for a non-blocking connection that is waiting to complete.
816 @item failed
817 for a non-blocking connection that has failed to complete.
818 @item listen
819 for a network server that is listening.
820 @item nil
821 if @var{process-name} is not the name of an existing process.
822 @end table
824 @smallexample
825 @group
826 (process-status "shell")
827      @result{} run
828 @end group
829 @group
830 (process-status (get-buffer "*shell*"))
831      @result{} run
832 @end group
833 @group
835      @result{} #<process xx<1>>
836 (process-status x)
837      @result{} exit
838 @end group
839 @end smallexample
841 For a network connection, @code{process-status} returns one of the symbols
842 @code{open} or @code{closed}.  The latter means that the other side
843 closed the connection, or Emacs did @code{delete-process}.
844 @end defun
846 @defun process-type process
847 This function returns the symbol @code{network} for a network
848 connection or server, @code{serial} for a serial port connection, or
849 @code{real} for a real subprocess.
850 @end defun
852 @defun process-exit-status process
853 This function returns the exit status of @var{process} or the signal
854 number that killed it.  (Use the result of @code{process-status} to
855 determine which of those it is.)  If @var{process} has not yet
856 terminated, the value is 0.
857 @end defun
859 @defun process-tty-name process
860 This function returns the terminal name that @var{process} is using for
861 its communication with Emacs---or @code{nil} if it is using pipes
862 instead of a terminal (see @code{process-connection-type} in
863 @ref{Asynchronous Processes}).
864 @end defun
866 @defun process-coding-system process
867 @anchor{Coding systems for a subprocess}
868 This function returns a cons cell describing the coding systems in use
869 for decoding output from @var{process} and for encoding input to
870 @var{process} (@pxref{Coding Systems}).  The value has this form:
872 @example
873 (@var{coding-system-for-decoding} . @var{coding-system-for-encoding})
874 @end example
875 @end defun
877 @defun set-process-coding-system process &optional decoding-system encoding-system
878 This function specifies the coding systems to use for subsequent output
879 from and input to @var{process}.  It will use @var{decoding-system} to
880 decode subprocess output, and @var{encoding-system} to encode subprocess
881 input.
882 @end defun
884   Every process also has a property list that you can use to store
885 miscellaneous values associated with the process.
887 @defun process-get process propname
888 This function returns the value of the @var{propname} property
889 of @var{process}.
890 @end defun
892 @defun process-put process propname value
893 This function sets the value of the @var{propname} property
894 of @var{process} to @var{value}.
895 @end defun
897 @defun process-plist process
898 This function returns the process plist of @var{process}.
899 @end defun
901 @defun set-process-plist process plist
902 This function sets the process plist of @var{process} to @var{plist}.
903 @end defun
905 @node Input to Processes
906 @section Sending Input to Processes
907 @cindex process input
909   Asynchronous subprocesses receive input when it is sent to them by
910 Emacs, which is done with the functions in this section.  You must
911 specify the process to send input to, and the input data to send.  The
912 data appears on the ``standard input'' of the subprocess.
914   Some operating systems have limited space for buffered input in a
915 @acronym{PTY}.  On these systems, Emacs sends an @acronym{EOF}
916 periodically amidst the other characters, to force them through.  For
917 most programs, these @acronym{EOF}s do no harm.
919   Subprocess input is normally encoded using a coding system before the
920 subprocess receives it, much like text written into a file.  You can use
921 @code{set-process-coding-system} to specify which coding system to use
922 (@pxref{Process Information}).  Otherwise, the coding system comes from
923 @code{coding-system-for-write}, if that is non-@code{nil}; or else from
924 the defaulting mechanism (@pxref{Default Coding Systems}).
926   Sometimes the system is unable to accept input for that process,
927 because the input buffer is full.  When this happens, the send functions
928 wait a short while, accepting output from subprocesses, and then try
929 again.  This gives the subprocess a chance to read more of its pending
930 input and make space in the buffer.  It also allows filters, sentinels
931 and timers to run---so take account of that in writing your code.
933   In these functions, the @var{process} argument can be a process or
934 the name of a process, or a buffer or buffer name (which stands
935 for a process via @code{get-buffer-process}).  @code{nil} means
936 the current buffer's process.
938 @defun process-send-string process string
939 This function sends @var{process} the contents of @var{string} as
940 standard input.  If it is @code{nil}, the current buffer's process is used.
942   The function returns @code{nil}.
944 @smallexample
945 @group
946 (process-send-string "shell<1>" "ls\n")
947      @result{} nil
948 @end group
951 @group
952 ---------- Buffer: *shell* ----------
954 introduction.texi               syntax-tables.texi~
955 introduction.texi~              text.texi
956 introduction.txt                text.texi~
958 ---------- Buffer: *shell* ----------
959 @end group
960 @end smallexample
961 @end defun
963 @defun process-send-region process start end
964 This function sends the text in the region defined by @var{start} and
965 @var{end} as standard input to @var{process}.
967 An error is signaled unless both @var{start} and @var{end} are
968 integers or markers that indicate positions in the current buffer.  (It
969 is unimportant which number is larger.)
970 @end defun
972 @defun process-send-eof &optional process
973 This function makes @var{process} see an end-of-file in its
974 input.  The @acronym{EOF} comes after any text already sent to it.
976 The function returns @var{process}.
978 @smallexample
979 @group
980 (process-send-eof "shell")
981      @result{} "shell"
982 @end group
983 @end smallexample
984 @end defun
986 @defun process-running-child-p process
987 This function will tell you whether a subprocess has given control of
988 its terminal to its own child process.  The value is @code{t} if this is
989 true, or if Emacs cannot tell; it is @code{nil} if Emacs can be certain
990 that this is not so.
991 @end defun
993 @node Signals to Processes
994 @section Sending Signals to Processes
995 @cindex process signals
996 @cindex sending signals
997 @cindex signals
999   @dfn{Sending a signal} to a subprocess is a way of interrupting its
1000 activities.  There are several different signals, each with its own
1001 meaning.  The set of signals and their names is defined by the operating
1002 system.  For example, the signal @code{SIGINT} means that the user has
1003 typed @kbd{C-c}, or that some analogous thing has happened.
1005   Each signal has a standard effect on the subprocess.  Most signals
1006 kill the subprocess, but some stop or resume execution instead.  Most
1007 signals can optionally be handled by programs; if the program handles
1008 the signal, then we can say nothing in general about its effects.
1010   You can send signals explicitly by calling the functions in this
1011 section.  Emacs also sends signals automatically at certain times:
1012 killing a buffer sends a @code{SIGHUP} signal to all its associated
1013 processes; killing Emacs sends a @code{SIGHUP} signal to all remaining
1014 processes.  (@code{SIGHUP} is a signal that usually indicates that the
1015 user hung up the phone.)
1017   Each of the signal-sending functions takes two optional arguments:
1018 @var{process} and @var{current-group}.
1020   The argument @var{process} must be either a process, a process
1021 name, a buffer, a buffer name, or @code{nil}.  A buffer or buffer name
1022 stands for a process through @code{get-buffer-process}.  @code{nil}
1023 stands for the process associated with the current buffer.  An error
1024 is signaled if @var{process} does not identify a process.
1026   The argument @var{current-group} is a flag that makes a difference
1027 when you are running a job-control shell as an Emacs subprocess.  If it
1028 is non-@code{nil}, then the signal is sent to the current process-group
1029 of the terminal that Emacs uses to communicate with the subprocess.  If
1030 the process is a job-control shell, this means the shell's current
1031 subjob.  If it is @code{nil}, the signal is sent to the process group of
1032 the immediate subprocess of Emacs.  If the subprocess is a job-control
1033 shell, this is the shell itself.
1035   The flag @var{current-group} has no effect when a pipe is used to
1036 communicate with the subprocess, because the operating system does not
1037 support the distinction in the case of pipes.  For the same reason,
1038 job-control shells won't work when a pipe is used.  See
1039 @code{process-connection-type} in @ref{Asynchronous Processes}.
1041 @defun interrupt-process &optional process current-group
1042 This function interrupts the process @var{process} by sending the
1043 signal @code{SIGINT}.  Outside of Emacs, typing the ``interrupt
1044 character'' (normally @kbd{C-c} on some systems, and @code{DEL} on
1045 others) sends this signal.  When the argument @var{current-group} is
1046 non-@code{nil}, you can think of this function as ``typing @kbd{C-c}''
1047 on the terminal by which Emacs talks to the subprocess.
1048 @end defun
1050 @defun kill-process &optional process current-group
1051 This function kills the process @var{process} by sending the
1052 signal @code{SIGKILL}.  This signal kills the subprocess immediately,
1053 and cannot be handled by the subprocess.
1054 @end defun
1056 @defun quit-process &optional process current-group
1057 This function sends the signal @code{SIGQUIT} to the process
1058 @var{process}.  This signal is the one sent by the ``quit
1059 character'' (usually @kbd{C-b} or @kbd{C-\}) when you are not inside
1060 Emacs.
1061 @end defun
1063 @defun stop-process &optional process current-group
1064 This function stops the process @var{process} by sending the
1065 signal @code{SIGTSTP}.  Use @code{continue-process} to resume its
1066 execution.
1068 Outside of Emacs, on systems with job control, the ``stop character''
1069 (usually @kbd{C-z}) normally sends this signal.  When
1070 @var{current-group} is non-@code{nil}, you can think of this function as
1071 ``typing @kbd{C-z}'' on the terminal Emacs uses to communicate with the
1072 subprocess.
1073 @end defun
1075 @defun continue-process &optional process current-group
1076 This function resumes execution of the process @var{process} by sending
1077 it the signal @code{SIGCONT}.  This presumes that @var{process} was
1078 stopped previously.
1079 @end defun
1081 @c Emacs 19 feature
1082 @defun signal-process process signal
1083 This function sends a signal to process @var{process}.  The argument
1084 @var{signal} specifies which signal to send; it should be an integer.
1086 The @var{process} argument can be a system process @acronym{ID}; that
1087 allows you to send signals to processes that are not children of
1088 Emacs.  @xref{System Processes}.
1089 @end defun
1091 @node Output from Processes
1092 @section Receiving Output from Processes
1093 @cindex process output
1094 @cindex output from processes
1096   There are two ways to receive the output that a subprocess writes to
1097 its standard output stream.  The output can be inserted in a buffer,
1098 which is called the associated buffer of the process, or a function
1099 called the @dfn{filter function} can be called to act on the output.  If
1100 the process has no buffer and no filter function, its output is
1101 discarded.
1103   When a subprocess terminates, Emacs reads any pending output,
1104 then stops reading output from that subprocess.  Therefore, if the
1105 subprocess has children that are still live and still producing
1106 output, Emacs won't receive that output.
1108   Output from a subprocess can arrive only while Emacs is waiting: when
1109 reading terminal input, in @code{sit-for} and @code{sleep-for}
1110 (@pxref{Waiting}), and in @code{accept-process-output} (@pxref{Accepting
1111 Output}).  This minimizes the problem of timing errors that usually
1112 plague parallel programming.  For example, you can safely create a
1113 process and only then specify its buffer or filter function; no output
1114 can arrive before you finish, if the code in between does not call any
1115 primitive that waits.
1117 @defvar process-adaptive-read-buffering
1118 On some systems, when Emacs reads the output from a subprocess, the
1119 output data is read in very small blocks, potentially resulting in
1120 very poor performance.  This behavior can be remedied to some extent
1121 by setting the variable @var{process-adaptive-read-buffering} to a
1122 non-@code{nil} value (the default), as it will automatically delay reading
1123 from such processes, thus allowing them to produce more output before
1124 Emacs tries to read it.
1125 @end defvar
1127   It is impossible to separate the standard output and standard error
1128 streams of the subprocess, because Emacs normally spawns the subprocess
1129 inside a pseudo-TTY, and a pseudo-TTY has only one output channel.  If
1130 you want to keep the output to those streams separate, you should
1131 redirect one of them to a file---for example, by using an appropriate
1132 shell command.
1134 @menu
1135 * Process Buffers::         If no filter, output is put in a buffer.
1136 * Filter Functions::        Filter functions accept output from the process.
1137 * Decoding Output::         Filters can get unibyte or multibyte strings.
1138 * Accepting Output::        How to wait until process output arrives.
1139 @end menu
1141 @node Process Buffers
1142 @subsection Process Buffers
1144   A process can (and usually does) have an @dfn{associated buffer},
1145 which is an ordinary Emacs buffer that is used for two purposes: storing
1146 the output from the process, and deciding when to kill the process.  You
1147 can also use the buffer to identify a process to operate on, since in
1148 normal practice only one process is associated with any given buffer.
1149 Many applications of processes also use the buffer for editing input to
1150 be sent to the process, but this is not built into Emacs Lisp.
1152   Unless the process has a filter function (@pxref{Filter Functions}),
1153 its output is inserted in the associated buffer.  The position to insert
1154 the output is determined by the @code{process-mark}, which is then
1155 updated to point to the end of the text just inserted.  Usually, but not
1156 always, the @code{process-mark} is at the end of the buffer.
1158 @defun process-buffer process
1159 This function returns the associated buffer of the process
1160 @var{process}.
1162 @smallexample
1163 @group
1164 (process-buffer (get-process "shell"))
1165      @result{} #<buffer *shell*>
1166 @end group
1167 @end smallexample
1168 @end defun
1170 @defun process-mark process
1171 This function returns the process marker for @var{process}, which is the
1172 marker that says where to insert output from the process.
1174 If @var{process} does not have a buffer, @code{process-mark} returns a
1175 marker that points nowhere.
1177 Insertion of process output in a buffer uses this marker to decide where
1178 to insert, and updates it to point after the inserted text.  That is why
1179 successive batches of output are inserted consecutively.
1181 Filter functions normally should use this marker in the same fashion
1182 as is done by direct insertion of output in the buffer.  A good
1183 example of a filter function that uses @code{process-mark} is found at
1184 the end of the following section.
1186 When the user is expected to enter input in the process buffer for
1187 transmission to the process, the process marker separates the new input
1188 from previous output.
1189 @end defun
1191 @defun set-process-buffer process buffer
1192 This function sets the buffer associated with @var{process} to
1193 @var{buffer}.  If @var{buffer} is @code{nil}, the process becomes
1194 associated with no buffer.
1195 @end defun
1197 @defun get-buffer-process buffer-or-name
1198 This function returns a nondeleted process associated with the buffer
1199 specified by @var{buffer-or-name}.  If there are several processes
1200 associated with it, this function chooses one (currently, the one most
1201 recently created, but don't count on that).  Deletion of a process
1202 (see @code{delete-process}) makes it ineligible for this function to
1203 return.
1205 It is usually a bad idea to have more than one process associated with
1206 the same buffer.
1208 @smallexample
1209 @group
1210 (get-buffer-process "*shell*")
1211      @result{} #<process shell>
1212 @end group
1213 @end smallexample
1215 Killing the process's buffer deletes the process, which kills the
1216 subprocess with a @code{SIGHUP} signal (@pxref{Signals to Processes}).
1217 @end defun
1219 @node Filter Functions
1220 @subsection Process Filter Functions
1221 @cindex filter function
1222 @cindex process filter
1224   A process @dfn{filter function} is a function that receives the
1225 standard output from the associated process.  If a process has a filter,
1226 then @emph{all} output from that process is passed to the filter.  The
1227 process buffer is used directly for output from the process only when
1228 there is no filter.
1230   The filter function can only be called when Emacs is waiting for
1231 something, because process output arrives only at such times.  Emacs
1232 waits when reading terminal input, in @code{sit-for} and
1233 @code{sleep-for} (@pxref{Waiting}), and in @code{accept-process-output}
1234 (@pxref{Accepting Output}).
1236   A filter function must accept two arguments: the associated process
1237 and a string, which is output just received from it.  The function is
1238 then free to do whatever it chooses with the output.
1240   Quitting is normally inhibited within a filter function---otherwise,
1241 the effect of typing @kbd{C-g} at command level or to quit a user
1242 command would be unpredictable.  If you want to permit quitting inside
1243 a filter function, bind @code{inhibit-quit} to @code{nil}.  In most
1244 cases, the right way to do this is with the macro
1245 @code{with-local-quit}.  @xref{Quitting}.
1247   If an error happens during execution of a filter function, it is
1248 caught automatically, so that it doesn't stop the execution of whatever
1249 program was running when the filter function was started.  However, if
1250 @code{debug-on-error} is non-@code{nil}, the error-catching is turned
1251 off.  This makes it possible to use the Lisp debugger to debug the
1252 filter function.  @xref{Debugger}.
1254   Many filter functions sometimes or always insert the text in the
1255 process's buffer, mimicking the actions of Emacs when there is no
1256 filter.  Such filter functions need to use @code{set-buffer} in order to
1257 be sure to insert in that buffer.  To avoid setting the current buffer
1258 semipermanently, these filter functions must save and restore the
1259 current buffer.  They should also update the process marker, and in some
1260 cases update the value of point.  Here is how to do these things:
1262 @smallexample
1263 @group
1264 (defun ordinary-insertion-filter (proc string)
1265   (with-current-buffer (process-buffer proc)
1266     (let ((moving (= (point) (process-mark proc))))
1267 @end group
1268 @group
1269       (save-excursion
1270         ;; @r{Insert the text, advancing the process marker.}
1271         (goto-char (process-mark proc))
1272         (insert string)
1273         (set-marker (process-mark proc) (point)))
1274       (if moving (goto-char (process-mark proc))))))
1275 @end group
1276 @end smallexample
1278 @noindent
1279 The reason to use @code{with-current-buffer}, rather than using
1280 @code{save-excursion} to save and restore the current buffer, is so as
1281 to preserve the change in point made by the second call to
1282 @code{goto-char}.
1284   To make the filter force the process buffer to be visible whenever new
1285 text arrives, insert the following line just before the
1286 @code{with-current-buffer} construct:
1288 @smallexample
1289 (display-buffer (process-buffer proc))
1290 @end smallexample
1292   To force point to the end of the new output, no matter where it was
1293 previously, eliminate the variable @code{moving} and call
1294 @code{goto-char} unconditionally.
1296   In earlier Emacs versions, every filter function that did regular
1297 expression searching or matching had to explicitly save and restore the
1298 match data.  Now Emacs does this automatically for filter functions;
1299 they never need to do it explicitly.  @xref{Match Data}.
1301   A filter function that writes the output into the buffer of the
1302 process should check whether the buffer is still alive.  If it tries to
1303 insert into a dead buffer, it will get an error.  The expression
1304 @code{(buffer-name (process-buffer @var{process}))} returns @code{nil}
1305 if the buffer is dead.
1307   The output to the function may come in chunks of any size.  A program
1308 that produces the same output twice in a row may send it as one batch of
1309 200 characters one time, and five batches of 40 characters the next.  If
1310 the filter looks for certain text strings in the subprocess output, make
1311 sure to handle the case where one of these strings is split across two
1312 or more batches of output.
1314 @defun set-process-filter process filter
1315 This function gives @var{process} the filter function @var{filter}.  If
1316 @var{filter} is @code{nil}, it gives the process no filter.
1317 @end defun
1319 @defun process-filter process
1320 This function returns the filter function of @var{process}, or @code{nil}
1321 if it has none.
1322 @end defun
1324   Here is an example of use of a filter function:
1326 @smallexample
1327 @group
1328 (defun keep-output (process output)
1329    (setq kept (cons output kept)))
1330      @result{} keep-output
1331 @end group
1332 @group
1333 (setq kept nil)
1334      @result{} nil
1335 @end group
1336 @group
1337 (set-process-filter (get-process "shell") 'keep-output)
1338      @result{} keep-output
1339 @end group
1340 @group
1341 (process-send-string "shell" "ls ~/other\n")
1342      @result{} nil
1343 kept
1344      @result{} ("lewis@@slug[8] % "
1345 @end group
1346 @group
1347 "FINAL-W87-SHORT.MSS    backup.otl              kolstad.mss~
1348 address.txt             backup.psf              kolstad.psf
1349 backup.bib~             david.mss               resume-Dec-86.mss~
1350 backup.err              david.psf               resume-Dec.psf
1351 backup.mss              dland                   syllabus.mss
1353 "#backups.mss#          backup.mss~             kolstad.mss
1355 @end group
1356 @end smallexample
1358 @ignore   @c The code in this example doesn't show the right way to do things.
1359 Here is another, more realistic example, which demonstrates how to use
1360 the process mark to do insertion in the same fashion as is done when
1361 there is no filter function:
1363 @smallexample
1364 @group
1365 ;; @r{Insert input in the buffer specified by @code{my-shell-buffer}}
1366 ;;   @r{and make sure that buffer is shown in some window.}
1367 (defun my-process-filter (proc str)
1368   (let ((cur (selected-window))
1369         (pop-up-windows t))
1370     (pop-to-buffer my-shell-buffer)
1371 @end group
1372 @group
1373     (goto-char (point-max))
1374     (insert str)
1375     (set-marker (process-mark proc) (point-max))
1376     (select-window cur)))
1377 @end group
1378 @end smallexample
1379 @end ignore
1381 @node Decoding Output
1382 @subsection Decoding Process Output
1383 @cindex decode process output
1385   When Emacs writes process output directly into a multibyte buffer,
1386 it decodes the output according to the process output coding system.
1387 If the coding system is @code{raw-text} or @code{no-conversion}, Emacs
1388 converts the unibyte output to multibyte using
1389 @code{string-to-multibyte}, and inserts the resulting multibyte text.
1391   You can use @code{set-process-coding-system} to specify which coding
1392 system to use (@pxref{Process Information}).  Otherwise, the coding
1393 system comes from @code{coding-system-for-read}, if that is
1394 non-@code{nil}; or else from the defaulting mechanism (@pxref{Default
1395 Coding Systems}).
1397   @strong{Warning:} Coding systems such as @code{undecided} which
1398 determine the coding system from the data do not work entirely
1399 reliably with asynchronous subprocess output.  This is because Emacs
1400 has to process asynchronous subprocess output in batches, as it
1401 arrives.  Emacs must try to detect the proper coding system from one
1402 batch at a time, and this does not always work.  Therefore, if at all
1403 possible, specify a coding system that determines both the character
1404 code conversion and the end of line conversion---that is, one like
1405 @code{latin-1-unix}, rather than @code{undecided} or @code{latin-1}.
1407 @c Let's keep the index entries that were there for
1408 @c set-process-filter-multibyte and process-filter-multibyte-p,
1409 @cindex filter multibyte flag, of process
1410 @cindex process filter multibyte flag
1411   When Emacs calls a process filter function, it provides the process
1412 output as a multibyte string or as a unibyte string according to the
1413 process's filter coding system.  Emacs
1414 decodes the output according to the process output coding system,
1415 which usually produces a multibyte string, except for coding systems
1416 such as @code{binary} and @code{raw-text}
1418 @node Accepting Output
1419 @subsection Accepting Output from Processes
1420 @cindex accept input from processes
1422   Output from asynchronous subprocesses normally arrives only while
1423 Emacs is waiting for some sort of external event, such as elapsed time
1424 or terminal input.  Occasionally it is useful in a Lisp program to
1425 explicitly permit output to arrive at a specific point, or even to wait
1426 until output arrives from a process.
1428 @defun accept-process-output &optional process seconds millisec just-this-one
1429 This function allows Emacs to read pending output from processes.  The
1430 output is inserted in the associated buffers or given to their filter
1431 functions.  If @var{process} is non-@code{nil} then this function does
1432 not return until some output has been received from @var{process}.
1434 @c Emacs 19 feature
1435 The arguments @var{seconds} and @var{millisec} let you specify timeout
1436 periods.  The former specifies a period measured in seconds and the
1437 latter specifies one measured in milliseconds.  The two time periods
1438 thus specified are added together, and @code{accept-process-output}
1439 returns after that much time, whether or not there has been any
1440 subprocess output.
1442 The argument @var{millisec} is semi-obsolete nowadays because
1443 @var{seconds} can be a floating point number to specify waiting a
1444 fractional number of seconds.  If @var{seconds} is 0, the function
1445 accepts whatever output is pending but does not wait.
1447 @c Emacs 22.1 feature
1448 If @var{process} is a process, and the argument @var{just-this-one} is
1449 non-@code{nil}, only output from that process is handled, suspending output
1450 from other processes until some output has been received from that
1451 process or the timeout expires.  If @var{just-this-one} is an integer,
1452 also inhibit running timers.  This feature is generally not
1453 recommended, but may be necessary for specific applications, such as
1454 speech synthesis.
1456 The function @code{accept-process-output} returns non-@code{nil} if it
1457 did get some output, or @code{nil} if the timeout expired before output
1458 arrived.
1459 @end defun
1461 @node Sentinels
1462 @section Sentinels: Detecting Process Status Changes
1463 @cindex process sentinel
1464 @cindex sentinel (of process)
1466   A @dfn{process sentinel} is a function that is called whenever the
1467 associated process changes status for any reason, including signals
1468 (whether sent by Emacs or caused by the process's own actions) that
1469 terminate, stop, or continue the process.  The process sentinel is
1470 also called if the process exits.  The sentinel receives two
1471 arguments: the process for which the event occurred, and a string
1472 describing the type of event.
1474   The string describing the event looks like one of the following:
1476 @itemize @bullet
1477 @item
1478 @code{"finished\n"}.
1480 @item
1481 @code{"exited abnormally with code @var{exitcode}\n"}.
1483 @item
1484 @code{"@var{name-of-signal}\n"}.
1486 @item
1487 @code{"@var{name-of-signal} (core dumped)\n"}.
1488 @end itemize
1490   A sentinel runs only while Emacs is waiting (e.g., for terminal
1491 input, or for time to elapse, or for process output).  This avoids the
1492 timing errors that could result from running them at random places in
1493 the middle of other Lisp programs.  A program can wait, so that
1494 sentinels will run, by calling @code{sit-for} or @code{sleep-for}
1495 (@pxref{Waiting}), or @code{accept-process-output} (@pxref{Accepting
1496 Output}).  Emacs also allows sentinels to run when the command loop is
1497 reading input.  @code{delete-process} calls the sentinel when it
1498 terminates a running process.
1500   Emacs does not keep a queue of multiple reasons to call the sentinel
1501 of one process; it records just the current status and the fact that
1502 there has been a change.  Therefore two changes in status, coming in
1503 quick succession, can call the sentinel just once.  However, process
1504 termination will always run the sentinel exactly once.  This is
1505 because the process status can't change again after termination.
1507   Emacs explicitly checks for output from the process before running
1508 the process sentinel.  Once the sentinel runs due to process
1509 termination, no further output can arrive from the process.
1511   A sentinel that writes the output into the buffer of the process
1512 should check whether the buffer is still alive.  If it tries to insert
1513 into a dead buffer, it will get an error.  If the buffer is dead,
1514 @code{(buffer-name (process-buffer @var{process}))} returns @code{nil}.
1516   Quitting is normally inhibited within a sentinel---otherwise, the
1517 effect of typing @kbd{C-g} at command level or to quit a user command
1518 would be unpredictable.  If you want to permit quitting inside a
1519 sentinel, bind @code{inhibit-quit} to @code{nil}.  In most cases, the
1520 right way to do this is with the macro @code{with-local-quit}.
1521 @xref{Quitting}.
1523   If an error happens during execution of a sentinel, it is caught
1524 automatically, so that it doesn't stop the execution of whatever
1525 programs was running when the sentinel was started.  However, if
1526 @code{debug-on-error} is non-@code{nil}, the error-catching is turned
1527 off.  This makes it possible to use the Lisp debugger to debug the
1528 sentinel.  @xref{Debugger}.
1530   While a sentinel is running, the process sentinel is temporarily
1531 set to @code{nil} so that the sentinel won't run recursively.
1532 For this reason it is not possible for a sentinel to specify
1533 a new sentinel.
1535   In earlier Emacs versions, every sentinel that did regular expression
1536 searching or matching had to explicitly save and restore the match data.
1537 Now Emacs does this automatically for sentinels; they never need to do
1538 it explicitly.  @xref{Match Data}.
1540 @defun set-process-sentinel process sentinel
1541 This function associates @var{sentinel} with @var{process}.  If
1542 @var{sentinel} is @code{nil}, then the process will have no sentinel.
1543 The default behavior when there is no sentinel is to insert a message in
1544 the process's buffer when the process status changes.
1546 Changes in process sentinel take effect immediately---if the sentinel
1547 is slated to be run but has not been called yet, and you specify a new
1548 sentinel, the eventual call to the sentinel will use the new one.
1550 @smallexample
1551 @group
1552 (defun msg-me (process event)
1553    (princ
1554      (format "Process: %s had the event `%s'" process event)))
1555 (set-process-sentinel (get-process "shell") 'msg-me)
1556      @result{} msg-me
1557 @end group
1558 @group
1559 (kill-process (get-process "shell"))
1560      @print{} Process: #<process shell> had the event `killed'
1561      @result{} #<process shell>
1562 @end group
1563 @end smallexample
1564 @end defun
1566 @defun process-sentinel process
1567 This function returns the sentinel of @var{process}, or @code{nil} if it
1568 has none.
1569 @end defun
1571 @defun waiting-for-user-input-p
1572 While a sentinel or filter function is running, this function returns
1573 non-@code{nil} if Emacs was waiting for keyboard input from the user at
1574 the time the sentinel or filter function was called, @code{nil} if it
1575 was not.
1576 @end defun
1578 @node Query Before Exit
1579 @section Querying Before Exit
1581   When Emacs exits, it terminates all its subprocesses by sending them
1582 the @code{SIGHUP} signal.  Because subprocesses may be doing
1583 valuable work, Emacs normally asks the user to confirm that it is ok
1584 to terminate them.  Each process has a query flag which, if
1585 non-@code{nil}, says that Emacs should ask for confirmation before
1586 exiting and thus killing that process.  The default for the query flag
1587 is @code{t}, meaning @emph{do} query.
1589 @defun process-query-on-exit-flag process
1590 This returns the query flag of @var{process}.
1591 @end defun
1593 @defun set-process-query-on-exit-flag process flag
1594 This function sets the query flag of @var{process} to @var{flag}.  It
1595 returns @var{flag}.
1597 @smallexample
1598 @group
1599 ;; @r{Don't query about the shell process}
1600 (set-process-query-on-exit-flag (get-process "shell") nil)
1601      @result{} t
1602 @end group
1603 @end smallexample
1604 @end defun
1606 @defun process-kill-without-query process &optional do-query
1607 This function clears the query flag of @var{process}, so that
1608 Emacs will not query the user on account of that process.
1610 Actually, the function does more than that: it returns the old value of
1611 the process's query flag, and sets the query flag to @var{do-query}.
1612 Please don't use this function to do those things any more---please
1613 use the newer, cleaner functions @code{process-query-on-exit-flag} and
1614 @code{set-process-query-on-exit-flag} in all but the simplest cases.
1615 The only way you should use @code{process-kill-without-query} nowadays
1616 is like this:
1618 @smallexample
1619 @group
1620 ;; @r{Don't query about the shell process}
1621 (process-kill-without-query (get-process "shell"))
1622 @end group
1623 @end smallexample
1624 @end defun
1626 @node System Processes
1627 @section Accessing Other Processes
1628 @cindex system processes
1630   In addition to accessing and manipulating processes that are
1631 subprocesses of the current Emacs session, Emacs Lisp programs can
1632 also access other processes running on the same machine.  We call
1633 these @dfn{system processes}, to distinguish between them and Emacs
1634 subprocesses.
1636   Emacs provides several primitives for accessing system processes.
1637 Not all platforms support these primitives; on those which don't,
1638 these primitives return @code{nil}.
1640 @defun list-system-processes
1641 This function returns a list of all the processes running on the
1642 system.  Each process is identified by its @acronym{PID}, a numerical
1643 process ID that is assigned by the OS and distinguishes the process
1644 from all the other processes running on the same machine at the same
1645 time.
1646 @end defun
1648 @defun system-process-attributes pid
1649 This function returns an alist of attributes for the process specified
1650 by its process ID @var{pid}.  Each association in the alist is of the
1651 form @code{(@var{key} . @var{value})}, where @var{key} designates the
1652 attribute and @var{value} is the value of that attribute.  The various
1653 attribute @var{key}'s that this function can return are listed below.
1654 Not all platforms support all of these attributes; if an attribute is
1655 not supported, its association will not appear in the returned alist.
1656 Values that are numbers can be either integer or floating-point,
1657 depending on the magnitude of the value.
1659 @table @code
1660 @item euid
1661 The effective user ID of the user who invoked the process.  The
1662 corresponding @var{value} is a number.  If the process was invoked by
1663 the same user who runs the current Emacs session, the value is
1664 identical to what @code{user-uid} returns (@pxref{User
1665 Identification}).
1667 @item user
1668 User name corresponding to the process's effective user ID, a string.
1670 @item egid
1671 The group ID of the effective user ID, a number.
1673 @item group
1674 Group name corresponding to the effective user's group ID, a string.
1676 @item comm
1677 The name of the command that runs in the process.  This is a string
1678 that usually specifies the name of the executable file of the process,
1679 without the leading directories.  However, some special system
1680 processes can report strings that do not correspond to an executable
1681 file of a program.
1683 @item state
1684 The state code of the process.  This is a short string that encodes
1685 the scheduling state of the process.  Here's a list of the most
1686 frequently seen codes:
1688 @table @code
1689 @item "D"
1690 uninterruptible sleep (usually I/O)
1691 @item "R"
1692 running
1693 @item "S"
1694 interruptible sleep (waiting for some event)
1695 @item "T"
1696 stopped, e.g., by a job control signal
1697 @item "Z"
1698 ``zombie'': a process that terminated, but was not reaped by its parent
1699 @end table
1701 @noindent
1702 For the full list of the possible states, see the manual page of the
1703 @command{ps} command.
1705 @item ppid
1706 The process ID of the parent process, a number.
1708 @item pgrp
1709 The process group ID of the process, a number.
1711 @item sess
1712 The session ID of the process.  This is a number that is the process
1713 ID of the process's @dfn{session leader}.
1715 @item ttname
1716 A string that is the name of the process's controlling terminal.  On
1717 Unix and GNU systems, this is normally the file name of the
1718 corresponding terminal device, such as @file{/dev/pts65}.
1720 @item tpgid
1721 The numerical process group ID of the foreground process group that
1722 uses the process's terminal.
1724 @item minflt
1725 The number of minor page faults caused by the process since its
1726 beginning.  (Minor page faults are those that don't involve reading
1727 from disk.)
1729 @item majflt
1730 The number of major page faults caused by the process since its
1731 beginning.  (Major page faults require a disk to be read, and are thus
1732 more expensive than minor page faults.)
1734 @item cminflt
1735 @itemx cmajflt
1736 Like @code{minflt} and @code{majflt}, but include the number of page
1737 faults for all the child processes of the given process.
1739 @item utime
1740 Time spent by the process in the user context, for running the
1741 application's code.  The corresponding @var{value} is in the
1742 @w{@code{(@var{high} @var{low} @var{microsec})}} format, the same
1743 format used by functions @code{current-time} (@pxref{Time of Day,
1744 current-time}) and @code{file-attributes} (@pxref{File Attributes}).
1746 @item stime
1747 Time spent by the process in the system (kernel) context, for
1748 processing system calls.  The corresponding @var{value} is in the same
1749 format as for @code{utime}.
1751 @item cutime
1752 @itemx cstime
1753 Like @code{utime} and @code{stime}, but includes the times of all the
1754 child processes of the given process.
1756 @item pri
1757 The numerical priority of the process.
1759 @item nice
1760 The @dfn{nice value} of the process, a number.  (Processes with smaller
1761 nice values get scheduled more favorably.)
1763 @item thcount
1764 The number of threads in the process.
1766 @item start
1767 The time the process was started, in the @w{@code{(@var{high}
1768 @var{low} @var{microsec})}} format used by @code{current-time} and
1769 @code{file-attributes}.
1771 @item etime
1772 The time elapsed since the process started, in the @w{@code{(@var{high}
1773 @var{low} @var{microsec})}} format.
1775 @item vsize
1776 The virtual memory size of the process, measured in kilobytes.
1778 @item rss
1779 The size of the process's @dfn{resident set}, the number of kilobytes
1780 occupied by the process in the machine's physical memory.
1782 @item pcpu
1783 The percentage of the CPU time used by the process since it started.
1784 The corresponding @var{value} is a floating-point number between 0 and
1785 100.
1787 @item pmem
1788 The percentage of the total physical memory installed on the machine
1789 used by the process's resident set.  The value is a floating-point
1790 number between 0 and 100.
1792 @item args
1793 The command-line with which the process was invoked.  This is a string
1794 in which individual command-line arguments are separated by blanks;
1795 whitespace characters that are embedded in the arguments are quoted as
1796 appropriate for the system's shell: escaped by backslash characters on
1797 GNU and Unix, and enclosed in double quote characters on Windows.
1798 Thus, this command-line string can be directly used in primitives such
1799 as @code{shell-command}.
1800 @end table
1802 @end defun
1805 @node Transaction Queues
1806 @section Transaction Queues
1807 @cindex transaction queue
1809 You can use a @dfn{transaction queue} to communicate with a subprocess
1810 using transactions.  First use @code{tq-create} to create a transaction
1811 queue communicating with a specified process.  Then you can call
1812 @code{tq-enqueue} to send a transaction.
1814 @defun tq-create process
1815 This function creates and returns a transaction queue communicating with
1816 @var{process}.  The argument @var{process} should be a subprocess
1817 capable of sending and receiving streams of bytes.  It may be a child
1818 process, or it may be a TCP connection to a server, possibly on another
1819 machine.
1820 @end defun
1822 @defun tq-enqueue queue question regexp closure fn &optional delay-question
1823 This function sends a transaction to queue @var{queue}.  Specifying the
1824 queue has the effect of specifying the subprocess to talk to.
1826 The argument @var{question} is the outgoing message that starts the
1827 transaction.  The argument @var{fn} is the function to call when the
1828 corresponding answer comes back; it is called with two arguments:
1829 @var{closure}, and the answer received.
1831 The argument @var{regexp} is a regular expression that should match
1832 text at the end of the entire answer, but nothing before; that's how
1833 @code{tq-enqueue} determines where the answer ends.
1835 If the argument @var{delay-question} is non-nil, delay sending this
1836 question until the process has finished replying to any previous
1837 questions.  This produces more reliable results with some processes.
1839 The return value of @code{tq-enqueue} itself is not meaningful.
1840 @end defun
1842 @defun tq-close queue
1843 Shut down transaction queue @var{queue}, waiting for all pending transactions
1844 to complete, and then terminate the connection or child process.
1845 @end defun
1847 Transaction queues are implemented by means of a filter function.
1848 @xref{Filter Functions}.
1850 @node Network
1851 @section Network Connections
1852 @cindex network connection
1853 @cindex TCP
1854 @cindex UDP
1856   Emacs Lisp programs can open stream (TCP) and datagram (UDP) network
1857 connections to other processes on the same machine or other machines.
1858 A network connection is handled by Lisp much like a subprocess, and is
1859 represented by a process object.  However, the process you are
1860 communicating with is not a child of the Emacs process, so it has no
1861 process @acronym{ID}, and you can't kill it or send it signals.  All you
1862 can do is send and receive data.  @code{delete-process} closes the
1863 connection, but does not kill the program at the other end; that
1864 program must decide what to do about closure of the connection.
1866   Lisp programs can listen for connections by creating network
1867 servers.  A network server is also represented by a kind of process
1868 object, but unlike a network connection, the network server never
1869 transfers data itself.  When it receives a connection request, it
1870 creates a new network connection to represent the connection just
1871 made.  (The network connection inherits certain information, including
1872 the process plist, from the server.)  The network server then goes
1873 back to listening for more connection requests.
1875   Network connections and servers are created by calling
1876 @code{make-network-process} with an argument list consisting of
1877 keyword/argument pairs, for example @code{:server t} to create a
1878 server process, or @code{:type 'datagram} to create a datagram
1879 connection.  @xref{Low-Level Network}, for details.  You can also use
1880 the @code{open-network-stream} function described below.
1882   To distinguish the different types of processes, the
1883 @code{process-type} function returns the symbol @code{network} for a
1884 network connection or server, @code{serial} for a serial port
1885 connection, or @code{real} for a real subprocess.
1887   The @code{process-status} function returns @code{open},
1888 @code{closed}, @code{connect}, and @code{failed} for network
1889 connections.  For a network server, the status is always
1890 @code{listen}.  None of those values is possible for a real
1891 subprocess.  @xref{Process Information}.
1893   You can stop and resume operation of a network process by calling
1894 @code{stop-process} and @code{continue-process}.  For a server
1895 process, being stopped means not accepting new connections.  (Up to 5
1896 connection requests will be queued for when you resume the server; you
1897 can increase this limit, unless it is imposed by the operating
1898 system.)  For a network stream connection, being stopped means not
1899 processing input (any arriving input waits until you resume the
1900 connection).  For a datagram connection, some number of packets may be
1901 queued but input may be lost.  You can use the function
1902 @code{process-command} to determine whether a network connection or
1903 server is stopped; a non-@code{nil} value means yes.
1905 @defun open-network-stream name buffer-or-name host service
1906 This function opens a TCP connection, and returns a process object
1907 that represents the connection.
1909 The @var{name} argument specifies the name for the process object.  It
1910 is modified as necessary to make it unique.
1912 The @var{buffer-or-name} argument is the buffer to associate with the
1913 connection.  Output from the connection is inserted in the buffer,
1914 unless you specify a filter function to handle the output.  If
1915 @var{buffer-or-name} is @code{nil}, it means that the connection is not
1916 associated with any buffer.
1918 The arguments @var{host} and @var{service} specify where to connect to;
1919 @var{host} is the host name (a string), and @var{service} is the name of
1920 a defined network service (a string) or a port number (an integer).
1921 @end defun
1923 @node Network Servers
1924 @section Network Servers
1925 @cindex network servers
1927   You create a server by calling @code{make-network-process} with
1928 @code{:server t}.  The server will listen for connection requests from
1929 clients.  When it accepts a client connection request, that creates a
1930 new network connection, itself a process object, with the following
1931 parameters:
1933 @itemize @bullet
1934 @item
1935 The connection's process name is constructed by concatenating the
1936 server process' @var{name} with a client identification string.  The
1937 client identification string for an IPv4 connection looks like
1938 @samp{<@var{a}.@var{b}.@var{c}.@var{d}:@var{p}>}.  Otherwise, it is a
1939 unique number in brackets, as in @samp{<@var{nnn}>}.  The number
1940 is unique for each connection in the Emacs session.
1942 @item
1943 If the server's filter is non-@code{nil}, the connection process does
1944 not get a separate process buffer; otherwise, Emacs creates a new
1945 buffer for the purpose.  The buffer name is the server's buffer name
1946 or process name, concatenated with the client identification string.
1948 The server's process buffer value is never used directly by Emacs, but
1949 it is passed to the log function, which can log connections by
1950 inserting text there.
1952 @item
1953 The communication type and the process filter and sentinel are
1954 inherited from those of the server.  The server never directly
1955 uses its filter and sentinel; their sole purpose is to initialize
1956 connections made to the server.
1958 @item
1959 The connection's process contact info is set according to the client's
1960 addressing information (typically an IP address and a port number).
1961 This information is associated with the @code{process-contact}
1962 keywords @code{:host}, @code{:service}, @code{:remote}.
1964 @item
1965 The connection's local address is set up according to the port
1966 number used for the connection.
1968 @item
1969 The client process' plist is initialized from the server's plist.
1970 @end itemize
1972 @node Datagrams
1973 @section Datagrams
1974 @cindex datagrams
1976   A datagram connection communicates with individual packets rather
1977 than streams of data.  Each call to @code{process-send} sends one
1978 datagram packet (@pxref{Input to Processes}), and each datagram
1979 received results in one call to the filter function.
1981   The datagram connection doesn't have to talk with the same remote
1982 peer all the time.  It has a @dfn{remote peer address} which specifies
1983 where to send datagrams to.  Each time an incoming datagram is passed
1984 to the filter function, the peer address is set to the address that
1985 datagram came from; that way, if the filter function sends a datagram,
1986 it will go back to that place.  You can specify the remote peer
1987 address when you create the datagram connection using the
1988 @code{:remote} keyword.  You can change it later on by calling
1989 @code{set-process-datagram-address}.
1991 @defun process-datagram-address process
1992 If @var{process} is a datagram connection or server, this function
1993 returns its remote peer address.
1994 @end defun
1996 @defun set-process-datagram-address process address
1997 If @var{process} is a datagram connection or server, this function
1998 sets its remote peer address to @var{address}.
1999 @end defun
2001 @node Low-Level Network
2002 @section Low-Level Network Access
2004   You can also create network connections by operating at a lower
2005 level than that of @code{open-network-stream}, using
2006 @code{make-network-process}.
2008 @menu
2009 * Proc: Network Processes.   Using @code{make-network-process}.
2010 * Options: Network Options.  Further control over network connections.
2011 * Features: Network Feature Testing.
2012                              Determining which network features work on
2013                                the machine you are using.
2014 @end menu
2016 @node Network Processes
2017 @subsection @code{make-network-process}
2019    The basic function for creating network connections and network
2020 servers is @code{make-network-process}.  It can do either of those
2021 jobs, depending on the arguments you give it.
2023 @defun make-network-process &rest args
2024 This function creates a network connection or server and returns the
2025 process object that represents it.  The arguments @var{args} are a
2026 list of keyword/argument pairs.  Omitting a keyword is always
2027 equivalent to specifying it with value @code{nil}, except for
2028 @code{:coding}, @code{:filter-multibyte}, and @code{:reuseaddr}.  Here
2029 are the meaningful keywords:
2031 @table @asis
2032 @item :name @var{name}
2033 Use the string @var{name} as the process name.  It is modified if
2034 necessary to make it unique.
2036 @item :type @var{type}
2037 Specify the communication type.  A value of @code{nil} specifies a
2038 stream connection (the default); @code{datagram} specifies a datagram
2039 connection.  Both connections and servers can be of either type.
2041 @item :server @var{server-flag}
2042 If @var{server-flag} is non-@code{nil}, create a server.  Otherwise,
2043 create a connection.  For a stream type server, @var{server-flag} may
2044 be an integer which then specifies the length of the queue of pending
2045 connections to the server.  The default queue length is 5.
2047 @item :host @var{host}
2048 Specify the host to connect to.  @var{host} should be a host name or
2049 Internet address, as a string, or the symbol @code{local} to specify
2050 the local host.  If you specify @var{host} for a server, it must
2051 specify a valid address for the local host, and only clients
2052 connecting to that address will be accepted.
2054 @item :service @var{service}
2055 @var{service} specifies a port number to connect to, or, for a server,
2056 the port number to listen on.  It should be a service name that
2057 translates to a port number, or an integer specifying the port number
2058 directly.  For a server, it can also be @code{t}, which means to let
2059 the system select an unused port number.
2061 @item :family @var{family}
2062 @var{family} specifies the address (and protocol) family for
2063 communication.  @code{nil} means determine the proper address family
2064 automatically for the given @var{host} and @var{service}.
2065 @code{local} specifies a Unix socket, in which case @var{host} is
2066 ignored.  @code{ipv4} and @code{ipv6} specify to use IPv4 and IPv6
2067 respectively.
2069 @item :local @var{local-address}
2070 For a server process, @var{local-address} is the address to listen on.
2071 It overrides @var{family}, @var{host} and @var{service}, and you
2072 may as well not specify them.
2074 @item :remote @var{remote-address}
2075 For a connection, @var{remote-address} is the address to connect to.
2076 It overrides @var{family}, @var{host} and @var{service}, and you
2077 may as well not specify them.
2079 For a datagram server, @var{remote-address} specifies the initial
2080 setting of the remote datagram address.
2082 The format of @var{local-address} or @var{remote-address} depends on
2083 the address family:
2085 @itemize -
2086 @item
2087 An IPv4 address is represented as a five-element vector of four 8-bit
2088 integers and one 16-bit integer
2089 @code{[@var{a} @var{b} @var{c} @var{d} @var{p}]} corresponding to
2090 numeric IPv4 address @var{a}.@var{b}.@var{c}.@var{d} and port number
2091 @var{p}.
2093 @item
2094 An IPv6 address is represented as a nine-element vector of 16-bit
2095 integers @code{[@var{a} @var{b} @var{c} @var{d} @var{e} @var{f}
2096 @var{g} @var{h} @var{p}]} corresponding to numeric IPv6 address
2097 @var{a}:@var{b}:@var{c}:@var{d}:@var{e}:@var{f}:@var{g}:@var{h} and
2098 port number @var{p}.
2100 @item
2101 A local address is represented as a string which specifies the address
2102 in the local address space.
2104 @item
2105 An ``unsupported family'' address is represented by a cons
2106 @code{(@var{f} . @var{av})}, where @var{f} is the family number and
2107 @var{av} is a vector specifying the socket address using one element
2108 per address data byte.  Do not rely on this format in portable code,
2109 as it may depend on implementation defined constants, data sizes, and
2110 data structure alignment.
2111 @end itemize
2113 @item :nowait @var{bool}
2114 If @var{bool} is non-@code{nil} for a stream connection, return
2115 without waiting for the connection to complete.  When the connection
2116 succeeds or fails, Emacs will call the sentinel function, with a
2117 second argument matching @code{"open"} (if successful) or
2118 @code{"failed"}.  The default is to block, so that
2119 @code{make-network-process} does not return until the connection
2120 has succeeded or failed.
2122 @item :stop @var{stopped}
2123 Start the network connection or server in the `stopped' state if
2124 @var{stopped} is non-@code{nil}.
2126 @item :buffer @var{buffer}
2127 Use @var{buffer} as the process buffer.
2129 @item :coding @var{coding}
2130 Use @var{coding} as the coding system for this process.  To specify
2131 different coding systems for decoding data from the connection and for
2132 encoding data sent to it, specify @code{(@var{decoding} .
2133 @var{encoding})} for @var{coding}.
2135 If you don't specify this keyword at all, the default
2136 is to determine the coding systems from the data.
2138 @item :noquery @var{query-flag}
2139 Initialize the process query flag to @var{query-flag}.
2140 @xref{Query Before Exit}.
2142 @item :filter @var{filter}
2143 Initialize the process filter to @var{filter}.
2145 @item :filter-multibyte @var{bool}
2146 If @var{bool} is non-@code{nil}, strings given to the process filter
2147 are multibyte, otherwise they are unibyte.  If you don't specify this
2148 keyword at all, the default is that the strings are multibyte if
2149 @code{default-enable-multibyte-characters} is non-@code{nil}.
2151 @item :sentinel @var{sentinel}
2152 Initialize the process sentinel to @var{sentinel}.
2154 @item :log @var{log}
2155 Initialize the log function of a server process to @var{log}.  The log
2156 function is called each time the server accepts a network connection
2157 from a client.  The arguments passed to the log function are
2158 @var{server}, @var{connection}, and @var{message}, where @var{server}
2159 is the server process, @var{connection} is the new process for the
2160 connection, and @var{message} is a string describing what has
2161 happened.
2163 @item :plist @var{plist}
2164 Initialize the process plist to @var{plist}.
2165 @end table
2167 The original argument list, modified with the actual connection
2168 information, is available via the @code{process-contact} function.
2169 @end defun
2171 @node Network Options
2172 @subsection Network Options
2174   The following network options can be specified when you create a
2175 network process.  Except for @code{:reuseaddr}, you can also set or
2176 modify these options later, using @code{set-network-process-option}.
2178   For a server process, the options specified with
2179 @code{make-network-process} are not inherited by the client
2180 connections, so you will need to set the necessary options for each
2181 child connection as it is created.
2183 @table @asis
2184 @item :bindtodevice @var{device-name}
2185 If @var{device-name} is a non-empty string identifying a network
2186 interface name (see @code{network-interface-list}), only handle
2187 packets received on that interface.  If @var{device-name} is @code{nil}
2188 (the default), handle packets received on any interface.
2190 Using this option may require special privileges on some systems.
2192 @item :broadcast @var{broadcast-flag}
2193 If @var{broadcast-flag} is non-@code{nil} for a datagram process, the
2194 process will receive datagram packet sent to a broadcast address, and
2195 be able to send packets to a broadcast address.  Ignored for a stream
2196 connection.
2198 @item :dontroute @var{dontroute-flag}
2199 If @var{dontroute-flag} is non-@code{nil}, the process can only send
2200 to hosts on the same network as the local host.
2202 @item :keepalive @var{keepalive-flag}
2203 If @var{keepalive-flag} is non-@code{nil} for a stream connection,
2204 enable exchange of low-level keep-alive messages.
2206 @item :linger @var{linger-arg}
2207 If @var{linger-arg} is non-@code{nil}, wait for successful
2208 transmission of all queued packets on the connection before it is
2209 deleted (see @code{delete-process}).  If @var{linger-arg} is an
2210 integer, it specifies the maximum time in seconds to wait for queued
2211 packets to be sent before closing the connection.  Default is
2212 @code{nil} which means to discard unsent queued packets when the
2213 process is deleted.
2215 @item :oobinline @var{oobinline-flag}
2216 If @var{oobinline-flag} is non-@code{nil} for a stream connection,
2217 receive out-of-band data in the normal data stream.  Otherwise, ignore
2218 out-of-band data.
2220 @item :priority @var{priority}
2221 Set the priority for packets sent on this connection to the integer
2222 @var{priority}.  The interpretation of this number is protocol
2223 specific, such as setting the TOS (type of service) field on IP
2224 packets sent on this connection.  It may also have system dependent
2225 effects, such as selecting a specific output queue on the network
2226 interface.
2228 @item :reuseaddr @var{reuseaddr-flag}
2229 If @var{reuseaddr-flag} is non-@code{nil} (the default) for a stream
2230 server process, allow this server to reuse a specific port number (see
2231 @code{:service}) unless another process on this host is already
2232 listening on that port.  If @var{reuseaddr-flag} is @code{nil}, there
2233 may be a period of time after the last use of that port (by any
2234 process on the host), where it is not possible to make a new server on
2235 that port.
2236 @end table
2238 @defun set-network-process-option process option value
2239 This function sets or modifies a network option for network process
2240 @var{process}.  See @code{make-network-process} for details of options
2241 @var{option} and their corresponding values @var{value}.
2243 The current setting of an option is available via the
2244 @code{process-contact} function.
2245 @end defun
2247 @node Network Feature Testing
2248 @subsection Testing Availability of Network Features
2250   To test for the availability of a given network feature, use
2251 @code{featurep} like this:
2253 @example
2254 (featurep 'make-network-process '(@var{keyword} @var{value}))
2255 @end example
2257 @noindent
2258 The result of the first form is @code{t} if it works to specify
2259 @var{keyword} with value @var{value} in @code{make-network-process}.
2260 The result of the second form is @code{t} if @var{keyword} is
2261 supported by @code{make-network-process}.  Here are some of the
2262 @var{keyword}---@var{value} pairs you can test in
2263 this way.
2265 @table @code
2266 @item (:nowait t)
2267 Non-@code{nil} if non-blocking connect is supported.
2268 @item (:type datagram)
2269 Non-@code{nil} if datagrams are supported.
2270 @item (:family local)
2271 Non-@code{nil} if local (a.k.a.@: ``UNIX domain'') sockets are supported.
2272 @item (:family ipv6)
2273 Non-@code{nil} if IPv6 is supported.
2274 @item (:service t)
2275 Non-@code{nil} if the system can select the port for a server.
2276 @end table
2278   To test for the availability of a given network option, use
2279 @code{featurep} like this:
2281 @example
2282 (featurep 'make-network-process '@var{keyword})
2283 @end example
2285 @noindent
2286 Here are some of the options you can test in this way.
2288 @table @code
2289 @item :bindtodevice
2290 @itemx :broadcast
2291 @itemx :dontroute
2292 @itemx :keepalive
2293 @itemx :linger
2294 @itemx :oobinline
2295 @itemx :priority
2296 @itemx :reuseaddr
2297 That particular network option is supported by
2298 @code{make-network-process} and @code{set-network-process-option}.
2299 @end table
2301 @node Misc Network
2302 @section Misc Network Facilities
2304   These additional functions are useful for creating and operating
2305 on network connections.  Note that they are supported only on some
2306 systems.
2308 @defun network-interface-list
2309 This function returns a list describing the network interfaces
2310 of the machine you are using.  The value is an alist whose
2311 elements have the form @code{(@var{name} . @var{address})}.
2312 @var{address} has the same form as the @var{local-address}
2313 and @var{remote-address} arguments to @code{make-network-process}.
2314 @end defun
2316 @defun network-interface-info ifname
2317 This function returns information about the network interface named
2318 @var{ifname}.  The value is a list of the form
2319 @code{(@var{addr} @var{bcast} @var{netmask} @var{hwaddr} @var{flags})}.
2321 @table @var
2322 @item addr
2323 The Internet protocol address.
2324 @item bcast
2325 The broadcast address.
2326 @item netmask
2327 The network mask.
2328 @item hwaddr
2329 The layer 2 address (Ethernet MAC address, for instance).
2330 @item flags
2331 The current flags of the interface.
2332 @end table
2333 @end defun
2335 @defun format-network-address address &optional omit-port
2336 This function converts the Lisp representation of a network address to
2337 a string.
2339 A five-element vector @code{[@var{a} @var{b} @var{c} @var{d} @var{p}]}
2340 represents an IPv4 address @var{a}.@var{b}.@var{c}.@var{d} and port
2341 number @var{p}.  @code{format-network-address} converts that to the
2342 string @code{"@var{a}.@var{b}.@var{c}.@var{d}:@var{p}"}.
2344 A nine-element vector @code{[@var{a} @var{b} @var{c} @var{d} @var{e}
2345 @var{f} @var{g} @var{h} @var{p}]} represents an IPv6 address along
2346 with a port number.  @code{format-network-address} converts that to
2347 the string
2348 @code{"[@var{a}:@var{b}:@var{c}:@var{d}:@var{e}:@var{f}:@var{g}:@var{h}]:@var{p}"}.
2350 If the vector does not include the port number, @var{p}, or if
2351 @var{omit-port} is non-@code{nil}, the result does not include the
2352 @code{:@var{p}} suffix.
2353 @end defun
2355 @node Serial Ports
2356 @section Communicating with Serial Ports
2357 @cindex @file{/dev/tty}
2358 @cindex @file{COM1}
2360   Emacs can communicate with serial ports.  For interactive use,
2361 @kbd{M-x serial-term} opens a terminal window.  In a Lisp program,
2362 @code{make-serial-process} creates a process object.
2364   The serial port can be configured at run-time, without having to
2365 close and re-open it.  The function @code{serial-process-configure}
2366 lets you change the speed, bytesize, and other parameters.  In a
2367 terminal window created by @code{serial-term}, you can click on the
2368 mode line for configuration.
2370   A serial connection is represented by a process object which can be
2371 used similar to a subprocess or network process.  You can send and
2372 receive data and configure the serial port.  A serial process object
2373 has no process ID, you can't send signals to it, and the status codes
2374 are different from other types of processes.
2375 @code{delete-process} on the process object or @code{kill-buffer} on
2376 the process buffer close the connection, but this does not affect the
2377 device connected to the serial port.
2379   The function @code{process-type} returns the symbol @code{serial}
2380 for a process object representing a serial port connection.
2382   Serial ports are available on GNU/Linux, Unix, and Windows systems.
2384 @deffn Command serial-term port speed
2385 Start a terminal-emulator for a serial port in a new buffer.
2386 @var{port} is the name of the serial port to which to connect.  For
2387 example, this could be @file{/dev/ttyS0} on Unix.  On Windows, this
2388 could be @file{COM1}, or @file{\\.\COM10} (double the backslashes in
2389 Lisp strings).
2391 @var{speed} is the speed of the serial port in bits per second.  9600
2392 is a common value.  The buffer is in Term mode; see @ref{Term Mode,,,
2393 emacs, The GNU Emacs Manual}, for the commands to use in that buffer.
2394 You can change the speed and the configuration in the mode line menu.
2395 @end deffn
2397 @defun make-serial-process &rest args
2398 This function creates a process and a buffer.  Arguments are specified
2399 as keyword/argument pairs.  Here's the list of the meaningful keywords:
2401 @table @code
2402 @item :port @var{port}@r{ (mandatory)}
2403 This is the name of the serial port.  On Unix and GNU systems, this is
2404 a file name such as @file{/dev/ttyS0}.  On Windows, this could be
2405 @file{COM1}, or @file{\\.\COM10} for ports higher than @file{COM9}
2406 (double the backslashes in Lisp strings).
2408 @item :speed @var{speed}@r{ (mandatory)}
2409 The speed of the serial port in bits per second.  This function calls
2410 @code{serial-process-configure} to handle the speed.
2412 @item :name @var{name}
2413 The name of the process.  If @var{name} is not given, @var{port} will
2414 serve as the process name as well.
2416 @item :buffer @var{buffer}
2417 The buffer to associate with the process.  The value could be either a
2418 buffer or a string that names a buffer.  Process output goes at the
2419 end of that buffer, unless you specify an output stream or filter
2420 function to handle the output.  If @var{buffer} is not given, the
2421 process buffer's name is taken from the value of the @code{:name}
2422 keyword.
2424 @item :coding @var{coding}
2425 If @var{coding} is a symbol, it specifies the coding system used for
2426 both reading and writing for this process.  If @var{coding} is a cons
2427 @code{(decoding . encoding)}, @var{decoding} is used for reading, and
2428 @var{encoding} is used for writing.  If not specified, the default is
2429 to determine the coding systems from data itself.
2431 @item :noquery @var{query-flag}
2432 Initialize the process query flag to @var{query-flag}.  @xref{Query
2433 Before Exit}.  The flags defaults to @code{nil} if unspecified.
2435 @item :stop @var{bool}
2436 Start process in the @code{stopped} state if @var{bool} is
2437 non-@code{nil}.  In the stopped state, a serial process does not
2438 accept incoming data, but you can send outgoing data.  The stopped
2439 state is cleared by @code{continue-process} and set by
2440 @code{stop-process}.
2442 @item :filter @var{filter}
2443 Install @var{filter} as the process filter.
2445 @item :sentinel @var{sentinel}
2446 Install @var{sentinel} as the process sentinel.
2448 @item :plist @var{plist}
2449 Install @var{plist} as the initial plist of the process.
2451 @item :speed
2452 @itemx :bytesize
2453 @itemx :parity
2454 @itemx :stopbits
2455 @itemx :flowcontrol
2456 These arguments are handled by @code{serial-process-configure}, which
2457 is called by @code{make-serial-process}.
2458 @end table
2460 The original argument list, possibly modified by later configuration,
2461 is available via the function @code{process-contact}.
2463 Examples:
2465 @example
2466 (make-serial-process :port "/dev/ttyS0" :speed 9600)
2468 (make-serial-process :port "COM1" :speed 115200 :stopbits 2)
2470 (make-serial-process :port "\\\\.\\COM13" :speed 1200
2471                      :bytesize 7 :parity 'odd)
2473 (make-serial-process :port "/dev/tty.BlueConsole-SPP-1" :speed nil)
2474 @end example
2475 @end defun
2477 @defun serial-process-configure &rest args
2478 @cindex baud, in serial connections
2479 @cindex bytesize, in serial connections
2480 @cindex parity, in serial connections
2481 @cindex stopbits, in serial connections
2482 @cindex flowcontrol, in serial connections
2484 This functions configures a serial port connection.  Arguments are
2485 specified as keyword/argument pairs.  Attributes that are not given
2486 are re-initialized from the process's current configuration (available
2487 via the function @code{process-contact}) or set to reasonable default
2488 values.  The following arguments are defined:
2490 @table @code
2491 @item :process @var{process}
2492 @itemx :name @var{name}
2493 @itemx :buffer @var{buffer}
2494 @itemx :port @var{port}
2495 Any of these arguments can be given to identify the process that is to
2496 be configured.  If none of these arguments is given, the current
2497 buffer's process is used.
2499 @item :speed @var{speed}
2500 The speed of the serial port in bits per second, also called @dfn{baud
2501 rate}.  Any value can be given for @var{speed}, but most serial ports
2502 work only at a few defined values between 1200 and 115200, with 9600
2503 being the most common value.  If @var{speed} is @code{nil}, the serial
2504 port is not configured any further, i.e., all other arguments are
2505 ignored.  This may be useful for special serial ports such as
2506 Bluetooth-to-serial converters which can only be configured through AT
2507 commands sent through the connection.  A value of @code{nil} for
2508 @var{speed} can be used only for connections already opened by
2509 @code{make-serial-process} or @code{serial-term}.
2511 @item :bytesize @var{bytesize}
2512 The number of bits per byte, which can be 7 or 8.  If @var{bytesize}
2513 is not given or @code{nil}, it defaults to 8.
2515 @item :parity @var{parity}
2516 The value can be @code{nil} (don't use parity), the symbol
2517 @code{odd} (use odd parity), or the symbol @code{even} (use even
2518 parity).  If @var{parity} is not given, it defaults to no parity.
2520 @item :stopbits @var{stopbits}
2521 The number of stopbits used to terminate a transmission
2522 of each byte.  @var{stopbits} can be 1 or 2.  If @var{stopbits} is not
2523 given or @code{nil}, it defaults to 1.
2525 @item :flowcontrol @var{flowcontrol}
2526 The type of flow control to use for this connection, which is either
2527 @code{nil} (don't use flow control), the symbol @code{hw} (use RTS/CTS
2528 hardware flow control), or the symbol @code{sw} (use XON/XOFF software
2529 flow control).  If @var{flowcontrol} is not given, it defaults to no
2530 flow control.
2531 @end table
2533 @code{serial-process-configure} is called by @code{make-serial-process} for the
2534 initial configuration of the serial port.
2536 Examples:
2538 @example
2539 (serial-process-configure :process "/dev/ttyS0" :speed 1200)
2541 (serial-process-configure :buffer "COM1" :stopbits 1 :parity 'odd :flowcontrol 'hw)
2543 (serial-process-configure :port "\\\\.\\COM13" :bytesize 7)
2544 @end example
2545 @end defun
2547 @node Byte Packing
2548 @section Packing and Unpacking Byte Arrays
2549 @cindex byte packing and unpacking
2551   This section describes how to pack and unpack arrays of bytes,
2552 usually for binary network protocols.  These functions convert byte arrays
2553 to alists, and vice versa.  The byte array can be represented as a
2554 unibyte string or as a vector of integers, while the alist associates
2555 symbols either with fixed-size objects or with recursive sub-alists.
2557 @cindex serializing
2558 @cindex deserializing
2559 @cindex packing
2560 @cindex unpacking
2561   Conversion from byte arrays to nested alists is also known as
2562 @dfn{deserializing} or @dfn{unpacking}, while going in the opposite
2563 direction is also known as @dfn{serializing} or @dfn{packing}.
2565 @menu
2566 * Bindat Spec::         Describing data layout.
2567 * Bindat Functions::    Doing the unpacking and packing.
2568 * Bindat Examples::     Samples of what bindat.el can do for you!
2569 @end menu
2571 @node Bindat Spec
2572 @subsection Describing Data Layout
2574   To control unpacking and packing, you write a @dfn{data layout
2575 specification}, a special nested list describing named and typed
2576 @dfn{fields}.  This specification controls length of each field to be
2577 processed, and how to pack or unpack it.  We normally keep bindat specs
2578 in variables whose names end in @samp{-bindat-spec}; that kind of name
2579 is automatically recognized as ``risky.''
2581 @cindex endianness
2582 @cindex big endian
2583 @cindex little endian
2584 @cindex network byte ordering
2585   A field's @dfn{type} describes the size (in bytes) of the object
2586 that the field represents and, in the case of multibyte fields, how
2587 the bytes are ordered within the field.  The two possible orderings
2588 are ``big endian'' (also known as ``network byte ordering'') and
2589 ``little endian.''  For instance, the number @code{#x23cd} (decimal
2590 9165) in big endian would be the two bytes @code{#x23} @code{#xcd};
2591 and in little endian, @code{#xcd} @code{#x23}.  Here are the possible
2592 type values:
2594 @table @code
2595 @item u8
2596 @itemx byte
2597 Unsigned byte, with length 1.
2599 @item u16
2600 @itemx word
2601 @itemx short
2602 Unsigned integer in network byte order, with length 2.
2604 @item u24
2605 Unsigned integer in network byte order, with length 3.
2607 @item u32
2608 @itemx dword
2609 @itemx long
2610 Unsigned integer in network byte order, with length 4.
2611 Note: These values may be limited by Emacs' integer implementation limits.
2613 @item u16r
2614 @itemx u24r
2615 @itemx u32r
2616 Unsigned integer in little endian order, with length 2, 3 and 4, respectively.
2618 @item str @var{len}
2619 String of length @var{len}.
2621 @item strz @var{len}
2622 Zero-terminated string, in a fixed-size field with length @var{len}.
2624 @item vec @var{len} [@var{type}]
2625 Vector of @var{len} elements of type @var{type}, or bytes if not
2626 @var{type} is specified.
2627 The @var{type} is any of the simple types above, or another vector
2628 specified as a list @code{(vec @var{len} [@var{type}])}.
2630 @item ip
2631 Four-byte vector representing an Internet address.  For example:
2632 @code{[127 0 0 1]} for localhost.
2634 @item bits @var{len}
2635 List of set bits in @var{len} bytes.  The bytes are taken in big
2636 endian order and the bits are numbered starting with @code{8 *
2637 @var{len} @minus{} 1} and ending with zero.  For example: @code{bits
2638 2} unpacks @code{#x28} @code{#x1c} to @code{(2 3 4 11 13)} and
2639 @code{#x1c} @code{#x28} to @code{(3 5 10 11 12)}.
2641 @item (eval @var{form})
2642 @var{form} is a Lisp expression evaluated at the moment the field is
2643 unpacked or packed.  The result of the evaluation should be one of the
2644 above-listed type specifications.
2645 @end table
2647 For a fixed-size field, the length @var{len} is given as an integer
2648 specifying the number of bytes in the field.
2650 When the length of a field is not fixed, it typically depends on the
2651 value of a preceding field.  In this case, the length @var{len} can be
2652 given either as a list @code{(@var{name} ...)} identifying a
2653 @dfn{field name} in the format specified for @code{bindat-get-field}
2654 below, or by an expression @code{(eval @var{form})} where @var{form}
2655 should evaluate to an integer, specifying the field length.
2657 A field specification generally has the form @code{([@var{name}]
2658 @var{handler})}.  The square braces indicate that @var{name} is
2659 optional.  (Don't use names that are symbols meaningful as type
2660 specifications (above) or handler specifications (below), since that
2661 would be ambiguous.)  @var{name} can be a symbol or the expression
2662 @code{(eval @var{form})}, in which case @var{form} should evaluate to
2663 a symbol.
2665 @var{handler} describes how to unpack or pack the field and can be one
2666 of the following:
2668 @table @code
2669 @item @var{type}
2670 Unpack/pack this field according to the type specification @var{type}.
2672 @item eval @var{form}
2673 Evaluate @var{form}, a Lisp expression, for side-effect only.  If the
2674 field name is specified, the value is bound to that field name.
2676 @item fill @var{len}
2677 Skip @var{len} bytes.  In packing, this leaves them unchanged,
2678 which normally means they remain zero.  In unpacking, this means
2679 they are ignored.
2681 @item align @var{len}
2682 Skip to the next multiple of @var{len} bytes.
2684 @item struct @var{spec-name}
2685 Process @var{spec-name} as a sub-specification.  This describes a
2686 structure nested within another structure.
2688 @item union @var{form} (@var{tag} @var{spec})@dots{}
2689 @c ??? I don't see how one would actually  use this.
2690 @c ??? what kind of expression would be useful for @var{form}?
2691 Evaluate @var{form}, a Lisp expression, find the first @var{tag}
2692 that matches it, and process its associated data layout specification
2693 @var{spec}.  Matching can occur in one of three ways:
2695 @itemize
2696 @item
2697 If a @var{tag} has the form @code{(eval @var{expr})}, evaluate
2698 @var{expr} with the variable @code{tag} dynamically bound to the value
2699 of @var{form}.  A non-@code{nil} result indicates a match.
2701 @item
2702 @var{tag} matches if it is @code{equal} to the value of @var{form}.
2704 @item
2705 @var{tag} matches unconditionally if it is @code{t}.
2706 @end itemize
2708 @item repeat @var{count} @var{field-specs}@dots{}
2709 Process the @var{field-specs} recursively, in order, then repeat
2710 starting from the first one, processing all the specs @var{count}
2711 times overall.  The @var{count} is given using the same formats as a
2712 field length---if an @code{eval} form is used, it is evaluated just once.
2713 For correct operation, each spec in @var{field-specs} must include a name.
2714 @end table
2716 For the @code{(eval @var{form})} forms used in a bindat specification,
2717 the @var{form} can access and update these dynamically bound variables
2718 during evaluation:
2720 @table @code
2721 @item last
2722 Value of the last field processed.
2724 @item bindat-raw
2725 The data as a byte array.
2727 @item bindat-idx
2728 Current index (within @code{bindat-raw}) for unpacking or packing.
2730 @item struct
2731 The alist containing the structured data that have been unpacked so
2732 far, or the entire structure being packed.  You can use
2733 @code{bindat-get-field} to access specific fields of this structure.
2735 @item count
2736 @itemx index
2737 Inside a @code{repeat} block, these contain the maximum number of
2738 repetitions (as specified by the @var{count} parameter), and the
2739 current repetition number (counting from 0).  Setting @code{count} to
2740 zero will terminate the inner-most repeat block after the current
2741 repetition has completed.
2742 @end table
2744 @node Bindat Functions
2745 @subsection Functions to Unpack and Pack Bytes
2747   In the following documentation, @var{spec} refers to a data layout
2748 specification, @code{bindat-raw} to a byte array, and @var{struct} to an
2749 alist representing unpacked field data.
2751 @defun bindat-unpack spec bindat-raw &optional bindat-idx
2752 This function unpacks data from the unibyte string or byte
2753 array @code{bindat-raw}
2754 according to @var{spec}.  Normally this starts unpacking at the
2755 beginning of the byte array, but if @var{bindat-idx} is non-@code{nil}, it
2756 specifies a zero-based starting position to use instead.
2758 The value is an alist or nested alist in which each element describes
2759 one unpacked field.
2760 @end defun
2762 @defun bindat-get-field struct &rest name
2763 This function selects a field's data from the nested alist
2764 @var{struct}.  Usually @var{struct} was returned by
2765 @code{bindat-unpack}.  If @var{name} corresponds to just one argument,
2766 that means to extract a top-level field value.  Multiple @var{name}
2767 arguments specify repeated lookup of sub-structures.  An integer name
2768 acts as an array index.
2770 For example, if @var{name} is @code{(a b 2 c)}, that means to find
2771 field @code{c} in the third element of subfield @code{b} of field
2772 @code{a}.  (This corresponds to @code{struct.a.b[2].c} in C.)
2773 @end defun
2775   Although packing and unpacking operations change the organization of
2776 data (in memory), they preserve the data's @dfn{total length}, which is
2777 the sum of all the fields' lengths, in bytes.  This value is not
2778 generally inherent in either the specification or alist alone; instead,
2779 both pieces of information contribute to its calculation.  Likewise, the
2780 length of a string or array being unpacked may be longer than the data's
2781 total length as described by the specification.
2783 @defun bindat-length spec struct
2784 This function returns the total length of the data in @var{struct},
2785 according to @var{spec}.
2786 @end defun
2788 @defun bindat-pack spec struct &optional bindat-raw bindat-idx
2789 This function returns a byte array packed according to @var{spec} from
2790 the data in the alist @var{struct}.  Normally it creates and fills a
2791 new byte array starting at the beginning.  However, if @var{bindat-raw}
2792 is non-@code{nil}, it specifies a pre-allocated unibyte string or vector to
2793 pack into.  If @var{bindat-idx} is non-@code{nil}, it specifies the starting
2794 offset for packing into @code{bindat-raw}.
2796 When pre-allocating, you should make sure @code{(length @var{bindat-raw})}
2797 meets or exceeds the total length to avoid an out-of-range error.
2798 @end defun
2800 @defun bindat-ip-to-string ip
2801 Convert the Internet address vector @var{ip} to a string in the usual
2802 dotted notation.
2804 @example
2805 (bindat-ip-to-string [127 0 0 1])
2806      @result{} "127.0.0.1"
2807 @end example
2808 @end defun
2810 @node Bindat Examples
2811 @subsection Examples of Byte Unpacking and Packing
2813   Here is a complete example of byte unpacking and packing:
2815 @lisp
2816 (defvar fcookie-index-spec
2817   '((:version  u32)
2818     (:count    u32)
2819     (:longest  u32)
2820     (:shortest u32)
2821     (:flags    u32)
2822     (:delim    u8)
2823     (:ignored  fill 3)
2824     (:offset   repeat (:count)
2825                (:foo u32)))
2826   "Description of a fortune cookie index file's contents.")
2828 (defun fcookie (cookies &optional index)
2829   "Display a random fortune cookie from file COOKIES.
2830 Optional second arg INDEX specifies the associated index
2831 filename, which is by default constructed by appending
2832 \".dat\" to COOKIES.  Display cookie text in possibly
2833 new buffer \"*Fortune Cookie: BASENAME*\" where BASENAME
2834 is COOKIES without the directory part."
2835   (interactive "fCookies file: ")
2836   (let* ((info (with-temp-buffer
2837                  (insert-file-contents-literally
2838                   (or index (concat cookies ".dat")))
2839                  (bindat-unpack fcookie-index-spec
2840                                 (buffer-string))))
2841          (sel (random (bindat-get-field info :count)))
2842          (beg (cdar (bindat-get-field info :offset sel)))
2843          (end (or (cdar (bindat-get-field info
2844                                           :offset (1+ sel)))
2845                   (nth 7 (file-attributes cookies)))))
2846     (switch-to-buffer
2847      (get-buffer-create
2848       (format "*Fortune Cookie: %s*"
2849               (file-name-nondirectory cookies))))
2850     (erase-buffer)
2851     (insert-file-contents-literally
2852      cookies nil beg (- end 3))))
2854 (defun fcookie-create-index (cookies &optional index delim)
2855   "Scan file COOKIES, and write out its index file.
2856 Optional second arg INDEX specifies the index filename,
2857 which is by default constructed by appending \".dat\" to
2858 COOKIES.  Optional third arg DELIM specifies the unibyte
2859 character which, when found on a line of its own in
2860 COOKIES, indicates the border between entries."
2861   (interactive "fCookies file: ")
2862   (setq delim (or delim ?%))
2863   (let ((delim-line (format "\n%c\n" delim))
2864         (count 0)
2865         (max 0)
2866         min p q len offsets)
2867     (unless (= 3 (string-bytes delim-line))
2868       (error "Delimiter cannot be represented in one byte"))
2869     (with-temp-buffer
2870       (insert-file-contents-literally cookies)
2871       (while (and (setq p (point))
2872                   (search-forward delim-line (point-max) t)
2873                   (setq len (- (point) 3 p)))
2874         (setq count (1+ count)
2875               max (max max len)
2876               min (min (or min max) len)
2877               offsets (cons (1- p) offsets))))
2878     (with-temp-buffer
2879       (set-buffer-multibyte nil)
2880       (insert
2881        (bindat-pack
2882         fcookie-index-spec
2883         `((:version . 2)
2884           (:count . ,count)
2885           (:longest . ,max)
2886           (:shortest . ,min)
2887           (:flags . 0)
2888           (:delim . ,delim)
2889           (:offset . ,(mapcar (lambda (o)
2890                                 (list (cons :foo o)))
2891                               (nreverse offsets))))))
2892       (let ((coding-system-for-write 'raw-text-unix))
2893         (write-file (or index (concat cookies ".dat")))))))
2894 @end lisp
2896 Following is an example of defining and unpacking a complex structure.
2897 Consider the following C structures:
2899 @example
2900 struct header @{
2901     unsigned long    dest_ip;
2902     unsigned long    src_ip;
2903     unsigned short   dest_port;
2904     unsigned short   src_port;
2907 struct data @{
2908     unsigned char    type;
2909     unsigned char    opcode;
2910     unsigned short   length;  /* In network byte order */
2911     unsigned char    id[8];   /* null-terminated string  */
2912     unsigned char    data[/* (length + 3) & ~3 */];
2915 struct packet @{
2916     struct header    header;
2917     unsigned long    counters[2];  /* In little endian order */
2918     unsigned char    items;
2919     unsigned char    filler[3];
2920     struct data      item[/* items */];
2923 @end example
2925 The corresponding data layout specification:
2927 @lisp
2928 (setq header-spec
2929       '((dest-ip   ip)
2930         (src-ip    ip)
2931         (dest-port u16)
2932         (src-port  u16)))
2934 (setq data-spec
2935       '((type      u8)
2936         (opcode    u8)
2937         (length    u16)  ;; network byte order
2938         (id        strz 8)
2939         (data      vec (length))
2940         (align     4)))
2942 (setq packet-spec
2943       '((header    struct header-spec)
2944         (counters  vec 2 u32r)   ;; little endian order
2945         (items     u8)
2946         (fill      3)
2947         (item      repeat (items)
2948                    (struct data-spec))))
2949 @end lisp
2951 A binary data representation:
2953 @lisp
2954 (setq binary-data
2955       [ 192 168 1 100 192 168 1 101 01 28 21 32
2956         160 134 1 0 5 1 0 0 2 0 0 0
2957         2 3 0 5 ?A ?B ?C ?D ?E ?F 0 0 1 2 3 4 5 0 0 0
2958         1 4 0 7 ?B ?C ?D ?E ?F ?G 0 0 6 7 8 9 10 11 12 0 ])
2959 @end lisp
2961 The corresponding decoded structure:
2963 @lisp
2964 (setq decoded (bindat-unpack packet-spec binary-data))
2965      @result{}
2966 ((header
2967   (dest-ip   . [192 168 1 100])
2968   (src-ip    . [192 168 1 101])
2969   (dest-port . 284)
2970   (src-port  . 5408))
2971  (counters . [100000 261])
2972  (items . 2)
2973  (item ((data . [1 2 3 4 5])
2974         (id . "ABCDEF")
2975         (length . 5)
2976         (opcode . 3)
2977         (type . 2))
2978        ((data . [6 7 8 9 10 11 12])
2979         (id . "BCDEFG")
2980         (length . 7)
2981         (opcode . 4)
2982         (type . 1))))
2983 @end lisp
2985 Fetching data from this structure:
2987 @lisp
2988 (bindat-get-field decoded 'item 1 'id)
2989      @result{} "BCDEFG"
2990 @end lisp
2992 @ignore
2993    arch-tag: ba9da253-e65f-4e7f-b727-08fba0a1df7a
2994 @end ignore