(latexenc-find-file-coding-system): Don't inherit the EOL part of the
[emacs.git] / lispref / nonascii.texi
blobaaa23e90a48bbe955d7c6b3280069c620128b8ce
1 @c -*-texinfo-*-
2 @c This is part of the GNU Emacs Lisp Reference Manual.
3 @c Copyright (C) 1998, 1999 Free Software Foundation, Inc.
4 @c See the file elisp.texi for copying conditions.
5 @setfilename ../info/characters
6 @node Non-ASCII Characters, Searching and Matching, Text, Top
7 @chapter Non-@acronym{ASCII} Characters
8 @cindex multibyte characters
9 @cindex non-@acronym{ASCII} characters
11   This chapter covers the special issues relating to non-@acronym{ASCII}
12 characters and how they are stored in strings and buffers.
14 @menu
15 * Text Representations::    Unibyte and multibyte representations
16 * Converting Representations::  Converting unibyte to multibyte and vice versa.
17 * Selecting a Representation::  Treating a byte sequence as unibyte or multi.
18 * Character Codes::         How unibyte and multibyte relate to
19                                 codes of individual characters.
20 * Character Sets::          The space of possible character codes
21                                 is divided into various character sets.
22 * Chars and Bytes::         More information about multibyte encodings.
23 * Splitting Characters::    Converting a character to its byte sequence.
24 * Scanning Charsets::       Which character sets are used in a buffer?
25 * Translation of Characters::   Translation tables are used for conversion.
26 * Coding Systems::          Coding systems are conversions for saving files.
27 * Input Methods::           Input methods allow users to enter various
28                                 non-ASCII characters without special keyboards.
29 * Locales::                 Interacting with the POSIX locale.
30 @end menu
32 @node Text Representations
33 @section Text Representations
34 @cindex text representations
36   Emacs has two @dfn{text representations}---two ways to represent text
37 in a string or buffer.  These are called @dfn{unibyte} and
38 @dfn{multibyte}.  Each string, and each buffer, uses one of these two
39 representations.  For most purposes, you can ignore the issue of
40 representations, because Emacs converts text between them as
41 appropriate.  Occasionally in Lisp programming you will need to pay
42 attention to the difference.
44 @cindex unibyte text
45   In unibyte representation, each character occupies one byte and
46 therefore the possible character codes range from 0 to 255.  Codes 0
47 through 127 are @acronym{ASCII} characters; the codes from 128 through 255
48 are used for one non-@acronym{ASCII} character set (you can choose which
49 character set by setting the variable @code{nonascii-insert-offset}).
51 @cindex leading code
52 @cindex multibyte text
53 @cindex trailing codes
54   In multibyte representation, a character may occupy more than one
55 byte, and as a result, the full range of Emacs character codes can be
56 stored.  The first byte of a multibyte character is always in the range
57 128 through 159 (octal 0200 through 0237).  These values are called
58 @dfn{leading codes}.  The second and subsequent bytes of a multibyte
59 character are always in the range 160 through 255 (octal 0240 through
60 0377); these values are @dfn{trailing codes}.
62   Some sequences of bytes are not valid in multibyte text: for example,
63 a single isolated byte in the range 128 through 159 is not allowed.  But
64 character codes 128 through 159 can appear in multibyte text,
65 represented as two-byte sequences.  All the character codes 128 through
66 255 are possible (though slightly abnormal) in multibyte text; they
67 appear in multibyte buffers and strings when you do explicit encoding
68 and decoding (@pxref{Explicit Encoding}).
70   In a buffer, the buffer-local value of the variable
71 @code{enable-multibyte-characters} specifies the representation used.
72 The representation for a string is determined and recorded in the string
73 when the string is constructed.
75 @defvar enable-multibyte-characters
76 This variable specifies the current buffer's text representation.
77 If it is non-@code{nil}, the buffer contains multibyte text; otherwise,
78 it contains unibyte text.
80 You cannot set this variable directly; instead, use the function
81 @code{set-buffer-multibyte} to change a buffer's representation.
82 @end defvar
84 @defvar default-enable-multibyte-characters
85 This variable's value is entirely equivalent to @code{(default-value
86 'enable-multibyte-characters)}, and setting this variable changes that
87 default value.  Setting the local binding of
88 @code{enable-multibyte-characters} in a specific buffer is not allowed,
89 but changing the default value is supported, and it is a reasonable
90 thing to do, because it has no effect on existing buffers.
92 The @samp{--unibyte} command line option does its job by setting the
93 default value to @code{nil} early in startup.
94 @end defvar
96 @defun position-bytes position
97 @tindex position-bytes
98 Return the byte-position corresponding to buffer position
99 @var{position} in the current buffer.  This is 1 at the start of the
100 buffer, and counts upward in bytes.  If @var{position} is out of
101 range, the value is @code{nil}.
102 @end defun
104 @defun byte-to-position byte-position
105 @tindex byte-to-position
106 Return the buffer position corresponding to byte-position
107 @var{byte-position} in the current buffer.  If @var{byte-position} is
108 out of range, the value is @code{nil}.
109 @end defun
111 @defun multibyte-string-p string
112 Return @code{t} if @var{string} is a multibyte string.
113 @end defun
115 @node Converting Representations
116 @section Converting Text Representations
118   Emacs can convert unibyte text to multibyte; it can also convert
119 multibyte text to unibyte, though this conversion loses information.  In
120 general these conversions happen when inserting text into a buffer, or
121 when putting text from several strings together in one string.  You can
122 also explicitly convert a string's contents to either representation.
124   Emacs chooses the representation for a string based on the text that
125 it is constructed from.  The general rule is to convert unibyte text to
126 multibyte text when combining it with other multibyte text, because the
127 multibyte representation is more general and can hold whatever
128 characters the unibyte text has.
130   When inserting text into a buffer, Emacs converts the text to the
131 buffer's representation, as specified by
132 @code{enable-multibyte-characters} in that buffer.  In particular, when
133 you insert multibyte text into a unibyte buffer, Emacs converts the text
134 to unibyte, even though this conversion cannot in general preserve all
135 the characters that might be in the multibyte text.  The other natural
136 alternative, to convert the buffer contents to multibyte, is not
137 acceptable because the buffer's representation is a choice made by the
138 user that cannot be overridden automatically.
140   Converting unibyte text to multibyte text leaves @acronym{ASCII} characters
141 unchanged, and likewise character codes 128 through 159.  It converts
142 the non-@acronym{ASCII} codes 160 through 255 by adding the value
143 @code{nonascii-insert-offset} to each character code.  By setting this
144 variable, you specify which character set the unibyte characters
145 correspond to (@pxref{Character Sets}).  For example, if
146 @code{nonascii-insert-offset} is 2048, which is @code{(- (make-char
147 'latin-iso8859-1) 128)}, then the unibyte non-@acronym{ASCII} characters
148 correspond to Latin 1.  If it is 2688, which is @code{(- (make-char
149 'greek-iso8859-7) 128)}, then they correspond to Greek letters.
151   Converting multibyte text to unibyte is simpler: it discards all but
152 the low 8 bits of each character code.  If @code{nonascii-insert-offset}
153 has a reasonable value, corresponding to the beginning of some character
154 set, this conversion is the inverse of the other: converting unibyte
155 text to multibyte and back to unibyte reproduces the original unibyte
156 text.
158 @defvar nonascii-insert-offset
159 This variable specifies the amount to add to a non-@acronym{ASCII} character
160 when converting unibyte text to multibyte.  It also applies when
161 @code{self-insert-command} inserts a character in the unibyte
162 non-@acronym{ASCII} range, 128 through 255.  However, the functions
163 @code{insert} and @code{insert-char} do not perform this conversion.
165 The right value to use to select character set @var{cs} is @code{(-
166 (make-char @var{cs}) 128)}.  If the value of
167 @code{nonascii-insert-offset} is zero, then conversion actually uses the
168 value for the Latin 1 character set, rather than zero.
169 @end defvar
171 @defvar nonascii-translation-table
172 This variable provides a more general alternative to
173 @code{nonascii-insert-offset}.  You can use it to specify independently
174 how to translate each code in the range of 128 through 255 into a
175 multibyte character.  The value should be a char-table, or @code{nil}.
176 If this is non-@code{nil}, it overrides @code{nonascii-insert-offset}.
177 @end defvar
179 The next three functions either return the argument @var{string}, or a
180 newly created string with no text properties.
182 @defun string-make-unibyte string
183 This function converts the text of @var{string} to unibyte
184 representation, if it isn't already, and returns the result.  If
185 @var{string} is a unibyte string, it is returned unchanged.  Multibyte
186 character codes are converted to unibyte according to
187 @code{nonascii-translation-table} or, if that is @code{nil}, using
188 @code{nonascii-insert-offset}.  If the lookup in the translation table
189 fails, this function takes just the low 8 bits of each character.
190 @end defun
192 @defun string-make-multibyte string
193 This function converts the text of @var{string} to multibyte
194 representation, if it isn't already, and returns the result.  If
195 @var{string} is a multibyte string or consists entirely of
196 @acronym{ASCII} characters, it is returned unchanged.  In particular,
197 if @var{string} is unibyte and entirely @acronym{ASCII}, the returned
198 string is unibyte.  (When the characters are all @acronym{ASCII},
199 Emacs primitives will treat the string the same way whether it is
200 unibyte or multibyte.)  If @var{string} is unibyte and contains
201 non-@acronym{ASCII} characters, the function
202 @code{unibyte-char-to-multibyte} is used to convert each unibyte
203 character to a multibyte character.
204 @end defun
206 @defun string-to-multibyte string
207 This function returns a multibyte string containing the same sequence
208 of character codes as @var{string}.  Unlike
209 @code{string-make-multibyte}, this function unconditionally returns a
210 multibyte string.  If @var{string} is a multibyte string, it is
211 returned unchanged.
212 @end defun
214 @defun multibyte-char-to-unibyte char
215 This convert the multibyte character @var{char} to a unibyte
216 character, based on @code{nonascii-translation-table} and
217 @code{nonascii-insert-offset}.
218 @end defun
220 @defun unibyte-char-to-multibyte char
221 This convert the unibyte character @var{char} to a multibyte
222 character, based on @code{nonascii-translation-table} and
223 @code{nonascii-insert-offset}.
224 @end defun
226 @node Selecting a Representation
227 @section Selecting a Representation
229   Sometimes it is useful to examine an existing buffer or string as
230 multibyte when it was unibyte, or vice versa.
232 @defun set-buffer-multibyte multibyte
233 Set the representation type of the current buffer.  If @var{multibyte}
234 is non-@code{nil}, the buffer becomes multibyte.  If @var{multibyte}
235 is @code{nil}, the buffer becomes unibyte.
237 This function leaves the buffer contents unchanged when viewed as a
238 sequence of bytes.  As a consequence, it can change the contents viewed
239 as characters; a sequence of two bytes which is treated as one character
240 in multibyte representation will count as two characters in unibyte
241 representation.  Character codes 128 through 159 are an exception.  They
242 are represented by one byte in a unibyte buffer, but when the buffer is
243 set to multibyte, they are converted to two-byte sequences, and vice
244 versa.
246 This function sets @code{enable-multibyte-characters} to record which
247 representation is in use.  It also adjusts various data in the buffer
248 (including overlays, text properties and markers) so that they cover the
249 same text as they did before.
251 You cannot use @code{set-buffer-multibyte} on an indirect buffer,
252 because indirect buffers always inherit the representation of the
253 base buffer.
254 @end defun
256 @defun string-as-unibyte string
257 This function returns a string with the same bytes as @var{string} but
258 treating each byte as a character.  This means that the value may have
259 more characters than @var{string} has.
261 If @var{string} is already a unibyte string, then the value is
262 @var{string} itself.  Otherwise it is a newly created string, with no
263 text properties.  If @var{string} is multibyte, any characters it
264 contains of charset @code{eight-bit-control} or @code{eight-bit-graphic}
265 are converted to the corresponding single byte.
266 @end defun
268 @defun string-as-multibyte string
269 This function returns a string with the same bytes as @var{string} but
270 treating each multibyte sequence as one character.  This means that the
271 value may have fewer characters than @var{string} has.
273 If @var{string} is already a multibyte string, then the value is
274 @var{string} itself.  Otherwise it is a newly created string, with no
275 text properties.  If @var{string} is unibyte and contains any individual
276 8-bit bytes (i.e.@: not part of a multibyte form), they are converted to
277 the corresponding multibyte character of charset @code{eight-bit-control}
278 or @code{eight-bit-graphic}.
279 @end defun
281 @node Character Codes
282 @section Character Codes
283 @cindex character codes
285   The unibyte and multibyte text representations use different character
286 codes.  The valid character codes for unibyte representation range from
287 0 to 255---the values that can fit in one byte.  The valid character
288 codes for multibyte representation range from 0 to 524287, but not all
289 values in that range are valid.  The values 128 through 255 are not
290 entirely proper in multibyte text, but they can occur if you do explicit
291 encoding and decoding (@pxref{Explicit Encoding}).  Some other character
292 codes cannot occur at all in multibyte text.  Only the @acronym{ASCII} codes
293 0 through 127 are completely legitimate in both representations.
295 @defun char-valid-p charcode &optional genericp
296 This returns @code{t} if @var{charcode} is valid (either for unibyte
297 text or for multibyte text).
299 @example
300 (char-valid-p 65)
301      @result{} t
302 (char-valid-p 256)
303      @result{} nil
304 (char-valid-p 2248)
305      @result{} t
306 @end example
308 If the optional argument @var{genericp} is non-@code{nil}, this
309 function also returns @code{t} if @var{charcode} is a generic
310 character (@pxref{Splitting Characters}).
311 @end defun
313 @node Character Sets
314 @section Character Sets
315 @cindex character sets
317   Emacs classifies characters into various @dfn{character sets}, each of
318 which has a name which is a symbol.  Each character belongs to one and
319 only one character set.
321   In general, there is one character set for each distinct script.  For
322 example, @code{latin-iso8859-1} is one character set,
323 @code{greek-iso8859-7} is another, and @code{ascii} is another.  An
324 Emacs character set can hold at most 9025 characters; therefore, in some
325 cases, characters that would logically be grouped together are split
326 into several character sets.  For example, one set of Chinese
327 characters, generally known as Big 5, is divided into two Emacs
328 character sets, @code{chinese-big5-1} and @code{chinese-big5-2}.
330   @acronym{ASCII} characters are in character set @code{ascii}.  The
331 non-@acronym{ASCII} characters 128 through 159 are in character set
332 @code{eight-bit-control}, and codes 160 through 255 are in character set
333 @code{eight-bit-graphic}.
335 @defun charsetp object
336 Returns @code{t} if @var{object} is a symbol that names a character set,
337 @code{nil} otherwise.
338 @end defun
340 @defvar charset-list
341 The value is a list of all defined character set names.
342 @end defvar
344 @defun charset-list
345 This function returns the value of @code{charset-list}.  It is only
346 provided for backward compatibility.
347 @end defun
349 @defun char-charset character
350 This function returns the name of the character set that @var{character}
351 belongs to, or the symbol @code{unknown} if @var{character} is not a
352 valid character.
353 @end defun
355 @defun charset-plist charset
356 @tindex charset-plist
357 This function returns the charset property list of the character set
358 @var{charset}.  Although @var{charset} is a symbol, this is not the same
359 as the property list of that symbol.  Charset properties are used for
360 special purposes within Emacs.
361 @end defun
363 @deffn Command list-charset-chars charset
364 This command displays a list of characters in the character set
365 @var{charset}.
366 @end deffn
368 @node Chars and Bytes
369 @section Characters and Bytes
370 @cindex bytes and characters
372 @cindex introduction sequence
373 @cindex dimension (of character set)
374   In multibyte representation, each character occupies one or more
375 bytes.  Each character set has an @dfn{introduction sequence}, which is
376 normally one or two bytes long.  (Exception: the @code{ascii} character
377 set and the @code{eight-bit-graphic} character set have a zero-length
378 introduction sequence.)  The introduction sequence is the beginning of
379 the byte sequence for any character in the character set.  The rest of
380 the character's bytes distinguish it from the other characters in the
381 same character set.  Depending on the character set, there are either
382 one or two distinguishing bytes; the number of such bytes is called the
383 @dfn{dimension} of the character set.
385 @defun charset-dimension charset
386 This function returns the dimension of @var{charset}; at present, the
387 dimension is always 1 or 2.
388 @end defun
390 @defun charset-bytes charset
391 @tindex charset-bytes
392 This function returns the number of bytes used to represent a character
393 in character set @var{charset}.
394 @end defun
396   This is the simplest way to determine the byte length of a character
397 set's introduction sequence:
399 @example
400 (- (charset-bytes @var{charset})
401    (charset-dimension @var{charset}))
402 @end example
404 @node Splitting Characters
405 @section Splitting Characters
407   The functions in this section convert between characters and the byte
408 values used to represent them.  For most purposes, there is no need to
409 be concerned with the sequence of bytes used to represent a character,
410 because Emacs translates automatically when necessary.
412 @defun split-char character
413 Return a list containing the name of the character set of
414 @var{character}, followed by one or two byte values (integers) which
415 identify @var{character} within that character set.  The number of byte
416 values is the character set's dimension.
418 If @var{character} is invalid as a character code, @code{split-char}
419 returns a list consisting of the symbol @code{unknown} and @var{character}.
421 @example
422 (split-char 2248)
423      @result{} (latin-iso8859-1 72)
424 (split-char 65)
425      @result{} (ascii 65)
426 (split-char 128)
427      @result{} (eight-bit-control 128)
428 @end example
429 @end defun
431 @defun make-char charset &optional code1 code2
432 This function returns the character in character set @var{charset} whose
433 position codes are @var{code1} and @var{code2}.  This is roughly the
434 inverse of @code{split-char}.  Normally, you should specify either one
435 or both of @var{code1} and @var{code2} according to the dimension of
436 @var{charset}.  For example,
438 @example
439 (make-char 'latin-iso8859-1 72)
440      @result{} 2248
441 @end example
443 Actually, the eighth bit of both @var{code1} and @var{code2} is zeroed
444 before they are used to index @var{charset}.  Thus you may use, for
445 instance, an ISO 8859 character code rather than subtracting 128, as
446 is necessary to index the corresponding Emacs charset.
447 @end defun
449 @cindex generic characters
450   If you call @code{make-char} with no @var{byte-values}, the result is
451 a @dfn{generic character} which stands for @var{charset}.  A generic
452 character is an integer, but it is @emph{not} valid for insertion in the
453 buffer as a character.  It can be used in @code{char-table-range} to
454 refer to the whole character set (@pxref{Char-Tables}).
455 @code{char-valid-p} returns @code{nil} for generic characters.
456 For example:
458 @example
459 (make-char 'latin-iso8859-1)
460      @result{} 2176
461 (char-valid-p 2176)
462      @result{} nil
463 (char-valid-p 2176 t)
464      @result{} t
465 (split-char 2176)
466      @result{} (latin-iso8859-1 0)
467 @end example
469 The character sets @code{ascii}, @code{eight-bit-control}, and
470 @code{eight-bit-graphic} don't have corresponding generic characters.  If
471 @var{charset} is one of them and you don't supply @var{code1},
472 @code{make-char} returns the character code corresponding to the
473 smallest code in @var{charset}.
475 @node Scanning Charsets
476 @section Scanning for Character Sets
478   Sometimes it is useful to find out which character sets appear in a
479 part of a buffer or a string.  One use for this is in determining which
480 coding systems (@pxref{Coding Systems}) are capable of representing all
481 of the text in question.
483 @defun charset-after &optional pos
484 This function return the charset of a character in the current buffer
485 at position @var{pos}.  If @var{pos} is omitted or @code{nil}, it
486 defauls to the current value of point.  If @var{pos} is out of range,
487 the value is @code{nil}.
488 @end defun
490 @defun find-charset-region beg end &optional translation
491 This function returns a list of the character sets that appear in the
492 current buffer between positions @var{beg} and @var{end}.
494 The optional argument @var{translation} specifies a translation table to
495 be used in scanning the text (@pxref{Translation of Characters}).  If it
496 is non-@code{nil}, then each character in the region is translated
497 through this table, and the value returned describes the translated
498 characters instead of the characters actually in the buffer.
499 @end defun
501 @defun find-charset-string string &optional translation
502 This function returns a list of the character sets that appear in the
503 string @var{string}.  It is just like @code{find-charset-region}, except
504 that it applies to the contents of @var{string} instead of part of the
505 current buffer.
506 @end defun
508 @node Translation of Characters
509 @section Translation of Characters
510 @cindex character translation tables
511 @cindex translation tables
513   A @dfn{translation table} is a char-table that specifies a mapping
514 of characters into characters.  These tables are used in encoding and
515 decoding, and for other purposes.  Some coding systems specify their
516 own particular translation tables; there are also default translation
517 tables which apply to all other coding systems.
519   For instance, the coding-system @code{utf-8} has a translation table
520 that maps characters of various charsets (e.g.,
521 @code{latin-iso8859-@var{x}}) into Unicode character sets.  This way,
522 it can encode Latin-2 characters into UTF-8.  Meanwhile,
523 @code{unify-8859-on-decoding-mode} operates by specifying
524 @code{standard-translation-table-for-decode} to translate
525 Latin-@var{x} characters into corresponding Unicode characters.
527 @defun make-translation-table &rest translations
528 This function returns a translation table based on the argument
529 @var{translations}.  Each element of @var{translations} should be a
530 list of elements of the form @code{(@var{from} . @var{to})}; this says
531 to translate the character @var{from} into @var{to}.
533 The arguments and the forms in each argument are processed in order,
534 and if a previous form already translates @var{to} to some other
535 character, say @var{to-alt}, @var{from} is also translated to
536 @var{to-alt}.
538 You can also map one whole character set into another character set with
539 the same dimension.  To do this, you specify a generic character (which
540 designates a character set) for @var{from} (@pxref{Splitting Characters}).
541 In this case, if @var{to} is also a generic character, its character
542 set should have the same dimension as @var{from}'s.  Then the
543 translation table translates each character of @var{from}'s character
544 set into the corresponding character of @var{to}'s character set.  If
545 @var{from} is a generic character and @var{to} is an ordinary
546 character, then the translation table translates every character of
547 @var{from}'s character set into @var{to}.
548 @end defun
550   In decoding, the translation table's translations are applied to the
551 characters that result from ordinary decoding.  If a coding system has
552 property @code{translation-table-for-decode}, that specifies the
553 translation table to use.  (This is a property of the coding system,
554 as returned by @code{coding-system-get}, not a property of the symbol
555 that is the coding system's name. @xref{Coding System Basics,, Basic
556 Concepts of Coding Systems}.)  Otherwise, if
557 @code{standard-translation-table-for-decode} is non-@code{nil},
558 decoding uses that table.
560   In encoding, the translation table's translations are applied to the
561 characters in the buffer, and the result of translation is actually
562 encoded.  If a coding system has property
563 @code{translation-table-for-encode}, that specifies the translation
564 table to use.  Otherwise the variable
565 @code{standard-translation-table-for-encode} specifies the translation
566 table.
568 @defvar standard-translation-table-for-decode
569 This is the default translation table for decoding, for
570 coding systems that don't specify any other translation table.
571 @end defvar
573 @defvar standard-translation-table-for-encode
574 This is the default translation table for encoding, for
575 coding systems that don't specify any other translation table.
576 @end defvar
578 @defvar translation-table-for-input
579 Self-inserting characters are translated through this translation
580 table before they are inserted.  This variable automatically becomes
581 buffer-local when set.
583 @code{set-buffer-file-coding-system} sets this variable so that your
584 keyboard input gets translated into the character sets that the buffer
585 is likely to contain.
586 @end defvar
588 @node Coding Systems
589 @section Coding Systems
591 @cindex coding system
592   When Emacs reads or writes a file, and when Emacs sends text to a
593 subprocess or receives text from a subprocess, it normally performs
594 character code conversion and end-of-line conversion as specified
595 by a particular @dfn{coding system}.
597   How to define a coding system is an arcane matter, and is not
598 documented here.
600 @menu
601 * Coding System Basics::        Basic concepts.
602 * Encoding and I/O::            How file I/O functions handle coding systems.
603 * Lisp and Coding Systems::     Functions to operate on coding system names.
604 * User-Chosen Coding Systems::  Asking the user to choose a coding system.
605 * Default Coding Systems::      Controlling the default choices.
606 * Specifying Coding Systems::   Requesting a particular coding system
607                                     for a single file operation.
608 * Explicit Encoding::           Encoding or decoding text without doing I/O.
609 * Terminal I/O Encoding::       Use of encoding for terminal I/O.
610 * MS-DOS File Types::           How DOS "text" and "binary" files
611                                     relate to coding systems.
612 @end menu
614 @node Coding System Basics
615 @subsection Basic Concepts of Coding Systems
617 @cindex character code conversion
618   @dfn{Character code conversion} involves conversion between the encoding
619 used inside Emacs and some other encoding.  Emacs supports many
620 different encodings, in that it can convert to and from them.  For
621 example, it can convert text to or from encodings such as Latin 1, Latin
622 2, Latin 3, Latin 4, Latin 5, and several variants of ISO 2022.  In some
623 cases, Emacs supports several alternative encodings for the same
624 characters; for example, there are three coding systems for the Cyrillic
625 (Russian) alphabet: ISO, Alternativnyj, and KOI8.
627   Most coding systems specify a particular character code for
628 conversion, but some of them leave the choice unspecified---to be chosen
629 heuristically for each file, based on the data.
631   In general, a coding system doesn't guarantee roundtrip identity:
632 decoding a byte sequence using coding system, then encoding the
633 resulting text in the same coding system, can produce a different byte
634 sequence.  However, the following coding systems do guarantee that the
635 byte sequence will be the same as what you originally decoded:
637 @quotation
638 chinese-big5 chinese-iso-8bit cyrillic-iso-8bit emacs-mule
639 greek-iso-8bit hebrew-iso-8bit iso-latin-1 iso-latin-2 iso-latin-3
640 iso-latin-4 iso-latin-5 iso-latin-8 iso-latin-9 iso-safe
641 japanese-iso-8bit japanese-shift-jis korean-iso-8bit raw-text
642 @end quotation
644   Encoding buffer text and then decoding the result can also fail to
645 reproduce the original text.  For instance, if you encode Latin-2
646 characters with @code{utf-8} and decode the result using the same
647 coding system, you'll get Unicode characters (of charset
648 @code{mule-unicode-0100-24ff}).  If you encode Unicode characters with
649 @code{iso-latin-2} and decode the result with the same coding system,
650 you'll get Latin-2 characters.
652 @cindex end of line conversion
653   @dfn{End of line conversion} handles three different conventions used
654 on various systems for representing end of line in files.  The Unix
655 convention is to use the linefeed character (also called newline).  The
656 DOS convention is to use a carriage-return and a linefeed at the end of
657 a line.  The Mac convention is to use just carriage-return.
659 @cindex base coding system
660 @cindex variant coding system
661   @dfn{Base coding systems} such as @code{latin-1} leave the end-of-line
662 conversion unspecified, to be chosen based on the data.  @dfn{Variant
663 coding systems} such as @code{latin-1-unix}, @code{latin-1-dos} and
664 @code{latin-1-mac} specify the end-of-line conversion explicitly as
665 well.  Most base coding systems have three corresponding variants whose
666 names are formed by adding @samp{-unix}, @samp{-dos} and @samp{-mac}.
668   The coding system @code{raw-text} is special in that it prevents
669 character code conversion, and causes the buffer visited with that
670 coding system to be a unibyte buffer.  It does not specify the
671 end-of-line conversion, allowing that to be determined as usual by the
672 data, and has the usual three variants which specify the end-of-line
673 conversion.  @code{no-conversion} is equivalent to @code{raw-text-unix}:
674 it specifies no conversion of either character codes or end-of-line.
676   The coding system @code{emacs-mule} specifies that the data is
677 represented in the internal Emacs encoding.  This is like
678 @code{raw-text} in that no code conversion happens, but different in
679 that the result is multibyte data.
681 @defun coding-system-get coding-system property
682 This function returns the specified property of the coding system
683 @var{coding-system}.  Most coding system properties exist for internal
684 purposes, but one that you might find useful is @code{mime-charset}.
685 That property's value is the name used in MIME for the character coding
686 which this coding system can read and write.  Examples:
688 @example
689 (coding-system-get 'iso-latin-1 'mime-charset)
690      @result{} iso-8859-1
691 (coding-system-get 'iso-2022-cn 'mime-charset)
692      @result{} iso-2022-cn
693 (coding-system-get 'cyrillic-koi8 'mime-charset)
694      @result{} koi8-r
695 @end example
697 The value of the @code{mime-charset} property is also defined
698 as an alias for the coding system.
699 @end defun
701 @node Encoding and I/O
702 @subsection Encoding and I/O
704   The principal purpose of coding systems is for use in reading and
705 writing files.  The function @code{insert-file-contents} uses
706 a coding system for decoding the file data, and @code{write-region}
707 uses one to encode the buffer contents.
709   You can specify the coding system to use either explicitly
710 (@pxref{Specifying Coding Systems}), or implicitly using a default
711 mechanism (@pxref{Default Coding Systems}).  But these methods may not
712 completely specify what to do.  For example, they may choose a coding
713 system such as @code{undefined} which leaves the character code
714 conversion to be determined from the data.  In these cases, the I/O
715 operation finishes the job of choosing a coding system.  Very often
716 you will want to find out afterwards which coding system was chosen.
718 @defvar buffer-file-coding-system
719 This variable records the coding system that was used for visiting the
720 current buffer.  It is used for saving the buffer, and for writing part
721 of the buffer with @code{write-region}.  If the text to be written
722 cannot be safely encoded using the coding system specified by this
723 variable, these operations select an alternative encoding by calling
724 the function @code{select-safe-coding-system} (@pxref{User-Chosen
725 Coding Systems}).  If selecting a different encoding requires to ask
726 the user to specify a coding system, @code{buffer-file-coding-system}
727 is updated to the newly selected coding system.
729 @code{buffer-file-coding-system} does @emph{not} affect sending text
730 to a subprocess.
731 @end defvar
733 @defvar save-buffer-coding-system
734 This variable specifies the coding system for saving the buffer (by
735 overriding @code{buffer-file-coding-system}).  Note that it is not used
736 for @code{write-region}.
738 When a command to save the buffer starts out to use
739 @code{buffer-file-coding-system} (or @code{save-buffer-coding-system}),
740 and that coding system cannot handle
741 the actual text in the buffer, the command asks the user to choose
742 another coding system (by calling @code{select-safe-coding-system}).
743 After that happens, the command also updates
744 @code{buffer-file-coding-system} to represent the coding system that
745 the user specified.
746 @end defvar
748 @defvar last-coding-system-used
749 I/O operations for files and subprocesses set this variable to the
750 coding system name that was used.  The explicit encoding and decoding
751 functions (@pxref{Explicit Encoding}) set it too.
753 @strong{Warning:} Since receiving subprocess output sets this variable,
754 it can change whenever Emacs waits; therefore, you should copy the
755 value shortly after the function call that stores the value you are
756 interested in.
757 @end defvar
759   The variable @code{selection-coding-system} specifies how to encode
760 selections for the window system.  @xref{Window System Selections}.
762 @defvar file-name-coding-system
763 The variable @code{file-name-coding-system} specifies the coding
764 system to use for encoding file names.  Emacs encodes file names using
765 that coding system for all file operations.  If
766 @code{file-name-coding-system} is @code{nil}, Emacs uses a default
767 coding system determined by the selected language environment.  In the
768 default language environment, any non-@acronym{ASCII} characters in
769 file names are not encoded specially; they appear in the file system
770 using the internal Emacs representation.
771 @end defvar
773   @strong{Warning:} if you change @code{file-name-coding-system} (or
774 the language environment) in the middle of an Emacs session, problems
775 can result if you have already visited files whose names were encoded
776 using the earlier coding system and are handled differently under the
777 new coding system.  If you try to save one of these buffers under the
778 visited file name, saving may use the wrong file name, or it may get
779 an error.  If such a problem happens, use @kbd{C-x C-w} to specify a
780 new file name for that buffer.
782 @node Lisp and Coding Systems
783 @subsection Coding Systems in Lisp
785   Here are the Lisp facilities for working with coding systems:
787 @defun coding-system-list &optional base-only
788 This function returns a list of all coding system names (symbols).  If
789 @var{base-only} is non-@code{nil}, the value includes only the
790 base coding systems.  Otherwise, it includes alias and variant coding
791 systems as well.
792 @end defun
794 @defun coding-system-p object
795 This function returns @code{t} if @var{object} is a coding system
796 name or @code{nil}.
797 @end defun
799 @defun check-coding-system coding-system
800 This function checks the validity of @var{coding-system}.
801 If that is valid, it returns @var{coding-system}.
802 Otherwise it signals an error with condition @code{coding-system-error}.
803 @end defun
805 @defun coding-system-change-eol-conversion coding-system eol-type
806 This function returns a coding system which is like @var{coding-system}
807 except for its eol conversion, which is specified by @code{eol-type}.
808 @var{eol-type} should be @code{unix}, @code{dos}, @code{mac}, or
809 @code{nil}.  If it is @code{nil}, the returned coding system determines
810 the end-of-line conversion from the data.
812 @var{eol-type} may also be 0, 1 or 2, standing for @code{unix},
813 @code{dos} and @code{mac}, respectively.
814 @end defun
816 @defun coding-system-change-text-conversion eol-coding text-coding
817 This function returns a coding system which uses the end-of-line
818 conversion of @var{eol-coding}, and the text conversion of
819 @var{text-coding}.  If @var{text-coding} is @code{nil}, it returns
820 @code{undecided}, or one of its variants according to @var{eol-coding}.
821 @end defun
823 @defun find-coding-systems-region from to
824 This function returns a list of coding systems that could be used to
825 encode a text between @var{from} and @var{to}.  All coding systems in
826 the list can safely encode any multibyte characters in that portion of
827 the text.
829 If the text contains no multibyte characters, the function returns the
830 list @code{(undecided)}.
831 @end defun
833 @defun find-coding-systems-string string
834 This function returns a list of coding systems that could be used to
835 encode the text of @var{string}.  All coding systems in the list can
836 safely encode any multibyte characters in @var{string}.  If the text
837 contains no multibyte characters, this returns the list
838 @code{(undecided)}.
839 @end defun
841 @defun find-coding-systems-for-charsets charsets
842 This function returns a list of coding systems that could be used to
843 encode all the character sets in the list @var{charsets}.
844 @end defun
846 @defun detect-coding-region start end &optional highest
847 This function chooses a plausible coding system for decoding the text
848 from @var{start} to @var{end}.  This text should be a byte sequence
849 (@pxref{Explicit Encoding}).
851 Normally this function returns a list of coding systems that could
852 handle decoding the text that was scanned.  They are listed in order of
853 decreasing priority.  But if @var{highest} is non-@code{nil}, then the
854 return value is just one coding system, the one that is highest in
855 priority.
857 If the region contains only @acronym{ASCII} characters, the value
858 is @code{undecided} or @code{(undecided)}, or a variant specifying
859 end-of-line conversion, if that can be deduced from the text.
860 @end defun
862 @defun detect-coding-string string &optional highest
863 This function is like @code{detect-coding-region} except that it
864 operates on the contents of @var{string} instead of bytes in the buffer.
865 @end defun
867   @xref{Coding systems for a subprocess,, Process Information}, in
868 particular the description of the functions
869 @code{process-coding-system} and @code{set-process-coding-system}, for
870 how to examine or set the coding systems used for I/O to a subprocess.
872 @node User-Chosen Coding Systems
873 @subsection User-Chosen Coding Systems
875 @cindex select safe coding system
876 @defun select-safe-coding-system from to &optional default-coding-system accept-default-p file
877 This function selects a coding system for encoding specified text,
878 asking the user to choose if necessary.  Normally the specified text
879 is the text in the current buffer between @var{from} and @var{to}.  If
880 @var{from} is a string, the string specifies the text to encode, and
881 @var{to} is ignored.
883 If @var{default-coding-system} is non-@code{nil}, that is the first
884 coding system to try; if that can handle the text,
885 @code{select-safe-coding-system} returns that coding system.  It can
886 also be a list of coding systems; then the function tries each of them
887 one by one.  After trying all of them, it next tries the current
888 buffer's value of @code{buffer-file-coding-system} (if it is not
889 @code{undecided}), then the value of
890 @code{default-buffer-file-coding-system} and finally the user's most
891 preferred coding system, which the user can set using the command
892 @code{prefer-coding-system} (@pxref{Recognize Coding,, Recognizing
893 Coding Systems, emacs, The GNU Emacs Manual}).
895 If one of those coding systems can safely encode all the specified
896 text, @code{select-safe-coding-system} chooses it and returns it.
897 Otherwise, it asks the user to choose from a list of coding systems
898 which can encode all the text, and returns the user's choice.
900 @var{default-coding-system} can also be a list whose first element is
901 t and whose other elements are coding systems.  Then, if no coding
902 system in the list can handle the text, @code{select-safe-coding-system}
903 queries the user immediately, without trying any of the three
904 alternatives described above.
906 The optional argument @var{accept-default-p}, if non-@code{nil},
907 should be a function to determine whether a coding system selected
908 without user interaction is acceptable. @code{select-safe-coding-system}
909 calls this function with one argument, the base coding system of the
910 selected coding system.  If @var{accept-default-p} returns @code{nil},
911 @code{select-safe-coding-system} rejects the silently selected coding
912 system, and asks the user to select a coding system from a list of
913 possible candidates.
915 @vindex select-safe-coding-system-accept-default-p
916 If the variable @code{select-safe-coding-system-accept-default-p} is
917 non-@code{nil}, its value overrides the value of
918 @var{accept-default-p}.
920 As a final step, before returning the chosen coding system,
921 @code{select-safe-coding-system} checks whether that coding system is
922 consistent with what would be selected if the contents of the region
923 were read from a file.  (If not, this could lead to data corruption in
924 a file subsequently re-visited and edited.)  Normally,
925 @code{select-safe-coding-system} uses @code{buffer-file-name} as the
926 file for this purpose, but if @var{file} is non-@code{nil}, it uses
927 that file instead (this can be relevant for @code{write-region} and
928 similar functions).  If it detects an apparent inconsistency,
929 @code{select-safe-coding-system} queries the user before selecting the
930 coding system.
931 @end defun
933   Here are two functions you can use to let the user specify a coding
934 system, with completion.  @xref{Completion}.
936 @defun read-coding-system prompt &optional default
937 This function reads a coding system using the minibuffer, prompting with
938 string @var{prompt}, and returns the coding system name as a symbol.  If
939 the user enters null input, @var{default} specifies which coding system
940 to return.  It should be a symbol or a string.
941 @end defun
943 @defun read-non-nil-coding-system prompt
944 This function reads a coding system using the minibuffer, prompting with
945 string @var{prompt}, and returns the coding system name as a symbol.  If
946 the user tries to enter null input, it asks the user to try again.
947 @xref{Coding Systems}.
948 @end defun
950 @node Default Coding Systems
951 @subsection Default Coding Systems
953   This section describes variables that specify the default coding
954 system for certain files or when running certain subprograms, and the
955 function that I/O operations use to access them.
957   The idea of these variables is that you set them once and for all to the
958 defaults you want, and then do not change them again.  To specify a
959 particular coding system for a particular operation in a Lisp program,
960 don't change these variables; instead, override them using
961 @code{coding-system-for-read} and @code{coding-system-for-write}
962 (@pxref{Specifying Coding Systems}).
964 @defvar auto-coding-regexp-alist
965 This variable is an alist of text patterns and corresponding coding
966 systems. Each element has the form @code{(@var{regexp}
967 . @var{coding-system})}; a file whose first few kilobytes match
968 @var{regexp} is decoded with @var{coding-system} when its contents are
969 read into a buffer.  The settings in this alist take priority over
970 @code{coding:} tags in the files and the contents of
971 @code{file-coding-system-alist} (see below).  The default value is set
972 so that Emacs automatically recognizes mail files in Babyl format and
973 reads them with no code conversions.
974 @end defvar
976 @defvar file-coding-system-alist
977 This variable is an alist that specifies the coding systems to use for
978 reading and writing particular files.  Each element has the form
979 @code{(@var{pattern} . @var{coding})}, where @var{pattern} is a regular
980 expression that matches certain file names.  The element applies to file
981 names that match @var{pattern}.
983 The @sc{cdr} of the element, @var{coding}, should be either a coding
984 system, a cons cell containing two coding systems, or a function name (a
985 symbol with a function definition).  If @var{coding} is a coding system,
986 that coding system is used for both reading the file and writing it.  If
987 @var{coding} is a cons cell containing two coding systems, its @sc{car}
988 specifies the coding system for decoding, and its @sc{cdr} specifies the
989 coding system for encoding.
991 If @var{coding} is a function name, the function should take one
992 argument, a list of all arguments passed to
993 @code{find-operation-coding-system}.  It must return a coding system
994 or a cons cell containing two coding systems.  This value has the same
995 meaning as described above.
996 @end defvar
998 @defvar process-coding-system-alist
999 This variable is an alist specifying which coding systems to use for a
1000 subprocess, depending on which program is running in the subprocess.  It
1001 works like @code{file-coding-system-alist}, except that @var{pattern} is
1002 matched against the program name used to start the subprocess.  The coding
1003 system or systems specified in this alist are used to initialize the
1004 coding systems used for I/O to the subprocess, but you can specify
1005 other coding systems later using @code{set-process-coding-system}.
1006 @end defvar
1008   @strong{Warning:} Coding systems such as @code{undecided}, which
1009 determine the coding system from the data, do not work entirely reliably
1010 with asynchronous subprocess output.  This is because Emacs handles
1011 asynchronous subprocess output in batches, as it arrives.  If the coding
1012 system leaves the character code conversion unspecified, or leaves the
1013 end-of-line conversion unspecified, Emacs must try to detect the proper
1014 conversion from one batch at a time, and this does not always work.
1016   Therefore, with an asynchronous subprocess, if at all possible, use a
1017 coding system which determines both the character code conversion and
1018 the end of line conversion---that is, one like @code{latin-1-unix},
1019 rather than @code{undecided} or @code{latin-1}.
1021 @defvar network-coding-system-alist
1022 This variable is an alist that specifies the coding system to use for
1023 network streams.  It works much like @code{file-coding-system-alist},
1024 with the difference that the @var{pattern} in an element may be either a
1025 port number or a regular expression.  If it is a regular expression, it
1026 is matched against the network service name used to open the network
1027 stream.
1028 @end defvar
1030 @defvar default-process-coding-system
1031 This variable specifies the coding systems to use for subprocess (and
1032 network stream) input and output, when nothing else specifies what to
1035 The value should be a cons cell of the form @code{(@var{input-coding}
1036 . @var{output-coding})}.  Here @var{input-coding} applies to input from
1037 the subprocess, and @var{output-coding} applies to output to it.
1038 @end defvar
1040 @defvar auto-coding-functions
1041 This variable holds a list of functions that try to determine a
1042 coding system for a file based on its undecoded contents.
1044 Each function in this list should be written to look at text in the
1045 current buffer, but should not modify it in any way.  The buffer will
1046 contain undecoded text of parts of the file.  Each function should
1047 take one argument, @var{size}, which tells it how many characters to
1048 look at, starting from point.  If the function succeeds in determining
1049 a coding system for the file, it should return that coding system.
1050 Otherwise, it should return @code{nil}.
1052 If a file has a @samp{coding:} tag, that takes precedence, so these
1053 functions won't be called.
1054 @end defvar
1056 @defun find-operation-coding-system operation &rest arguments
1057 This function returns the coding system to use (by default) for
1058 performing @var{operation} with @var{arguments}.  The value has this
1059 form:
1061 @example
1062 (@var{decoding-system} . @var{encoding-system})
1063 @end example
1065 The first element, @var{decoding-system}, is the coding system to use
1066 for decoding (in case @var{operation} does decoding), and
1067 @var{encoding-system} is the coding system for encoding (in case
1068 @var{operation} does encoding).
1070 The argument @var{operation} should be a symbol, one of
1071 @code{insert-file-contents}, @code{write-region}, @code{call-process},
1072 @code{call-process-region}, @code{start-process}, or
1073 @code{open-network-stream}.  These are the names of the Emacs I/O primitives
1074 that can do coding system conversion.
1076 The remaining arguments should be the same arguments that might be given
1077 to that I/O primitive.  Depending on the primitive, one of those
1078 arguments is selected as the @dfn{target}.  For example, if
1079 @var{operation} does file I/O, whichever argument specifies the file
1080 name is the target.  For subprocess primitives, the process name is the
1081 target.  For @code{open-network-stream}, the target is the service name
1082 or port number.
1084 This function looks up the target in @code{file-coding-system-alist},
1085 @code{process-coding-system-alist}, or
1086 @code{network-coding-system-alist}, depending on @var{operation}.
1087 @end defun
1089 @node Specifying Coding Systems
1090 @subsection Specifying a Coding System for One Operation
1092   You can specify the coding system for a specific operation by binding
1093 the variables @code{coding-system-for-read} and/or
1094 @code{coding-system-for-write}.
1096 @defvar coding-system-for-read
1097 If this variable is non-@code{nil}, it specifies the coding system to
1098 use for reading a file, or for input from a synchronous subprocess.
1100 It also applies to any asynchronous subprocess or network stream, but in
1101 a different way: the value of @code{coding-system-for-read} when you
1102 start the subprocess or open the network stream specifies the input
1103 decoding method for that subprocess or network stream.  It remains in
1104 use for that subprocess or network stream unless and until overridden.
1106 The right way to use this variable is to bind it with @code{let} for a
1107 specific I/O operation.  Its global value is normally @code{nil}, and
1108 you should not globally set it to any other value.  Here is an example
1109 of the right way to use the variable:
1111 @example
1112 ;; @r{Read the file with no character code conversion.}
1113 ;; @r{Assume @acronym{crlf} represents end-of-line.}
1114 (let ((coding-system-for-read 'emacs-mule-dos))
1115   (insert-file-contents filename))
1116 @end example
1118 When its value is non-@code{nil}, @code{coding-system-for-read} takes
1119 precedence over all other methods of specifying a coding system to use for
1120 input, including @code{file-coding-system-alist},
1121 @code{process-coding-system-alist} and
1122 @code{network-coding-system-alist}.
1123 @end defvar
1125 @defvar coding-system-for-write
1126 This works much like @code{coding-system-for-read}, except that it
1127 applies to output rather than input.  It affects writing to files,
1128 as well as sending output to subprocesses and net connections.
1130 When a single operation does both input and output, as do
1131 @code{call-process-region} and @code{start-process}, both
1132 @code{coding-system-for-read} and @code{coding-system-for-write}
1133 affect it.
1134 @end defvar
1136 @defvar inhibit-eol-conversion
1137 When this variable is non-@code{nil}, no end-of-line conversion is done,
1138 no matter which coding system is specified.  This applies to all the
1139 Emacs I/O and subprocess primitives, and to the explicit encoding and
1140 decoding functions (@pxref{Explicit Encoding}).
1141 @end defvar
1143 @node Explicit Encoding
1144 @subsection Explicit Encoding and Decoding
1145 @cindex encoding text
1146 @cindex decoding text
1148   All the operations that transfer text in and out of Emacs have the
1149 ability to use a coding system to encode or decode the text.
1150 You can also explicitly encode and decode text using the functions
1151 in this section.
1153   The result of encoding, and the input to decoding, are not ordinary
1154 text.  They logically consist of a series of byte values; that is, a
1155 series of characters whose codes are in the range 0 through 255.  In a
1156 multibyte buffer or string, character codes 128 through 159 are
1157 represented by multibyte sequences, but this is invisible to Lisp
1158 programs.
1160   The usual way to read a file into a buffer as a sequence of bytes, so
1161 you can decode the contents explicitly, is with
1162 @code{insert-file-contents-literally} (@pxref{Reading from Files});
1163 alternatively, specify a non-@code{nil} @var{rawfile} argument when
1164 visiting a file with @code{find-file-noselect}.  These methods result in
1165 a unibyte buffer.
1167   The usual way to use the byte sequence that results from explicitly
1168 encoding text is to copy it to a file or process---for example, to write
1169 it with @code{write-region} (@pxref{Writing to Files}), and suppress
1170 encoding by binding @code{coding-system-for-write} to
1171 @code{no-conversion}.
1173   Here are the functions to perform explicit encoding or decoding.  The
1174 decoding functions produce sequences of bytes; the encoding functions
1175 are meant to operate on sequences of bytes.  All of these functions
1176 discard text properties.
1178 @deffn Command encode-coding-region start end coding-system
1179 This command encodes the text from @var{start} to @var{end} according
1180 to coding system @var{coding-system}.  The encoded text replaces the
1181 original text in the buffer.  The result of encoding is logically a
1182 sequence of bytes, but the buffer remains multibyte if it was multibyte
1183 before.
1185 This command returns the length of the encoded text.
1186 @end deffn
1188 @defun encode-coding-string string coding-system &optional nocopy
1189 This function encodes the text in @var{string} according to coding
1190 system @var{coding-system}.  It returns a new string containing the
1191 encoded text, except when @var{nocopy} is non-@code{nil}, in which
1192 case the function may return @var{string} itself if the encoding
1193 operation is trivial.  The result of encoding is a unibyte string.
1194 @end defun
1196 @deffn Command decode-coding-region start end coding-system
1197 This command decodes the text from @var{start} to @var{end} according
1198 to coding system @var{coding-system}.  The decoded text replaces the
1199 original text in the buffer.  To make explicit decoding useful, the text
1200 before decoding ought to be a sequence of byte values, but both
1201 multibyte and unibyte buffers are acceptable.
1203 This command returns the length of the decoded text.
1204 @end deffn
1206 @defun decode-coding-string string coding-system &optional nocopy
1207 This function decodes the text in @var{string} according to coding
1208 system @var{coding-system}.  It returns a new string containing the
1209 decoded text, except when @var{nocopy} is non-@code{nil}, in which
1210 case the function may return @var{string} itself if the decoding
1211 operation is trivial.  To make explicit decoding useful, the contents
1212 of @var{string} ought to be a sequence of byte values, but a multibyte
1213 string is acceptable.
1214 @end defun
1216 @defun decode-coding-inserted-region from to filename &optional visit beg end replace
1217 This function decodes the text from @var{from} to @var{to} as if
1218 it were being read from file @var{filename} using @code{insert-file-contents}
1219 using the rest of the arguments provided.
1221 The normal way to use this function is after reading text from a file
1222 without decoding, if you decide you would rather have decoded it.
1223 Instead of deleting the text and reading it again, this time with
1224 decoding, you can call this function.
1225 @end defun
1227 @node Terminal I/O Encoding
1228 @subsection Terminal I/O Encoding
1230   Emacs can decode keyboard input using a coding system, and encode
1231 terminal output.  This is useful for terminals that transmit or display
1232 text using a particular encoding such as Latin-1.  Emacs does not set
1233 @code{last-coding-system-used} for encoding or decoding for the
1234 terminal.
1236 @defun keyboard-coding-system
1237 This function returns the coding system that is in use for decoding
1238 keyboard input---or @code{nil} if no coding system is to be used.
1239 @end defun
1241 @deffn Command set-keyboard-coding-system coding-system
1242 This command specifies @var{coding-system} as the coding system to
1243 use for decoding keyboard input.  If @var{coding-system} is @code{nil},
1244 that means do not decode keyboard input.
1245 @end deffn
1247 @defun terminal-coding-system
1248 This function returns the coding system that is in use for encoding
1249 terminal output---or @code{nil} for no encoding.
1250 @end defun
1252 @deffn Command set-terminal-coding-system coding-system
1253 This command specifies @var{coding-system} as the coding system to use
1254 for encoding terminal output.  If @var{coding-system} is @code{nil},
1255 that means do not encode terminal output.
1256 @end deffn
1258 @node MS-DOS File Types
1259 @subsection MS-DOS File Types
1260 @cindex DOS file types
1261 @cindex MS-DOS file types
1262 @cindex Windows file types
1263 @cindex file types on MS-DOS and Windows
1264 @cindex text files and binary files
1265 @cindex binary files and text files
1267   On MS-DOS and Microsoft Windows, Emacs guesses the appropriate
1268 end-of-line conversion for a file by looking at the file's name.  This
1269 feature classifies files as @dfn{text files} and @dfn{binary files}.  By
1270 ``binary file'' we mean a file of literal byte values that are not
1271 necessarily meant to be characters; Emacs does no end-of-line conversion
1272 and no character code conversion for them.  On the other hand, the bytes
1273 in a text file are intended to represent characters; when you create a
1274 new file whose name implies that it is a text file, Emacs uses DOS
1275 end-of-line conversion.
1277 @defvar buffer-file-type
1278 This variable, automatically buffer-local in each buffer, records the
1279 file type of the buffer's visited file.  When a buffer does not specify
1280 a coding system with @code{buffer-file-coding-system}, this variable is
1281 used to determine which coding system to use when writing the contents
1282 of the buffer.  It should be @code{nil} for text, @code{t} for binary.
1283 If it is @code{t}, the coding system is @code{no-conversion}.
1284 Otherwise, @code{undecided-dos} is used.
1286 Normally this variable is set by visiting a file; it is set to
1287 @code{nil} if the file was visited without any actual conversion.
1288 @end defvar
1290 @defopt file-name-buffer-file-type-alist
1291 This variable holds an alist for recognizing text and binary files.
1292 Each element has the form (@var{regexp} . @var{type}), where
1293 @var{regexp} is matched against the file name, and @var{type} may be
1294 @code{nil} for text, @code{t} for binary, or a function to call to
1295 compute which.  If it is a function, then it is called with a single
1296 argument (the file name) and should return @code{t} or @code{nil}.
1298 When running on MS-DOS or MS-Windows, Emacs checks this alist to decide
1299 which coding system to use when reading a file.  For a text file,
1300 @code{undecided-dos} is used.  For a binary file, @code{no-conversion}
1301 is used.
1303 If no element in this alist matches a given file name, then
1304 @code{default-buffer-file-type} says how to treat the file.
1305 @end defopt
1307 @defopt default-buffer-file-type
1308 This variable says how to handle files for which
1309 @code{file-name-buffer-file-type-alist} says nothing about the type.
1311 If this variable is non-@code{nil}, then these files are treated as
1312 binary: the coding system @code{no-conversion} is used.  Otherwise,
1313 nothing special is done for them---the coding system is deduced solely
1314 from the file contents, in the usual Emacs fashion.
1315 @end defopt
1317 @node Input Methods
1318 @section Input Methods
1319 @cindex input methods
1321   @dfn{Input methods} provide convenient ways of entering non-@acronym{ASCII}
1322 characters from the keyboard.  Unlike coding systems, which translate
1323 non-@acronym{ASCII} characters to and from encodings meant to be read by
1324 programs, input methods provide human-friendly commands.  (@xref{Input
1325 Methods,,, emacs, The GNU Emacs Manual}, for information on how users
1326 use input methods to enter text.)  How to define input methods is not
1327 yet documented in this manual, but here we describe how to use them.
1329   Each input method has a name, which is currently a string;
1330 in the future, symbols may also be usable as input method names.
1332 @defvar current-input-method
1333 This variable holds the name of the input method now active in the
1334 current buffer.  (It automatically becomes local in each buffer when set
1335 in any fashion.)  It is @code{nil} if no input method is active in the
1336 buffer now.
1337 @end defvar
1339 @defopt default-input-method
1340 This variable holds the default input method for commands that choose an
1341 input method.  Unlike @code{current-input-method}, this variable is
1342 normally global.
1343 @end defopt
1345 @deffn Command set-input-method input-method
1346 This command activates input method @var{input-method} for the current
1347 buffer.  It also sets @code{default-input-method} to @var{input-method}.
1348 If @var{input-method} is @code{nil}, this command deactivates any input
1349 method for the current buffer.
1350 @end deffn
1352 @defun read-input-method-name prompt &optional default inhibit-null
1353 This function reads an input method name with the minibuffer, prompting
1354 with @var{prompt}.  If @var{default} is non-@code{nil}, that is returned
1355 by default, if the user enters empty input.  However, if
1356 @var{inhibit-null} is non-@code{nil}, empty input signals an error.
1358 The returned value is a string.
1359 @end defun
1361 @defvar input-method-alist
1362 This variable defines all the supported input methods.
1363 Each element defines one input method, and should have the form:
1365 @example
1366 (@var{input-method} @var{language-env} @var{activate-func}
1367  @var{title} @var{description} @var{args}...)
1368 @end example
1370 Here @var{input-method} is the input method name, a string;
1371 @var{language-env} is another string, the name of the language
1372 environment this input method is recommended for.  (That serves only for
1373 documentation purposes.)
1375 @var{activate-func} is a function to call to activate this method.  The
1376 @var{args}, if any, are passed as arguments to @var{activate-func}.  All
1377 told, the arguments to @var{activate-func} are @var{input-method} and
1378 the @var{args}.
1380 @var{title} is a string to display in the mode line while this method is
1381 active.  @var{description} is a string describing this method and what
1382 it is good for.
1383 @end defvar
1385   The fundamental interface to input methods is through the
1386 variable @code{input-method-function}.  @xref{Reading One Event},
1387 and @ref{Invoking the Input Method}.
1389 @node Locales
1390 @section Locales
1391 @cindex locale
1393   POSIX defines a concept of ``locales'' which control which language
1394 to use in language-related features.  These Emacs variables control
1395 how Emacs interacts with these features.
1397 @defvar locale-coding-system
1398 @tindex locale-coding-system
1399 @cindex keyboard input decoding on X
1400 This variable specifies the coding system to use for decoding system
1401 error messages and---on X Window system only---keyboard input, for
1402 encoding the format argument to @code{format-time-string}, and for
1403 decoding the return value of @code{format-time-string}.
1404 @end defvar
1406 @defvar system-messages-locale
1407 @tindex system-messages-locale
1408 This variable specifies the locale to use for generating system error
1409 messages.  Changing the locale can cause messages to come out in a
1410 different language or in a different orthography.  If the variable is
1411 @code{nil}, the locale is specified by environment variables in the
1412 usual POSIX fashion.
1413 @end defvar
1415 @defvar system-time-locale
1416 @tindex system-time-locale
1417 This variable specifies the locale to use for formatting time values.
1418 Changing the locale can cause messages to appear according to the
1419 conventions of a different language.  If the variable is @code{nil}, the
1420 locale is specified by environment variables in the usual POSIX fashion.
1421 @end defvar
1423 @defun locale-info item
1424 This function returns locale data @var{item} for the current POSIX
1425 locale, if available.  @var{item} should be one of these symbols:
1427 @table @code
1428 @item codeset
1429 Return the character set as a string (locale item @code{CODESET}).
1431 @item days
1432 Return a 7-element vector of day names (locale items
1433 @code{DAY_1} through @code{DAY_7});
1435 @item months
1436 Return a 12-element vector of month names (locale items @code{MON_1}
1437 through @code{MON_12}).
1439 @item paper
1440 Return a list @code{(@var{width} @var{height})} for the default paper
1441 size measured in millimeters (locale items @code{PAPER_WIDTH} and
1442 @code{PAPER_HEIGHT}).
1443 @end table
1445 If the system can't provide the requested information, or if
1446 @var{item} is not one of those symbols, the value is @code{nil}.  All
1447 strings in the return value are decoded using
1448 @code{locale-coding-system}.  @xref{Locales,,, libc, The GNU Libc Manual},
1449 for more information about locales and locale items.
1450 @end defun
1452 @ignore
1453    arch-tag: be705bf8-941b-4c35-84fc-ad7d20ddb7cb
1454 @end ignore