2002-01-07 Michael Kifer <kifer@cs.stonybrook.edu>
[emacs.git] / man / mule.texi
blob059b261cbece2c2720f2ddab07afb7c122ec2149
1 @c This is part of the Emacs manual.
2 @c Copyright (C) 1997, 1999, 2000, 2001 Free Software Foundation, Inc.
3 @c See file emacs.texi for copying conditions.
4 @node International, Major Modes, Frames, Top
5 @chapter International Character Set Support
6 @cindex MULE
7 @cindex international scripts
8 @cindex multibyte characters
9 @cindex encoding of characters
11 @cindex Celtic
12 @cindex Chinese
13 @cindex Cyrillic
14 @cindex Czech
15 @cindex Devanagari
16 @cindex Hindi
17 @cindex Marathi
18 @cindex Ethiopic
19 @cindex German
20 @cindex Greek
21 @cindex Hebrew
22 @cindex IPA
23 @cindex Japanese
24 @cindex Korean
25 @cindex Lao
26 @cindex Latin
27 @cindex Polish
28 @cindex Romanian
29 @cindex Slovak
30 @cindex Slovenian
31 @cindex Thai
32 @cindex Tibetan
33 @cindex Turkish
34 @cindex Vietnamese
35 @cindex Dutch
36 @cindex Spanish
37   Emacs supports a wide variety of international character sets,
38 including European variants of the Latin alphabet, as well as Chinese,
39 Cyrillic, Devanagari (Hindi and Marathi), Ethiopic, Greek, Hebrew, IPA,
40 Japanese, Korean, Lao, Thai, Tibetan, and Vietnamese scripts.  These features
41 have been merged from the modified version of Emacs known as MULE (for
42 ``MULti-lingual Enhancement to GNU Emacs'')
44   Emacs also supports various encodings of these characters used by
45 other internationalized software, such as word processors and mailers.
47   Emacs allows editing text with international characters by supporting
48 all the related activities:
50 @itemize @bullet
51 @item
52 You can visit files with non-ASCII characters, save non-ASCII text, and
53 pass non-ASCII text between Emacs and programs it invokes (such as
54 compilers, spell-checkers, and mailers).  Setting your language
55 environment (@pxref{Language Environments}) takes care of setting up the
56 coding systems and other options for a specific language or culture.
57 Alternatively, you can specify how Emacs should encode or decode text
58 for each command; see @ref{Specify Coding}.
60 @item
61 You can display non-ASCII characters encoded by the various scripts.
62 This works by using appropriate fonts on X and similar graphics
63 displays (@pxref{Defining Fontsets}), and by sending special codes to
64 text-only displays (@pxref{Specify Coding}).  If some characters are
65 displayed incorrectly, refer to @ref{Undisplayable Characters}, which
66 describes possible problems and explains how to solve them.
68 @item
69 You can insert non-ASCII characters or search for them.  To do that,
70 you can specify an input method (@pxref{Select Input Method}) suitable
71 for your language, or use the default input method set up when you set
72 your language environment.  (Emacs input methods are part of the Leim
73 package, which must be installed for you to be able to use them.)  If
74 your keyboard can produce non-ASCII characters, you can select an
75 appropriate keyboard coding system (@pxref{Specify Coding}), and Emacs
76 will accept those characters.  Latin-1 characters can also be input by
77 using the @kbd{C-x 8} prefix, see @ref{Single-Byte Character Support,
78 C-x 8}.
79 @end itemize
81   The rest of this chapter describes these issues in detail.
83 @menu
84 * International Chars::     Basic concepts of multibyte characters.
85 * Enabling Multibyte::      Controlling whether to use multibyte characters.
86 * Language Environments::   Setting things up for the language you use.
87 * Input Methods::           Entering text characters not on your keyboard.
88 * Select Input Method::     Specifying your choice of input methods.
89 * Multibyte Conversion::    How single-byte characters convert to multibyte.
90 * Coding Systems::          Character set conversion when you read and
91                               write files, and so on.
92 * Recognize Coding::        How Emacs figures out which conversion to use.
93 * Specify Coding::          Various ways to choose which conversion to use.
94 * Fontsets::                Fontsets are collections of fonts
95                               that cover the whole spectrum of characters.
96 * Defining Fontsets::       Defining a new fontset.
97 * Undisplayable Characters:: When characters don't display.
98 * Single-Byte Character Support::
99                             You can pick one European character set
100                             to use without multibyte characters.
101 @end menu
103 @node International Chars
104 @section Introduction to International Character Sets
106   The users of international character sets and scripts have established
107 many more-or-less standard coding systems for storing files.  Emacs
108 internally uses a single multibyte character encoding, so that it can
109 intermix characters from all these scripts in a single buffer or string.
110 This encoding represents each non-ASCII character as a sequence of bytes
111 in the range 0200 through 0377.  Emacs translates between the multibyte
112 character encoding and various other coding systems when reading and
113 writing files, when exchanging data with subprocesses, and (in some
114 cases) in the @kbd{C-q} command (@pxref{Multibyte Conversion}).
116 @kindex C-h h
117 @findex view-hello-file
118 @cindex undisplayable characters
119 @cindex @samp{?} in display
120   The command @kbd{C-h h} (@code{view-hello-file}) displays the file
121 @file{etc/HELLO}, which shows how to say ``hello'' in many languages.
122 This illustrates various scripts.  If some characters can't be
123 displayed on your terminal, they appear as @samp{?} or as hollow boxes
124 (@pxref{Undisplayable Characters}).
126   Keyboards, even in the countries where these character sets are used,
127 generally don't have keys for all the characters in them.  So Emacs
128 supports various @dfn{input methods}, typically one for each script or
129 language, to make it convenient to type them.
131 @kindex C-x RET
132   The prefix key @kbd{C-x @key{RET}} is used for commands that pertain
133 to multibyte characters, coding systems, and input methods.
135 @ignore
136 @c This is commented out because it doesn't fit here, or anywhere.
137 @c This manual does not discuss "character sets" as they
138 @c are used in Mule, and it makes no sense to mention these commands
139 @c except as part of a larger discussion of the topic.
140 @c But it is not clear that topic is worth mentioning here,
141 @c since that is more of an implementation concept
142 @c than a user-level concept.  And when we switch to Unicode,
143 @c character sets in the current sense may not even exist.
145 @findex list-charset-chars
146 @cindex characters in a certain charset
147   The command @kbd{M-x list-charset-chars} prompts for a name of a
148 character set, and displays all the characters in that character set.
150 @findex describe-character-set
151 @cindex character set, description
152   The command @kbd{M-x describe-character-set} prompts for a character
153 set name and displays information about that character set, including
154 its internal representation within Emacs.
155 @end ignore
157 @node Enabling Multibyte
158 @section Enabling Multibyte Characters
160 @cindex turn multibyte support on or off
161   You can enable or disable multibyte character support, either for
162 Emacs as a whole, or for a single buffer.  When multibyte characters are
163 disabled in a buffer, then each byte in that buffer represents a
164 character, even codes 0200 through 0377.  The old features for
165 supporting the European character sets, ISO Latin-1 and ISO Latin-2,
166 work as they did in Emacs 19 and also work for the other ISO 8859
167 character sets.
169   However, there is no need to turn off multibyte character support to
170 use ISO Latin; the Emacs multibyte character set includes all the
171 characters in these character sets, and Emacs can translate
172 automatically to and from the ISO codes.
174   By default, Emacs starts in multibyte mode, because that allows you to
175 use all the supported languages and scripts without limitations.
177   To edit a particular file in unibyte representation, visit it using
178 @code{find-file-literally}.  @xref{Visiting}.  To convert a buffer in
179 multibyte representation into a single-byte representation of the same
180 characters, the easiest way is to save the contents in a file, kill the
181 buffer, and find the file again with @code{find-file-literally}.  You
182 can also use @kbd{C-x @key{RET} c}
183 (@code{universal-coding-system-argument}) and specify @samp{raw-text} as
184 the coding system with which to find or save a file.  @xref{Specify
185 Coding}.  Finding a file as @samp{raw-text} doesn't disable format
186 conversion, uncompression and auto mode selection as
187 @code{find-file-literally} does.
189 @vindex enable-multibyte-characters
190 @vindex default-enable-multibyte-characters
191   To turn off multibyte character support by default, start Emacs with
192 the @samp{--unibyte} option (@pxref{Initial Options}), or set the
193 environment variable @env{EMACS_UNIBYTE}.  You can also customize
194 @code{enable-multibyte-characters} or, equivalently, directly set the
195 variable @code{default-enable-multibyte-characters} to @code{nil} in
196 your init file to have basically the same effect as @samp{--unibyte}.
198 @findex toggle-enable-multibyte-characters
199   To convert a unibyte session to a multibyte session, set
200 @code{default-enable-multibyte-characters} to @code{t}.  Buffers which
201 were created in the unibyte session before you turn on multibyte support
202 will stay unibyte.  You can turn on multibyte support in a specific
203 buffer by invoking the command @code{toggle-enable-multibyte-characters}
204 in that buffer.
206 @cindex Lisp files, and multibyte operation
207 @cindex multibyte operation, and Lisp files
208 @cindex unibyte operation, and Lisp files
209 @cindex init file, and non-ASCII characters
210 @cindex environment variables, and non-ASCII characters
211   With @samp{--unibyte}, multibyte strings are not created during
212 initialization from the values of environment variables,
213 @file{/etc/passwd} entries etc.@: that contain non-ASCII 8-bit
214 characters.
216   Emacs normally loads Lisp files as multibyte, regardless of whether
217 you used @samp{--unibyte}.  This includes the Emacs initialization
218 file, @file{.emacs}, and the initialization files of Emacs packages
219 such as Gnus.  However, you can specify unibyte loading for a
220 particular Lisp file, by putting @w{@samp{-*-unibyte: t;-*-}} in a
221 comment on the first line.  Then that file is always loaded as unibyte
222 text, even if you did not start Emacs with @samp{--unibyte}.  The
223 motivation for these conventions is that it is more reliable to always
224 load any particular Lisp file in the same way.  However, you can load
225 a Lisp file as unibyte, on any one occasion, by typing @kbd{C-x
226 @key{RET} c raw-text @key{RET}} immediately before loading it.
228   The mode line indicates whether multibyte character support is enabled
229 in the current buffer.  If it is, there are two or more characters (most
230 often two dashes) before the colon near the beginning of the mode line.
231 When multibyte characters are not enabled, just one dash precedes the
232 colon.
234 @node Language Environments
235 @section Language Environments
236 @cindex language environments
238   All supported character sets are supported in Emacs buffers whenever
239 multibyte characters are enabled; there is no need to select a
240 particular language in order to display its characters in an Emacs
241 buffer.  However, it is important to select a @dfn{language environment}
242 in order to set various defaults.  The language environment really
243 represents a choice of preferred script (more or less) rather than a
244 choice of language.
246   The language environment controls which coding systems to recognize
247 when reading text (@pxref{Recognize Coding}).  This applies to files,
248 incoming mail, netnews, and any other text you read into Emacs.  It may
249 also specify the default coding system to use when you create a file.
250 Each language environment also specifies a default input method.
252 @findex set-language-environment
253 @vindex current-language-environment
254   To select a language environment, customize the option
255 @code{current-language-environment} or use the command @kbd{M-x
256 set-language-environment}.  It makes no difference which buffer is
257 current when you use this command, because the effects apply globally to
258 the Emacs session.  The supported language environments include:
260 @cindex Euro sign
261 @cindex UTF-8
262 @quotation
263 Chinese-BIG5, Chinese-CNS, Chinese-GB, Cyrillic-ALT, Cyrillic-ISO,
264 Cyrillic-KOI8, Czech, Devanagari, Dutch, English, Ethiopic, German,
265 Greek, Hebrew, IPA, Japanese, Korean, Lao, Latin-1, Latin-2, Latin-3,
266 Latin-4, Latin-5, Latin-8 (Celtic), Latin-9 (updated Latin-1, with the
267 Euro sign), Polish, Romanian, Slovak, Slovenian, Spanish, Thai, Tibetan,
268 Turkish, UTF-8 (for a setup which prefers Unicode characters and files
269 encoded in UTF-8), and Vietnamese.
270 @end quotation
272 @cindex fonts for various scripts
273 @cindex Intlfonts package, installation
274   To display the script(s) used by your language environment on a
275 graphical display, you need to have a suitable font.  If some of the
276 characters appear as empty boxes, you should install the GNU Intlfonts
277 package, which includes fonts for all supported scripts.@footnote{If
278 you run Emacs on X, you need to inform the X server about the location
279 of the newly installed fonts with the following commands:
281 @example
282  xset fp+ /usr/local/share/emacs/fonts
283  xset fp rehash
284 @end example
286 @xref{Fontsets}, for more details about setting up your fonts.
288 @findex set-locale-environment
289 @vindex locale-language-names
290 @vindex locale-charset-language-names
291 @cindex locales
292   Some operating systems let you specify the character-set locale you
293 are using by setting the locale environment variables @env{LC_ALL},
294 @env{LC_CTYPE}, or @env{LANG}.@footnote{If more than one of these is
295 set, the first one that is nonempty specifies your locale for this
296 purpose.}  During startup, Emacs looks up your character-set locale's
297 name in the system locale alias table, matches its canonical name
298 against entries in the value of the variables
299 @code{locale-charset-language-names} and @code{locale-language-names},
300 and selects the corresponding language environment if a match is found.
301 (The former variable overrides the latter.)  It also adjusts the display
302 table and terminal coding system, the locale coding system, and the
303 preferred coding system as needed for the locale.
305   If you modify the @env{LC_ALL}, @env{LC_CTYPE}, or @env{LANG}
306 environment variables while running Emacs, you may want to invoke the
307 @code{set-locale-environment} function afterwards to readjust the
308 language environment from the new locale.
310 @vindex locale-preferred-coding-systems
311   The @code{set-locale-environment} function normally uses the preferred
312 coding system established by the language environment to decode system
313 messages.  But if your locale matches an entry in the variable
314 @code{locale-preferred-coding-systems}, Emacs uses the corresponding
315 coding system instead.  For example, if the locale @samp{ja_JP.PCK}
316 matches @code{japanese-shift-jis} in
317 @code{locale-preferred-coding-systems}, Emacs uses that encoding even
318 though it might normally use @code{japanese-iso-8bit}.
320   You can override the language environment chosen at startup with
321 explicit use of the command @code{set-language-environment}, or with
322 customization of @code{current-language-environment} in your init
323 file.
325 @kindex C-h L
326 @findex describe-language-environment
327   To display information about the effects of a certain language
328 environment @var{lang-env}, use the command @kbd{C-h L @var{lang-env}
329 @key{RET}} (@code{describe-language-environment}).  This tells you which
330 languages this language environment is useful for, and lists the
331 character sets, coding systems, and input methods that go with it.  It
332 also shows some sample text to illustrate scripts used in this language
333 environment.  By default, this command describes the chosen language
334 environment.
336 @vindex set-language-environment-hook
337   You can customize any language environment with the normal hook
338 @code{set-language-environment-hook}.  The command
339 @code{set-language-environment} runs that hook after setting up the new
340 language environment.  The hook functions can test for a specific
341 language environment by checking the variable
342 @code{current-language-environment}.  This hook is where you should
343 put non-default settings for specific language environment, such as
344 coding systems for keyboard input and terminal output, the default
345 input method, etc.
347 @vindex exit-language-environment-hook
348   Before it starts to set up the new language environment,
349 @code{set-language-environment} first runs the hook
350 @code{exit-language-environment-hook}.  This hook is useful for undoing
351 customizations that were made with @code{set-language-environment-hook}.
352 For instance, if you set up a special key binding in a specific language
353 environment using @code{set-language-environment-hook}, you should set
354 up @code{exit-language-environment-hook} to restore the normal binding
355 for that key.
357 @node Input Methods
358 @section Input Methods
360 @cindex input methods
361   An @dfn{input method} is a kind of character conversion designed
362 specifically for interactive input.  In Emacs, typically each language
363 has its own input method; sometimes several languages which use the same
364 characters can share one input method.  A few languages support several
365 input methods.
367   The simplest kind of input method works by mapping ASCII letters
368 into another alphabet; this allows you to use one other alphabet
369 instead of ASCII.  The Greek and Russian input methods
370 work this way.
372   A more powerful technique is composition: converting sequences of
373 characters into one letter.  Many European input methods use composition
374 to produce a single non-ASCII letter from a sequence that consists of a
375 letter followed by accent characters (or vice versa).  For example, some
376 methods convert the sequence @kbd{a'} into a single accented letter.
377 These input methods have no special commands of their own; all they do
378 is compose sequences of printing characters.
380   The input methods for syllabic scripts typically use mapping followed
381 by composition.  The input methods for Thai and Korean work this way.
382 First, letters are mapped into symbols for particular sounds or tone
383 marks; then, sequences of these which make up a whole syllable are
384 mapped into one syllable sign.
386   Chinese and Japanese require more complex methods.  In Chinese input
387 methods, first you enter the phonetic spelling of a Chinese word (in
388 input method @code{chinese-py}, among others), or a sequence of
389 portions of the character (input methods @code{chinese-4corner} and
390 @code{chinese-sw}, and others).  One input sequence typically
391 corresponds to many possible Chinese characters.  You select the one
392 you mean using keys such as @kbd{C-f}, @kbd{C-b}, @kbd{C-n},
393 @kbd{C-p}, and digits, which have special meanings in this situation.
395   The possible characters are conceptually arranged in several rows,
396 with each row holding up to 10 alternatives.  Normally, Emacs displays
397 just one row at a time, in the echo area; @code{(@var{i}/@var{j})}
398 appears at the beginning, to indicate that this is the @var{i}th row
399 out of a total of @var{j} rows.  Type @kbd{C-n} or @kbd{C-p} to
400 display the next row or the previous row.
402     Type @kbd{C-f} and @kbd{C-b} to move forward and backward among
403 the alternatives in the current row.  As you do this, Emacs highlights
404 the current alternative with a special color; type @code{C-@key{SPC}}
405 to select the current alternative and use it as input.  The
406 alternatives in the row are also numbered; the number appears before
407 the alternative.  Typing a digit @var{n} selects the @var{n}th
408 alternative of the current row and uses it as input.
410   @key{TAB} in these Chinese input methods displays a buffer showing
411 all the possible characters at once; then clicking @kbd{Mouse-2} on
412 one of them selects that alternative.  The keys @kbd{C-f}, @kbd{C-b},
413 @kbd{C-n}, @kbd{C-p}, and digits continue to work as usual, but they
414 do the highlighting in the buffer showing the possible characters,
415 rather than in the echo area.
417   In Japanese input methods, first you input a whole word using
418 phonetic spelling; then, after the word is in the buffer, Emacs
419 converts it into one or more characters using a large dictionary.  One
420 phonetic spelling corresponds to a number of different Japanese words;
421 to select one of them, use @kbd{C-n} and @kbd{C-p} to cycle through
422 the alternatives.
424   Sometimes it is useful to cut off input method processing so that the
425 characters you have just entered will not combine with subsequent
426 characters.  For example, in input method @code{latin-1-postfix}, the
427 sequence @kbd{e '} combines to form an @samp{e} with an accent.  What if
428 you want to enter them as separate characters?
430   One way is to type the accent twice; this is a special feature for
431 entering the separate letter and accent.  For example, @kbd{e ' '} gives
432 you the two characters @samp{e'}.  Another way is to type another letter
433 after the @kbd{e}---something that won't combine with that---and
434 immediately delete it.  For example, you could type @kbd{e e @key{DEL}
435 '} to get separate @samp{e} and @samp{'}.
437   Another method, more general but not quite as easy to type, is to use
438 @kbd{C-\ C-\} between two characters to stop them from combining.  This
439 is the command @kbd{C-\} (@code{toggle-input-method}) used twice.
440 @ifinfo
441 @xref{Select Input Method}.
442 @end ifinfo
444 @cindex incremental search, input method interference
445   @kbd{C-\ C-\} is especially useful inside an incremental search,
446 because it stops waiting for more characters to combine, and starts
447 searching for what you have already entered.
449 @vindex input-method-verbose-flag
450 @vindex input-method-highlight-flag
451   The variables @code{input-method-highlight-flag} and
452 @code{input-method-verbose-flag} control how input methods explain
453 what is happening.  If @code{input-method-highlight-flag} is
454 non-@code{nil}, the partial sequence is highlighted in the buffer (for
455 most input methods---some disable this feature).  If
456 @code{input-method-verbose-flag} is non-@code{nil}, the list of
457 possible characters to type next is displayed in the echo area (but
458 not when you are in the minibuffer).
460 @cindex Leim package
461   Input methods are implemented in the separate Leim package: they are
462 available only if the system administrator used Leim when building
463 Emacs.  If Emacs was built without Leim, you will find that no input
464 methods are defined.
466 @node Select Input Method
467 @section Selecting an Input Method
469 @table @kbd
470 @item C-\
471 Enable or disable use of the selected input method.
473 @item C-x @key{RET} C-\ @var{method} @key{RET}
474 Select a new input method for the current buffer.
476 @item C-h I @var{method} @key{RET}
477 @itemx C-h C-\ @var{method} @key{RET}
478 @findex describe-input-method
479 @kindex C-h I
480 @kindex C-h C-\
481 Describe the input method @var{method} (@code{describe-input-method}).
482 By default, it describes the current input method (if any).  This
483 description should give you the full details of how to use any
484 particular input method.
486 @item M-x list-input-methods
487 Display a list of all the supported input methods.
488 @end table
490 @findex set-input-method
491 @vindex current-input-method
492 @kindex C-x RET C-\
493   To choose an input method for the current buffer, use @kbd{C-x
494 @key{RET} C-\} (@code{set-input-method}).  This command reads the
495 input method name from the minibuffer; the name normally starts with the
496 language environment that it is meant to be used with.  The variable
497 @code{current-input-method} records which input method is selected.
498   
499 @findex toggle-input-method
500 @kindex C-\
501   Input methods use various sequences of ASCII characters to stand for
502 non-ASCII characters.  Sometimes it is useful to turn off the input
503 method temporarily.  To do this, type @kbd{C-\}
504 (@code{toggle-input-method}).  To reenable the input method, type
505 @kbd{C-\} again.
507   If you type @kbd{C-\} and you have not yet selected an input method,
508 it prompts for you to specify one.  This has the same effect as using
509 @kbd{C-x @key{RET} C-\} to specify an input method.
511   When invoked with a numeric argument, as in @kbd{C-u C-\},
512 @code{toggle-input-method} always prompts you for an input method,
513 suggesting the most recently selected one as the default.
515 @vindex default-input-method
516   Selecting a language environment specifies a default input method for
517 use in various buffers.  When you have a default input method, you can
518 select it in the current buffer by typing @kbd{C-\}.  The variable
519 @code{default-input-method} specifies the default input method
520 (@code{nil} means there is none).
522   In some language environments, which support several different input
523 methods, you might want to use an input method different from the
524 default chosen by @code{set-language-environment}.  You can instruct
525 Emacs to select a different default input method for a certain
526 language environment, if you wish, by using
527 @code{set-language-environment-hook} (@pxref{Language Environments,
528 set-language-environment-hook}).  For example:
530 @lisp
531 (defun my-chinese-setup ()
532   "Set up my private Chinese environment."
533   (if (equal current-language-environment "Chinese-GB")
534       (setq default-input-method "chinese-tonepy")))
535 (add-hook 'set-language-environment-hook 'my-chinese-setup)
536 @end lisp
538 @noindent
539 This sets the default input method to be @code{chinese-tonepy}
540 whenever you choose a Chinese-GB language environment.
542 @findex quail-set-keyboard-layout
543   Some input methods for alphabetic scripts work by (in effect)
544 remapping the keyboard to emulate various keyboard layouts commonly used
545 for those scripts.  How to do this remapping properly depends on your
546 actual keyboard layout.  To specify which layout your keyboard has, use
547 the command @kbd{M-x quail-set-keyboard-layout}.
549 @findex list-input-methods
550   To display a list of all the supported input methods, type @kbd{M-x
551 list-input-methods}.  The list gives information about each input
552 method, including the string that stands for it in the mode line.
554 @node Multibyte Conversion
555 @section Unibyte and Multibyte Non-ASCII characters
557   When multibyte characters are enabled, character codes 0240 (octal)
558 through 0377 (octal) are not really legitimate in the buffer.  The valid
559 non-ASCII printing characters have codes that start from 0400.
561   If you type a self-inserting character in the range 0240 through
562 0377, or if you use @kbd{C-q} to insert one, Emacs assumes you
563 intended to use one of the ISO Latin-@var{n} character sets, and
564 converts it to the Emacs code representing that Latin-@var{n}
565 character.  You select @emph{which} ISO Latin character set to use
566 through your choice of language environment
567 @iftex
568 (see above).
569 @end iftex
570 @ifinfo
571 (@pxref{Language Environments}).
572 @end ifinfo
573 If you do not specify a choice, the default is Latin-1.
575   If you insert a character in the range 0200 through 0237, which
576 forms the @code{eight-bit-control} character set, it is inserted
577 literally.  You should normally avoid doing this since buffers
578 containing such characters have to be written out in either the
579 @code{emacs-mule} or @code{raw-text} coding system, which is usually
580 not what you want.
582 @node Coding Systems
583 @section Coding Systems
584 @cindex coding systems
586   Users of various languages have established many more-or-less standard
587 coding systems for representing them.  Emacs does not use these coding
588 systems internally; instead, it converts from various coding systems to
589 its own system when reading data, and converts the internal coding
590 system to other coding systems when writing data.  Conversion is
591 possible in reading or writing files, in sending or receiving from the
592 terminal, and in exchanging data with subprocesses.
594   Emacs assigns a name to each coding system.  Most coding systems are
595 used for one language, and the name of the coding system starts with the
596 language name.  Some coding systems are used for several languages;
597 their names usually start with @samp{iso}.  There are also special
598 coding systems @code{no-conversion}, @code{raw-text} and
599 @code{emacs-mule} which do not convert printing characters at all.
601 @cindex international files from DOS/Windows systems
602   A special class of coding systems, collectively known as
603 @dfn{codepages}, is designed to support text encoded by MS-Windows and
604 MS-DOS software.  To use any of these systems, you need to create it
605 with @kbd{M-x codepage-setup}.  @xref{MS-DOS and MULE}.  After
606 creating the coding system for the codepage, you can use it as any
607 other coding system.  For example, to visit a file encoded in codepage
608 850, type @kbd{C-x @key{RET} c cp850 @key{RET} C-x C-f @var{filename}
609 @key{RET}}.
611   In addition to converting various representations of non-ASCII
612 characters, a coding system can perform end-of-line conversion.  Emacs
613 handles three different conventions for how to separate lines in a file:
614 newline, carriage-return linefeed, and just carriage-return.
616 @table @kbd
617 @item C-h C @var{coding} @key{RET}
618 Describe coding system @var{coding}.
620 @item C-h C @key{RET}
621 Describe the coding systems currently in use.
623 @item M-x list-coding-systems
624 Display a list of all the supported coding systems.
625 @end table
627 @kindex C-h C
628 @findex describe-coding-system
629   The command @kbd{C-h C} (@code{describe-coding-system}) displays
630 information about particular coding systems.  You can specify a coding
631 system name as the argument; alternatively, with an empty argument, it
632 describes the coding systems currently selected for various purposes,
633 both in the current buffer and as the defaults, and the priority list
634 for recognizing coding systems (@pxref{Recognize Coding}).
636 @findex list-coding-systems
637   To display a list of all the supported coding systems, type @kbd{M-x
638 list-coding-systems}.  The list gives information about each coding
639 system, including the letter that stands for it in the mode line
640 (@pxref{Mode Line}).
642 @cindex end-of-line conversion
643 @cindex MS-DOS end-of-line conversion
644 @cindex Macintosh end-of-line conversion
645   Each of the coding systems that appear in this list---except for
646 @code{no-conversion}, which means no conversion of any kind---specifies
647 how and whether to convert printing characters, but leaves the choice of
648 end-of-line conversion to be decided based on the contents of each file.
649 For example, if the file appears to use the sequence carriage-return
650 linefeed to separate lines, DOS end-of-line conversion will be used.
652   Each of the listed coding systems has three variants which specify
653 exactly what to do for end-of-line conversion:
655 @table @code
656 @item @dots{}-unix
657 Don't do any end-of-line conversion; assume the file uses
658 newline to separate lines.  (This is the convention normally used
659 on Unix and GNU systems.)
661 @item @dots{}-dos
662 Assume the file uses carriage-return linefeed to separate lines, and do
663 the appropriate conversion.  (This is the convention normally used on
664 Microsoft systems.@footnote{It is also specified for MIME @samp{text/*}
665 bodies and in other network transport contexts.  It is different
666 from the SGML reference syntax record-start/record-end format which
667 Emacs doesn't support directly.})
669 @item @dots{}-mac
670 Assume the file uses carriage-return to separate lines, and do the
671 appropriate conversion.  (This is the convention normally used on the
672 Macintosh system.)
673 @end table
675   These variant coding systems are omitted from the
676 @code{list-coding-systems} display for brevity, since they are entirely
677 predictable.  For example, the coding system @code{iso-latin-1} has
678 variants @code{iso-latin-1-unix}, @code{iso-latin-1-dos} and
679 @code{iso-latin-1-mac}.
681   The coding system @code{raw-text} is good for a file which is mainly
682 ASCII text, but may contain byte values above 127 which are not meant to
683 encode non-ASCII characters.  With @code{raw-text}, Emacs copies those
684 byte values unchanged, and sets @code{enable-multibyte-characters} to
685 @code{nil} in the current buffer so that they will be interpreted
686 properly.  @code{raw-text} handles end-of-line conversion in the usual
687 way, based on the data encountered, and has the usual three variants to
688 specify the kind of end-of-line conversion to use.
690   In contrast, the coding system @code{no-conversion} specifies no
691 character code conversion at all---none for non-ASCII byte values and
692 none for end of line.  This is useful for reading or writing binary
693 files, tar files, and other files that must be examined verbatim.  It,
694 too, sets @code{enable-multibyte-characters} to @code{nil}.
696   The easiest way to edit a file with no conversion of any kind is with
697 the @kbd{M-x find-file-literally} command.  This uses
698 @code{no-conversion}, and also suppresses other Emacs features that
699 might convert the file contents before you see them.  @xref{Visiting}.
701   The coding system @code{emacs-mule} means that the file contains
702 non-ASCII characters stored with the internal Emacs encoding.  It
703 handles end-of-line conversion based on the data encountered, and has
704 the usual three variants to specify the kind of end-of-line conversion.
706 @node Recognize Coding
707 @section Recognizing Coding Systems
709   Emacs tries to recognize which coding system to use for a given text
710 as an integral part of reading that text.  (This applies to files
711 being read, output from subprocesses, text from X selections, etc.)
712 Emacs can select the right coding system automatically most of the
713 time---once you have specified your preferences.
715   Some coding systems can be recognized or distinguished by which byte
716 sequences appear in the data.  However, there are coding systems that
717 cannot be distinguished, not even potentially.  For example, there is no
718 way to distinguish between Latin-1 and Latin-2; they use the same byte
719 values with different meanings.
721   Emacs handles this situation by means of a priority list of coding
722 systems.  Whenever Emacs reads a file, if you do not specify the coding
723 system to use, Emacs checks the data against each coding system,
724 starting with the first in priority and working down the list, until it
725 finds a coding system that fits the data.  Then it converts the file
726 contents assuming that they are represented in this coding system.
728   The priority list of coding systems depends on the selected language
729 environment (@pxref{Language Environments}).  For example, if you use
730 French, you probably want Emacs to prefer Latin-1 to Latin-2; if you use
731 Czech, you probably want Latin-2 to be preferred.  This is one of the
732 reasons to specify a language environment.
734 @findex prefer-coding-system
735   However, you can alter the priority list in detail with the command
736 @kbd{M-x prefer-coding-system}.  This command reads the name of a coding
737 system from the minibuffer, and adds it to the front of the priority
738 list, so that it is preferred to all others.  If you use this command
739 several times, each use adds one element to the front of the priority
740 list.
742   If you use a coding system that specifies the end-of-line conversion
743 type, such as @code{iso-8859-1-dos}, what this means is that Emacs
744 should attempt to recognize @code{iso-8859-1} with priority, and should
745 use DOS end-of-line conversion when it does recognize @code{iso-8859-1}.
747 @vindex file-coding-system-alist
748   Sometimes a file name indicates which coding system to use for the
749 file.  The variable @code{file-coding-system-alist} specifies this
750 correspondence.  There is a special function
751 @code{modify-coding-system-alist} for adding elements to this list.  For
752 example, to read and write all @samp{.txt} files using the coding system
753 @code{china-iso-8bit}, you can execute this Lisp expression:
755 @smallexample
756 (modify-coding-system-alist 'file "\\.txt\\'" 'china-iso-8bit)
757 @end smallexample
759 @noindent
760 The first argument should be @code{file}, the second argument should be
761 a regular expression that determines which files this applies to, and
762 the third argument says which coding system to use for these files.
764 @vindex inhibit-eol-conversion
765 @cindex DOS-style end-of-line display
766   Emacs recognizes which kind of end-of-line conversion to use based on
767 the contents of the file: if it sees only carriage-returns, or only
768 carriage-return linefeed sequences, then it chooses the end-of-line
769 conversion accordingly.  You can inhibit the automatic use of
770 end-of-line conversion by setting the variable @code{inhibit-eol-conversion}
771 to non-@code{nil}.  If you do that, DOS-style files will be displayed
772 with the @samp{^M} characters visible in the buffer; some people
773 prefer this to the more subtle @samp{(DOS)} end-of-line type
774 indication near the left edge of the mode line (@pxref{Mode Line,
775 eol-mnemonic}).
777 @vindex inhibit-iso-escape-detection
778 @cindex escape sequences in files
779   By default, the automatic detection of coding system is sensitive to
780 escape sequences.  If Emacs sees a sequence of characters that begin
781 with an escape character, and the sequence is valid as an ISO-2022
782 code, that tells Emacs to use one of the ISO-2022 encodings to decode
783 the file.
785   However, there may be cases that you want to read escape sequences
786 in a file as is.  In such a case, you can set the variable
787 @code{inhibit-iso-escape-detection} to non-@code{nil}.  Then the code
788 detection ignores any escape sequences, and never uses an ISO-2022
789 encoding.  The result is that all escape sequences become visible in
790 the buffer.
792   The default value of @code{inhibit-iso-escape-detection} is
793 @code{nil}.  We recommend that you not change it permanently, only for
794 one specific operation.  That's because many Emacs Lisp source files
795 in the Emacs distribution contain non-ASCII characters encoded in the
796 coding system @code{iso-2022-7bit}, and they won't be
797 decoded correctly when you visit those files if you suppress the
798 escape sequence detection.
800 @vindex coding
801   You can specify the coding system for a particular file using the
802 @w{@samp{-*-@dots{}-*-}} construct at the beginning of a file, or a
803 local variables list at the end (@pxref{File Variables}).  You do this
804 by defining a value for the ``variable'' named @code{coding}.  Emacs
805 does not really have a variable @code{coding}; instead of setting a
806 variable, this uses the specified coding system for the file.  For
807 example, @samp{-*-mode: C; coding: latin-1;-*-} specifies use of the
808 Latin-1 coding system, as well as C mode.  When you specify the coding
809 explicitly in the file, that overrides
810 @code{file-coding-system-alist}.
812 @vindex auto-coding-alist
813 @vindex auto-coding-regexp-alist
814   The variables @code{auto-coding-alist} and
815 @code{auto-coding-regexp-alist} are the strongest way to specify the
816 coding system for certain patterns of file names, or for files
817 containing certain patterns; these variables even override
818 @samp{-*-coding:-*-} tags in the file itself.  Emacs uses
819 @code{auto-coding-alist} for tar and archive files, to prevent it
820 from being confused by a @samp{-*-coding:-*-} tag in a member of the
821 archive and thinking it applies to the archive file as a whole.
822 Likewise, Emacs uses @code{auto-coding-regexp-alist} to ensure that
823 RMAIL files, whose names in general don't match any particular pattern,
824 are decoded correctly.
826   If Emacs recognizes the encoding of a file incorrectly, you can
827 reread the file using the correct coding system by typing @kbd{C-x
828 @key{RET} c @var{coding-system} @key{RET} M-x revert-buffer
829 @key{RET}}.  To see what coding system Emacs actually used to decode
830 the file, look at the coding system mnemonic letter near the left edge
831 of the mode line (@pxref{Mode Line}), or type @kbd{C-h C @key{RET}}.
833 @vindex buffer-file-coding-system
834   Once Emacs has chosen a coding system for a buffer, it stores that
835 coding system in @code{buffer-file-coding-system} and uses that coding
836 system, by default, for operations that write from this buffer into a
837 file.  This includes the commands @code{save-buffer} and
838 @code{write-region}.  If you want to write files from this buffer using
839 a different coding system, you can specify a different coding system for
840 the buffer using @code{set-buffer-file-coding-system} (@pxref{Specify
841 Coding}).
843   You can insert any possible character into any Emacs buffer, but
844 most coding systems can only handle some of the possible characters.
845 This means that it is possible for you to insert characters that
846 cannot be encoded with the coding system that will be used to save the
847 buffer.  For example, you could start with an ASCII file and insert a
848 few Latin-1 characters into it, or you could edit a text file in
849 Polish encoded in @code{iso-8859-2} and add some Russian words to it.
850 When you save the buffer, Emacs cannot use the current value of
851 @code{buffer-file-coding-system}, because the characters you added
852 cannot be encoded by that coding system.
854   When that happens, Emacs tries the most-preferred coding system (set
855 by @kbd{M-x prefer-coding-system} or @kbd{M-x
856 set-language-environment}), and if that coding system can safely
857 encode all of the characters in the buffer, Emacs uses it, and stores
858 its value in @code{buffer-file-coding-system}.  Otherwise, Emacs
859 displays a list of coding systems suitable for encoding the buffer's
860 contents, and asks you to choose one of those coding systems.
862   If you insert the unsuitable characters in a mail message, Emacs
863 behaves a bit differently.  It additionally checks whether the
864 most-preferred coding system is recommended for use in MIME messages;
865 if not, Emacs tells you that the most-preferred coding system is
866 not recommended and prompts you for another coding system.  This is so
867 you won't inadvertently send a message encoded in a way that your
868 recipient's mail software will have difficulty decoding.  (If you do
869 want to use the most-preferred coding system, you can still type its
870 name in response to the question.)
872 @vindex sendmail-coding-system
873   When you send a message with Mail mode (@pxref{Sending Mail}), Emacs has
874 four different ways to determine the coding system to use for encoding
875 the message text.  It tries the buffer's own value of
876 @code{buffer-file-coding-system}, if that is non-@code{nil}.  Otherwise,
877 it uses the value of @code{sendmail-coding-system}, if that is
878 non-@code{nil}.  The third way is to use the default coding system for
879 new files, which is controlled by your choice of language environment,
880 if that is non-@code{nil}.  If all of these three values are @code{nil},
881 Emacs encodes outgoing mail using the Latin-1 coding system.
883 @vindex rmail-decode-mime-charset
884   When you get new mail in Rmail, each message is translated
885 automatically from the coding system it is written in, as if it were a
886 separate file.  This uses the priority list of coding systems that you
887 have specified.  If a MIME message specifies a character set, Rmail
888 obeys that specification, unless @code{rmail-decode-mime-charset} is
889 @code{nil}.
891 @vindex rmail-file-coding-system
892   For reading and saving Rmail files themselves, Emacs uses the coding
893 system specified by the variable @code{rmail-file-coding-system}.  The
894 default value is @code{nil}, which means that Rmail files are not
895 translated (they are read and written in the Emacs internal character
896 code).
898 @node Specify Coding
899 @section Specifying a Coding System
901   In cases where Emacs does not automatically choose the right coding
902 system, you can use these commands to specify one:
904 @table @kbd
905 @item C-x @key{RET} f @var{coding} @key{RET}
906 Use coding system @var{coding} for the visited file
907 in the current buffer.
909 @item C-x @key{RET} c @var{coding} @key{RET}
910 Specify coding system @var{coding} for the immediately following
911 command.
913 @item C-x @key{RET} k @var{coding} @key{RET}
914 Use coding system @var{coding} for keyboard input.
916 @item C-x @key{RET} t @var{coding} @key{RET}
917 Use coding system @var{coding} for terminal output.
919 @item C-x @key{RET} p @var{input-coding} @key{RET} @var{output-coding} @key{RET}
920 Use coding systems @var{input-coding} and @var{output-coding} for
921 subprocess input and output in the current buffer.
923 @item C-x @key{RET} x @var{coding} @key{RET}
924 Use coding system @var{coding} for transferring selections to and from
925 other programs through the window system.
927 @item C-x @key{RET} X @var{coding} @key{RET}
928 Use coding system @var{coding} for transferring @emph{one}
929 selection---the next one---to or from the window system.
930 @end table
932 @kindex C-x RET f
933 @findex set-buffer-file-coding-system
934   The command @kbd{C-x @key{RET} f} (@code{set-buffer-file-coding-system})
935 specifies the file coding system for the current buffer---in other
936 words, which coding system to use when saving or rereading the visited
937 file.  You specify which coding system using the minibuffer.  Since this
938 command applies to a file you have already visited, it affects only the
939 way the file is saved.
941 @kindex C-x RET c
942 @findex universal-coding-system-argument
943   Another way to specify the coding system for a file is when you visit
944 the file.  First use the command @kbd{C-x @key{RET} c}
945 (@code{universal-coding-system-argument}); this command uses the
946 minibuffer to read a coding system name.  After you exit the minibuffer,
947 the specified coding system is used for @emph{the immediately following
948 command}.
950   So if the immediately following command is @kbd{C-x C-f}, for example,
951 it reads the file using that coding system (and records the coding
952 system for when the file is saved).  Or if the immediately following
953 command is @kbd{C-x C-w}, it writes the file using that coding system.
954 Other file commands affected by a specified coding system include
955 @kbd{C-x C-i} and @kbd{C-x C-v}, as well as the other-window variants of
956 @kbd{C-x C-f}.
958   @kbd{C-x @key{RET} c} also affects commands that start subprocesses,
959 including @kbd{M-x shell} (@pxref{Shell}).
961   However, if the immediately following command does not use the coding
962 system, then @kbd{C-x @key{RET} c} ultimately has no effect.
964   An easy way to visit a file with no conversion is with the @kbd{M-x
965 find-file-literally} command.  @xref{Visiting}.
967 @vindex default-buffer-file-coding-system
968   The variable @code{default-buffer-file-coding-system} specifies the
969 choice of coding system to use when you create a new file.  It applies
970 when you find a new file, and when you create a buffer and then save it
971 in a file.  Selecting a language environment typically sets this
972 variable to a good choice of default coding system for that language
973 environment.
975 @kindex C-x RET t
976 @findex set-terminal-coding-system
977   The command @kbd{C-x @key{RET} t} (@code{set-terminal-coding-system})
978 specifies the coding system for terminal output.  If you specify a
979 character code for terminal output, all characters output to the
980 terminal are translated into that coding system.
982   This feature is useful for certain character-only terminals built to
983 support specific languages or character sets---for example, European
984 terminals that support one of the ISO Latin character sets.  You need to
985 specify the terminal coding system when using multibyte text, so that
986 Emacs knows which characters the terminal can actually handle.
988   By default, output to the terminal is not translated at all, unless
989 Emacs can deduce the proper coding system from your terminal type or
990 your locale specification (@pxref{Language Environments}).
992 @kindex C-x RET k
993 @findex set-keyboard-coding-system
994 @vindex keyboard-coding-system
995   The command @kbd{C-x @key{RET} k} (@code{set-keyboard-coding-system})
996 or the Custom option @code{keyboard-coding-system}
997 specifies the coding system for keyboard input.  Character-code
998 translation of keyboard input is useful for terminals with keys that
999 send non-ASCII graphic characters---for example, some terminals designed
1000 for ISO Latin-1 or subsets of it.
1002   By default, keyboard input is not translated at all.
1004   There is a similarity between using a coding system translation for
1005 keyboard input, and using an input method: both define sequences of
1006 keyboard input that translate into single characters.  However, input
1007 methods are designed to be convenient for interactive use by humans, and
1008 the sequences that are translated are typically sequences of ASCII
1009 printing characters.  Coding systems typically translate sequences of
1010 non-graphic characters.
1012 @kindex C-x RET x
1013 @kindex C-x RET X
1014 @findex set-selection-coding-system
1015 @findex set-next-selection-coding-system
1016   The command @kbd{C-x @key{RET} x} (@code{set-selection-coding-system})
1017 specifies the coding system for sending selected text to the window
1018 system, and for receiving the text of selections made in other
1019 applications.  This command applies to all subsequent selections, until
1020 you override it by using the command again.  The command @kbd{C-x
1021 @key{RET} X} (@code{set-next-selection-coding-system}) specifies the
1022 coding system for the next selection made in Emacs or read by Emacs.
1024 @kindex C-x RET p
1025 @findex set-buffer-process-coding-system
1026   The command @kbd{C-x @key{RET} p} (@code{set-buffer-process-coding-system})
1027 specifies the coding system for input and output to a subprocess.  This
1028 command applies to the current buffer; normally, each subprocess has its
1029 own buffer, and thus you can use this command to specify translation to
1030 and from a particular subprocess by giving the command in the
1031 corresponding buffer.
1033   The default for translation of process input and output depends on the
1034 current language environment.
1036 @vindex file-name-coding-system
1037 @cindex file names with non-ASCII characters
1038   The variable @code{file-name-coding-system} specifies a coding system
1039 to use for encoding file names.  If you set the variable to a coding
1040 system name (as a Lisp symbol or a string), Emacs encodes file names
1041 using that coding system for all file operations.  This makes it
1042 possible to use non-ASCII characters in file names---or, at least, those
1043 non-ASCII characters which the specified coding system can encode.
1045   If @code{file-name-coding-system} is @code{nil}, Emacs uses a default
1046 coding system determined by the selected language environment.  In the
1047 default language environment, any non-ASCII characters in file names are
1048 not encoded specially; they appear in the file system using the internal
1049 Emacs representation.
1051   @strong{Warning:} if you change @code{file-name-coding-system} (or the
1052 language environment) in the middle of an Emacs session, problems can
1053 result if you have already visited files whose names were encoded using
1054 the earlier coding system and cannot be encoded (or are encoded
1055 differently) under the new coding system.  If you try to save one of
1056 these buffers under the visited file name, saving may use the wrong file
1057 name, or it may get an error.  If such a problem happens, use @kbd{C-x
1058 C-w} to specify a new file name for that buffer.
1060 @vindex locale-coding-system
1061   The variable @code{locale-coding-system} specifies a coding system
1062 to use when encoding and decoding system strings such as system error
1063 messages and @code{format-time-string} formats and time stamps.  You
1064 should choose a coding system that is compatible with the underlying
1065 system's text representation, which is normally specified by one of
1066 the environment variables @env{LC_ALL}, @env{LC_CTYPE}, and
1067 @env{LANG}.  (The first one, in the order specified above, whose value
1068 is nonempty is the one that determines the text representation.)
1070 @node Fontsets
1071 @section Fontsets
1072 @cindex fontsets
1074   A font for X typically defines shapes for a single alphabet or script.
1075 Therefore, displaying the entire range of scripts that Emacs supports
1076 requires a collection of many fonts.  In Emacs, such a collection is
1077 called a @dfn{fontset}.  A fontset is defined by a list of fonts, each
1078 assigned to handle a range of character codes.
1080   Each fontset has a name, like a font.  The available X fonts are
1081 defined by the X server; fontsets, however, are defined within Emacs
1082 itself.  Once you have defined a fontset, you can use it within Emacs by
1083 specifying its name, anywhere that you could use a single font.  Of
1084 course, Emacs fontsets can use only the fonts that the X server
1085 supports; if certain characters appear on the screen as hollow boxes,
1086 this means that the fontset in use for them has no font for those
1087 characters.@footnote{The Emacs installation instructions have information on
1088 additional font support.}
1090   Emacs creates two fontsets automatically: the @dfn{standard fontset}
1091 and the @dfn{startup fontset}.  The standard fontset is most likely to
1092 have fonts for a wide variety of non-ASCII characters; however, this is
1093 not the default for Emacs to use.  (By default, Emacs tries to find a
1094 font that has bold and italic variants.)  You can specify use of the
1095 standard fontset with the @samp{-fn} option, or with the @samp{Font} X
1096 resource (@pxref{Font X}).  For example,
1098 @example
1099 emacs -fn fontset-standard
1100 @end example
1102   A fontset does not necessarily specify a font for every character
1103 code.  If a fontset specifies no font for a certain character, or if it
1104 specifies a font that does not exist on your system, then it cannot
1105 display that character properly.  It will display that character as an
1106 empty box instead.
1108 @node Defining Fontsets
1109 @section Defining fontsets
1111 @vindex standard-fontset-spec
1112 @cindex standard fontset
1113   Emacs creates a standard fontset automatically according to the value
1114 of @code{standard-fontset-spec}.  This fontset's name is
1116 @example
1117 -*-fixed-medium-r-normal-*-16-*-*-*-*-*-fontset-standard
1118 @end example
1120 @noindent
1121 or just @samp{fontset-standard} for short.
1123   Bold, italic, and bold-italic variants of the standard fontset are
1124 created automatically.  Their names have @samp{bold} instead of
1125 @samp{medium}, or @samp{i} instead of @samp{r}, or both.
1127 @cindex startup fontset
1128   If you specify a default ASCII font with the @samp{Font} resource or
1129 the @samp{-fn} argument, Emacs generates a fontset from it
1130 automatically.  This is the @dfn{startup fontset} and its name is
1131 @code{fontset-startup}.  It does this by replacing the @var{foundry},
1132 @var{family}, @var{add_style}, and @var{average_width} fields of the
1133 font name with @samp{*}, replacing @var{charset_registry} field with
1134 @samp{fontset}, and replacing @var{charset_encoding} field with
1135 @samp{startup}, then using the resulting string to specify a fontset.
1137   For instance, if you start Emacs this way,
1139 @example
1140 emacs -fn "*courier-medium-r-normal--14-140-*-iso8859-1"
1141 @end example
1143 @noindent
1144 Emacs generates the following fontset and uses it for the initial X
1145 window frame:
1147 @example
1148 -*-*-medium-r-normal-*-14-140-*-*-*-*-fontset-startup
1149 @end example
1151   With the X resource @samp{Emacs.Font}, you can specify a fontset name
1152 just like an actual font name.  But be careful not to specify a fontset
1153 name in a wildcard resource like @samp{Emacs*Font}---that wildcard
1154 specification matches various other resources, such as for menus, and
1155 menus cannot handle fontsets.
1157   You can specify additional fontsets using X resources named
1158 @samp{Fontset-@var{n}}, where @var{n} is an integer starting from 0.
1159 The resource value should have this form:
1161 @smallexample
1162 @var{fontpattern}, @r{[}@var{charsetname}:@var{fontname}@r{]@dots{}}
1163 @end smallexample
1165 @noindent
1166 @var{fontpattern} should have the form of a standard X font name, except
1167 for the last two fields.  They should have the form
1168 @samp{fontset-@var{alias}}.
1170   The fontset has two names, one long and one short.  The long name is
1171 @var{fontpattern}.  The short name is @samp{fontset-@var{alias}}.  You
1172 can refer to the fontset by either name.
1174   The construct @samp{@var{charset}:@var{font}} specifies which font to
1175 use (in this fontset) for one particular character set.  Here,
1176 @var{charset} is the name of a character set, and @var{font} is the
1177 font to use for that character set.  You can use this construct any
1178 number of times in defining one fontset.
1180   For the other character sets, Emacs chooses a font based on
1181 @var{fontpattern}.  It replaces @samp{fontset-@var{alias}} with values
1182 that describe the character set.  For the ASCII character font,
1183 @samp{fontset-@var{alias}} is replaced with @samp{ISO8859-1}.
1185   In addition, when several consecutive fields are wildcards, Emacs
1186 collapses them into a single wildcard.  This is to prevent use of
1187 auto-scaled fonts.  Fonts made by scaling larger fonts are not usable
1188 for editing, and scaling a smaller font is not useful because it is
1189 better to use the smaller font in its own size, which is what Emacs
1190 does.
1192   Thus if @var{fontpattern} is this,
1194 @example
1195 -*-fixed-medium-r-normal-*-24-*-*-*-*-*-fontset-24
1196 @end example
1198 @noindent
1199 the font specification for ASCII characters would be this:
1201 @example
1202 -*-fixed-medium-r-normal-*-24-*-ISO8859-1
1203 @end example
1205 @noindent
1206 and the font specification for Chinese GB2312 characters would be this:
1208 @example
1209 -*-fixed-medium-r-normal-*-24-*-gb2312*-*
1210 @end example
1212   You may not have any Chinese font matching the above font
1213 specification.  Most X distributions include only Chinese fonts that
1214 have @samp{song ti} or @samp{fangsong ti} in @var{family} field.  In
1215 such a case, @samp{Fontset-@var{n}} can be specified as below:
1217 @smallexample
1218 Emacs.Fontset-0: -*-fixed-medium-r-normal-*-24-*-*-*-*-*-fontset-24,\
1219         chinese-gb2312:-*-*-medium-r-normal-*-24-*-gb2312*-*
1220 @end smallexample
1222 @noindent
1223 Then, the font specifications for all but Chinese GB2312 characters have
1224 @samp{fixed} in the @var{family} field, and the font specification for
1225 Chinese GB2312 characters has a wild card @samp{*} in the @var{family}
1226 field.
1228 @findex create-fontset-from-fontset-spec
1229   The function that processes the fontset resource value to create the
1230 fontset is called @code{create-fontset-from-fontset-spec}.  You can also
1231 call this function explicitly to create a fontset.
1233   @xref{Font X}, for more information about font naming in X.
1235 @node Undisplayable Characters
1236 @section Undisplayable Characters
1238   Your terminal may be unable to display some non-ASCII
1239 characters.  Most non-windowing terminals can only use a single
1240 character set (use the variable @code{default-terminal-coding-system}
1241 (@pxref{Specify Coding}) to tell Emacs which one); characters which
1242 can't be encoded in that coding system are displayed as @samp{?} by
1243 default.
1245   Windowing terminals can display a broader range of characters, but
1246 you may not have fonts installed for all of them; characters that have
1247 no font appear as a hollow box.
1249   If you use Latin-1 characters but your terminal can't display
1250 Latin-1, you can arrange to display mnemonic ASCII sequences
1251 instead, e.g.@: @samp{"o} for o-umlaut.  Load the library
1252 @file{iso-ascii} to do this.
1254 @vindex latin1-display
1255   If your terminal can display Latin-1, you can display characters
1256 from other European character sets using a mixture of equivalent
1257 Latin-1 characters and ASCII mnemonics.  Use the Custom option
1258 @code{latin1-display} to enable this.  The mnemonic ASCII
1259 sequences mostly correspond to those of the prefix input methods.
1261 @node Single-Byte Character Support
1262 @section Single-byte Character Set Support
1264 @cindex European character sets
1265 @cindex accented characters
1266 @cindex ISO Latin character sets
1267 @cindex Unibyte operation
1268   The ISO 8859 Latin-@var{n} character sets define character codes in
1269 the range 0240 to 0377 octal (160 to 255 decimal) to handle the
1270 accented letters and punctuation needed by various European languages
1271 (and some non-European ones).  If you disable multibyte characters,
1272 Emacs can still handle @emph{one} of these character codes at a time.
1273 To specify @emph{which} of these codes to use, invoke @kbd{M-x
1274 set-language-environment} and specify a suitable language environment
1275 such as @samp{Latin-@var{n}}.
1277   For more information about unibyte operation, see @ref{Enabling
1278 Multibyte}.  Note particularly that you probably want to ensure that
1279 your initialization files are read as unibyte if they contain non-ASCII
1280 characters.
1282 @vindex unibyte-display-via-language-environment
1283   Emacs can also display those characters, provided the terminal or font
1284 in use supports them.  This works automatically.  Alternatively, if you
1285 are using a window system, Emacs can also display single-byte characters
1286 through fontsets, in effect by displaying the equivalent multibyte
1287 characters according to the current language environment.  To request
1288 this, set the variable @code{unibyte-display-via-language-environment}
1289 to a non-@code{nil} value.
1291 @cindex @code{iso-ascii} library
1292   If your terminal does not support display of the Latin-1 character
1293 set, Emacs can display these characters as ASCII sequences which at
1294 least give you a clear idea of what the characters are.  To do this,
1295 load the library @code{iso-ascii}.  Similar libraries for other
1296 Latin-@var{n} character sets could be implemented, but we don't have
1297 them yet.
1299 @findex standard-display-8bit
1300 @cindex 8-bit display
1301   Normally non-ISO-8859 characters (decimal codes between 128 and 159
1302 inclusive) are displayed as octal escapes.  You can change this for
1303 non-standard ``extended'' versions of ISO-8859 character sets by using the
1304 function @code{standard-display-8bit} in the @code{disp-table} library.
1306   There are several ways you can input single-byte non-ASCII
1307 characters:
1309 @itemize @bullet
1310 @cindex 8-bit input
1311 @item
1312 If your keyboard can generate character codes 128 (decimal) and up,
1313 representing non-ASCII characters, you can type those character codes
1314 directly.
1316 On a windowing terminal, you should not need to do anything special to
1317 use these keys; they should simply work.  On a text-only terminal, you
1318 should use the command @code{M-x set-keyboard-coding-system} or the
1319 Custom option @code{keyboard-coding-system} to specify which coding
1320 system your keyboard uses (@pxref{Specify Coding}).  Enabling this
1321 feature will probably require you to use @kbd{ESC} to type Meta
1322 characters; however, on a Linux console or in @code{xterm}, you can
1323 arrange for Meta to be converted to @kbd{ESC} and still be able type
1324 8-bit characters present directly on the keyboard or using
1325 @kbd{Compose} or @kbd{AltGr} keys.  @xref{User Input}.
1327 @item
1328 You can use an input method for the selected language environment.
1329 @xref{Input Methods}.  When you use an input method in a unibyte buffer,
1330 the non-ASCII character you specify with it is converted to unibyte.
1332 @kindex C-x 8
1333 @cindex @code{iso-transl} library
1334 @cindex compose character
1335 @cindex dead character
1336 @item
1337 For Latin-1 only, you can use the
1338 key @kbd{C-x 8} as a ``compose character'' prefix for entry of
1339 non-ASCII Latin-1 printing characters.  @kbd{C-x 8} is good for
1340 insertion (in the minibuffer as well as other buffers), for searching,
1341 and in any other context where a key sequence is allowed.
1343 @kbd{C-x 8} works by loading the @code{iso-transl} library.  Once that
1344 library is loaded, the @key{ALT} modifier key, if you have one, serves
1345 the same purpose as @kbd{C-x 8}; use @key{ALT} together with an accent
1346 character to modify the following letter.  In addition, if you have keys
1347 for the Latin-1 ``dead accent characters,'' they too are defined to
1348 compose with the following character, once @code{iso-transl} is loaded.
1349 Use @kbd{C-x 8 C-h} to list the available translations as mnemonic
1350 command names.
1352 @item
1353 @cindex @code{iso-acc} library
1354 @cindex ISO Accents mode
1355 @findex iso-accents-mode
1356 @cindex Latin-1, Latin-2 and Latin-3 input mode
1357 For Latin-1, Latin-2 and Latin-3, @kbd{M-x iso-accents-mode} enables
1358 a minor mode that works much like the @code{latin-1-prefix} input
1359 method, but does not depend on having the input methods installed.  This
1360 mode is buffer-local.  It can be customized for various languages with
1361 @kbd{M-x iso-accents-customize}.
1362 @end itemize