admin/notes/unicode

   1                                             -*-mode: text; coding: latin-1;-*-
   2
   3 Copyright (C) 2002-2011  Free Software Foundation, Inc.
   4 See the end of the file for license conditions.
   5
   6 Problems, fixmes and other unicode-related issues
   7 -------------------------------------------------------------
   8
   9 Notes by fx to record various things of variable importance.  handa
  10 needs to check them -- don't take too seriously, especially with
  11 regard to completeness.
  12
  13  * SINGLE_BYTE_CHAR_P returns true for Latin-1 characters, which has
  14    undesirable effects.  E.g.:
  15    (multibyte-string-p (let ((s "x")) (aset s 0 ?£) s)) => nil
  16    (multibyte-string-p (concat [?£])) => nil
  17    (text-char-description ?£) => "M-#"
  18
  19         These examples are all fixed by the change of 2002-10-14, but
  20         there still exist questionable SINGLE_BYTE_CHAR_P in the
  21         code (keymap.c and print.c).
  22
  23  * Rationalize character syntax and its relationship to the Unicode
  24    database.  (Applies mainly to symbol an punctuation syntax.)
  25
  26  * Fontset handling and customization needs work.  We want to relate
  27    fonts to scripts, probably based on the Unicode blocks.  The
  28    presence of small-repertoire 10646-encoded fonts in XFree 4 is a
  29    pain, not currently worked round.
  30
  31         With the change on 2002-07-26, multiple fonts can be
  32         specified in a fontset for a specific range of characters.
  33         Each range can also be specified by script.  Before using
  34         ISO10646 fonts, Emacs checks their repertories to avoid such
  35         fonts that don't have a glyph for a specific character.
  36
  37         fx has worked on fontset customization, but was stymied by
  38         basic problems with the way the default face is dealt with
  39         (and something else, I think).  This needs revisiting.
  40
  41  * Work is also needed on charset and coding system priorities.
  42
  43  * The relevant bits of latin1-disp.el need porting (and probably
  44    re-naming/updating).  See also cyril-util.el.
  45
  46  * Quail files need more work now the encoding is largely irrelevant.
  47
  48  * What to do with the old coding categories stuff?
  49
  50  * The preferred-coding-system property of charsets should probably be
  51    junked unless it can be made more useful now.
  52
  53  * find-multibyte-characters needs looking at.
  54
  55  * Implement Korean cp949/UHC, BIG5-HKSCS and any other important missing
  56    charsets.
  57
  58  * Lazy-load tables for unify-charset somehow?
  59
  60         Actually, Emacs clears out all charset maps and unify-map just
  61         before dumping, and they are loaded again on demand by the
  62         dumped emacs.  But, those maps (char tables) generated while
  63         temacs is running can't be removed from the dumped emacs.
  64
  65  * Translation tables for {en,de}code currently aren't supported.
  66
  67         This should be fixed by the changes of 2002-10-14.
  68
  69  * Defining CCL coding systems currently doesn't work.
  70
  71         This should be fixed by the changes of 2003-01-30.
  72
  73  * iso-2022 charsets get unified on i/o.
  74
  75         With the change on 2003-01-06, decoding routines put `charset'
  76         property to decoded text, and iso-2022 encoder pay attention
  77         to it.  Thus, for instance, reading and writing by
  78         iso-2022-7bit preserve the original designation sequences.
  79         The property name `preferred-charset' may be better?
  80
  81         We may have to utilize this property to decide a font.
  82
  83  * Revisit locale processing: look at treating the language and
  84    charset parts separately.  (Language should affect things like
  85    spelling and calendar, but that's not a Unicode issue.)
  86
  87  * Handle Unicode combining characters usefully, e.g. diacritics, and
  88    handle more scripts specifically (à la Devanagari).  There are
  89    issues with canonicalization.
  90
  91  * Bidi is a separate issue with no support currently.
  92
  93  * We need tabular input methods, e.g. for maths symbols.  (Not
  94    specific to Unicode.)
  95
  96  * Need multibyte text in menus, e.g. for the above.  (Not specific to
  97    Unicode -- see Emacs etc/TODO, but now mostly works with gtk.)
  98
  99  * There's currently no support for Unicode normalization.
 100
 101  * Populate char-width-table correctly for Unicode characters and
 102    worry about what happens when double-width charsets covering
 103    non-CJK characters are unified.
 104
 105  * Emacs 20/21 .elc files are currently not loadable.  It may or may
 106    not be possible to do this properly.
 107
 108         With the change on 2002-07-24, elc files generated by Emacs
 109         20.3 and later are correctly loaded (including those
 110         containing multibyte characters and compressed).  But, elc
 111         files generated by 20.2 and the primer are still not loadable.
 112         Is it really worth working on it?
 113
 114  * Rmail won't work with non-ASCII text.  Encoding issues for Babyl
 115    files need sorting out, but rms says Babyl will go before this is
 116    released.
 117
 118  * Gnus still needs some attention, and we need to get changes
 119    accepted by Gnus maintainers...
 120
 121  * There are type errors lurking, e.g. in
 122    Fcheck_coding_systems_region.  Define ENABLE_CHECKING to find them.
 123
 124  * You can grep the code for lots of fixmes.
 125
 126  * Old auto-save files, and similar files, such as Gnus drafts,
 127    containing non-ASCII characters probably won't be re-read correctly.
 128
 129 \f
 130 This file is part of GNU Emacs.
 131
 132 GNU Emacs is free software: you can redistribute it and/or modify
 133 it under the terms of the GNU General Public License as published by
 134 the Free Software Foundation, either version 3 of the License, or
 135 (at your option) any later version.
 136
 137 GNU Emacs is distributed in the hope that it will be useful,
 138 but WITHOUT ANY WARRANTY; without even the implied warranty of
 139 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 140 GNU General Public License for more details.
 141
 142 You should have received a copy of the GNU General Public License
 143 along with GNU Emacs.  If not, see <http://www.gnu.org/licenses/>.