skripte/python/abgleich_sprachvarianten.py

   1 #!/usr/bin/env python
   2 # -*- coding: utf8 -*-
   3 # :Copyright: © 2014 Günter Milde.
   4 #             Released without warranty under the terms of the
   5 #             GNU General Public License (v. 2 or later)
   6 # :Id: $Id:  $
   7
   8 # Abgleich der Trennstellen zwischen Sprachvarianten
   9 # ====================================================
  10 #
  11 # * Übertragen von kategorisierten Trennstellen zwischen Sprachvarianten
  12 #   desselben Wortes, und/oder
  13 #
  14 # * Zusammenfassen von Feldern mit gleichem Inhalt wenn das Ergebnis ein
  15 #   wohlgeformter Eintrag ist.
  16 #
  17 # * Ergänzen von Formen mit SS statt ß.
  18 #
  19 # ::
  20
  21 import re, sys, codecs, copy
  22 from werkzeug import WordFile, WordEntry, join_word, udiff, sprachabgleich
  23
  24
  25 # Zusammenfassen von Feldern mit gleichem Inhalt z.B.
  26 #
  27 #      hallo;-2-;hal-lo;hal-o     --> hallo;hal-lo
  28 #
  29 # in allen Einträgen von `wortliste`.
  30 # Siehe ``WordEntry.conflate_fields()`` in werkzeug.py.
  31 #
  32 # Anwendung 2012-03-13
  33 # (getestet mit ``texlua validate.lua < ../wortliste``)
  34 #
  35 # =========   ======   =======
  36 # Typ         Vorher   Nachher
  37 # ---------   ------   -------
  38 # ua          371807   374614
  39 # uxtr        41156    38349
  40 # =========   ======   =======
  41 #
  42 # ::
  43
  44 if __name__ == '__main__':
  45
  46     # sys.stdout mit UTF8 encoding.
  47     sys.stdout = codecs.getwriter('UTF-8')(sys.stdout)
  48
  49     # Die `Wortliste`::
  50
  51     wordfile = WordFile('../../wortliste') # ≅ 400 000 Einträge/Zeilen
  52     wortliste = list(wordfile)
  53     wortliste_neu = []
  54
  55     wordfile.seek(0)            # Pointer zurücksetzen
  56     words = wordfile.asdict()
  57
  58     for oldentry in wortliste:
  59         if len(oldentry) <= 2:
  60             # Ggf. Ergänzen der GROSS-Variante:
  61             if (u'ß' in oldentry[0]
  62                 and oldentry[0].replace(u'ß', u'ss') not in words
  63                 and oldentry[0].replace(u'ß', u'ss').lower() not in words
  64                 and oldentry[0].replace(u'ß', u'ss').title() not in words
  65                ):
  66                 entry = WordEntry(oldentry[0].replace(u'ß', u'ss')
  67                                   + u';-2-;-3-;-4-;'
  68                                   + oldentry[1].replace(u'ß', u'ss'))
  69                 wortliste_neu.append(entry)
  70             wortliste_neu.append(oldentry)
  71             continue
  72         entry = copy.copy(oldentry)
  73         sprachabgleich(entry)
  74         if oldentry == entry and u'ss' in entry[0]:
  75             for w in entry[1:]:
  76                 if not w.startswith(u'-'):
  77                     break
  78             try:
  79                 sprachabgleich(entry, words[join_word(w.replace(u'ss', u'ß'))])
  80             except KeyError:
  81                 # print entry[0].replace(u'ss', u'ß'), "fehlt"
  82                 if entry.get('de-1901-x-GROSS'):
  83                     wort1901 = entry.get('de-1901-x-GROSS')
  84                     wort1901 = wort1901.replace(u'ss', u'ß')
  85                     if not u'/' in wort1901 and len(wort1901)>3:
  86                         print u'%s;-2-;%s;-4-' % (join_word(wort1901), wort1901)
  87                 pass  # e.g. "Abfahrtßpezialisten"
  88         if oldentry == entry and u'ß' in entry[0]:
  89             try:
  90                 sprachabgleich(entry, words[entry[0].replace(u'ß', u'ss')])
  91             except KeyError:
  92                 # Ergänzen der GROSS-Variante
  93                 if entry.get('de-1996') is None:
  94                     oldentry = WordEntry(u';'.join(
  95                                         [entry[0].replace(u'ß', u'ss'),
  96                                          u'-2-;-3-',
  97                                          entry[2].replace(u'ß', u'ss'),
  98                                          entry[2].replace(u'ß', u'ss')]))
  99                 elif entry.get('de-1996') is None:
 100                     # Dämmmassnahmen;-2-;-3-;-4-;-5-;-6-;Dämm==mass=nah-men;-8-
 101                     oldentry = WordEntry(entry[0].replace(u'ß', u'ss')
 102                                       + u';-2-;-3-;-4-;-5-;-6-;'
 103                                       + entry[3].replace(u'ß', u'ss')
 104                                       + u'-8-')
 105                 else:
 106                     oldentry = WordEntry(u';'.join(
 107                                         [entry[0].replace(u'ß', u'ss'),
 108                                          u'-2-;-3-;-4-;-5-',
 109                                          entry[2].replace(u'ß', u'ss'),
 110                                          entry[3].replace(u'ß', u'ss'),
 111                                          u'-8-']))
 112
 113                 wortliste_neu.append(oldentry)
 114
 115         wortliste_neu.append(entry)
 116
 117
 118
 119     # Patch erstellen::
 120
 121     patch = udiff(wortliste, wortliste_neu, 'wortliste', 'wortliste-neu',
 122                   encoding=wordfile.encoding)
 123     if patch:
 124         # print patch
 125         patchfile = open('wortliste.patch', 'w')
 126         patchfile.write(patch + '\n')
 127     else:
 128         print "empty patch"