skripte/python/MANIFEST

   1 skripte/python
   2 ==============
   3
   4 Vorwort
   5 =======
   6
   7 Selbstdokumentierende Python-Module, Hilfsdateien und experimentelle Skripte
   8 zur Arbeit mit der Wortliste.
   9
  10 Siehe Abschnitt `Arbeitsfluss`_ für einen Vorschlag zur Anwendung.
  11
  12 Das Program PyLit_ kann die ausführbaren Dateien ``*.py`` reversibel in
  13 Textdokumente ``*.py.txt`` konvertieren. Mit Docutils_ lassen sich aus den
  14 in reStructuredText_ geschriebenen Texten Dokumentationen im HTML- oder
  15 PDF-Format erstellen.
  16
  17 .. _PyLit: http://pylit.berlios.de
  18 .. _reStructuredText: http://docutils.sourceforge.net/rst.html
  19 .. _Docutils: http://docutils.sourceforge.net/rst.html
  20
  21
  22 Unterverzeichnisse
  23 ==================
  24
  25 wortteile/
  26   Verzeichnis für Hilfsdateien (Daten/Text)
  27
  28
  29 Module
  30 ======
  31
  32 werkzeug.py
  33   Python-Module für die Arbeit mit der `Wortliste`
  34   Wird von den anderen Python-Skripten importiert.
  35
  36   Aufruf mit ``python werkzeug.py`` startet einen
  37   Test der Werkzeuge und der inneren Konsistenz der Wortliste
  38   (Doppeleinträge, Übereinstimmung Schlüssel-Trennmuster).
  39
  40 Skripte zur Trennstellenkategorisierung
  41 =======================================
  42
  43 Siehe auch den Abschnitt `Arbeitsfluss`_ am Ende dieses Dokumentes.
  44
  45 Achtung experimentell:
  46
  47 * Die Skripte wurden für die eigene Arbeit mit der Wortliste entwickelt und
  48   erfordern zum Teil Anpassungen im Quelltext, eine gewisse Einarbeitung,
  49   Lesen der enthaltenen Dokumentation und gegebenenfalls Rücksprachen mit
  50   dem Autor.
  51
  52 * Die Skripte können ohne Schaden anzurichten probiert werden, denn sie
  53   ändern nicht direkt die Wortliste sondern erstellen eine Datei
  54   ``wortliste.patch``.
  55
  56 * Die Änderungen in dieser Datei können nach Korrekturlesen mittels ::
  57
  58     patch ../../wortliste < wortliste.patch
  59
  60   auf die Wortliste angewendet werden.
  61
  62 prepare_patch.py
  63   Helfer für kleine Editieraufgaben, u.a. entfernen von Doppeleinträgen,
  64   Einsortieren neuer Einträge, Überschreiben mit korrigierten Einträgen, ...
  65   Erstellt eine Patch-Datei.
  66
  67   Aufruf: siehe ``./prepare_patch.py -h``
  68
  69
  70 analyse.py
  71   Sammeln und Sortieren von Teilwörtern
  72
  73   Aufruf: ``python analyse.py``
  74
  75           Vorher in Zeile 355 ff. die gewünschte Sprachvariante
  76           durch ein/auskommentieren wählen.
  77
  78   Schreibt eine Liste der Teilwörter von in der Wortliste markierten
  79   zusammengesetzten Wörtern mit den Häufigkeiten des Auftretens
  80   in eine Datei ``teilwoerter-<Sprachtag>.txt``
  81   (z.B. ``teilwoerter-de-1901.txt``).
  82
  83   Auf der Standardausgabe erscheint eine Zusammenfassung zum Stand der
  84   Präfixauszeichnung.
  85
  86
  87 abgleich_endungen.py
  88   Abgleich der Trennstellen für Ableitungen/Varianten mit unterschiedlicher
  89   Endung.
  90
  91   Die zu vergleichenden Endungen sind im Skript in der Liste ``endungen``
  92   definiert.
  93
  94
  95 abgleich_sprachvarianten.py
  96   Abgleich der Trennstellen zwischen Sprachvarianten
  97
  98   Aufruf: ``python abgleich_sprachvarianten.py``
  99
 100   * Übertragen von kategorisierten Trennstellen zwischen Sprachvarianten
 101     desselben Wortes, und/oder
 102
 103   * Zusammenfassen von Feldern mit gleichem Inhalt wenn das Ergebnis ein
 104     wohlgeformter Eintrag ist.
 105
 106
 107 abgleich_teilwoerter.py
 108   Übertragen von kategorisierten Trennstellen von Teilwörtern auf
 109   Vorkommen dieser Teilwörter mit unkategorisierten Trennstellen.
 110
 111   Aufruf: ``python abgleich_teilwoerter.py``
 112
 113           Vorher in Zeile 26 ff. die gewünschte Sprachvariante
 114           durch ein/auskommentieren wählen.
 115
 116
 117 abgleich_praefixe.py
 118   Abgleich der Trennstellen zwischen Woertern mit unterschiedlichem Präfix
 119
 120   Benötigt eine Liste der Teilwörter, die mit ``analyse.py`` erstellt werden
 121   kann (siehe Arbeitsfluss_).
 122
 123 abgleich_suffixe.py
 124   Abgleich der Trennstellen zwischen Woertern mit unterschiedlichem Suffix.
 125
 126   Benötigt eine Liste der Teilwörter, die mit ``analyse.py`` erstellt werden
 127   kann (siehe Arbeitsfluss_).
 128
 129
 130 abgleich_neueintraege.py
 131   Versuche Trennstellen neuer Wörter aus vorhandenen zu ermitteln
 132
 133   Übertragen von kategorisierten Trennstellen vorhandener Wörter
 134   auf neu aufzunehmende, ungetrennte Wörter.
 135
 136   Erwartet eine Datei mit 1 Wort/Zeile.
 137   Pfad/Dateiname im Abschnitt Konfiguration anpassen!
 138
 139   Schreibt eine Liste von Einträgen für die Wörter, welche durch Abgleich
 140   mit der Datenbasis getrennt werden konnten auf stdout.
 141
 142   Die Liste kann nach ``neu.todo`` gespeichert und (nach Durchsicht) mit
 143   ``prepare_patch.py neu`` in die Wortliste eingepflegt werden.
 144
 145
 146 wortfugen.py
 147   Suche nach "Teilwortkandidaten" in der Wortliste.
 148
 149 test_teilwoerter.py
 150   Test der Markierung von Komposita in der Wortliste
 151
 152 vorsilben_in_teilwoertern.py
 153   Spezialwerkzeug zur Präfixmarkierung.
 154
 155   Benötigt eine Liste der Teilwörter, die mit ``analyse.py`` erstellt werden
 156   kann.
 157
 158
 159 Lang-s Schreibung
 160 =================
 161
 162 s2long-s.py
 163   Automatische Bestimmung der S-Schreibung auf Basis der Silbentrennung
 164   in der `Wortliste der deutschsprachigen Trennmustermannschaft`.
 165
 166   Gesamtwortzahl (traditionelle Rechtschreibung): 422398
 167   Automatisch konvertiert: 418440
 168   Kategorisierung der Trennstellen fehlt: 3903
 169   noch offen: 55
 170
 171 Arbeitsfluss
 172 ============
 173
 174 Trennstellenkategorisierung mit Hilfe der Python-Skripte,
 175 2-stufiges Vorgehen:
 176
 177 * Erstellen einer Liste mit Teilwörtern (Zerlegung ausgezeichneter Komposita
 178   an den Wortfugen "="):
 179
 180   - in `analyse.py` die gewünschte Sprachvariante ein-/auskommentieren.
 181
 182   - ``python analyse.py``
 183
 184   Die erstellte Wortliste ist ``teilwoerter-<Sprachtag>.txt``.
 185
 186 * Bearbeiten der generierten Datei
 187
 188   - im Texteditor (suchen/ersetzen, regexp-replace, ...)
 189
 190   - mit Skripten (``abgleich_praefixe.py``,
 191 <<<<<<< HEAD
 192                   ``abgleich_suffixe.py``,
 193                   ``vorsilben_in_teilwoertern.py``)
 194 =======
 195                   ``abgleich_suffixe.py``,
 196                   ``vorsilben_in_teilwoertern.py``)
 197 >>>>>>> spell
 198
 199 * Rückübertragen der Korrekturen auf die Wortliste
 200
 201   - in `abgleich_teilwoerter.py` die gewünschte Sprachvariante und
 202     Bearbeitungsfunktion ein-/aukommentieren.
 203
 204   - ``python abgleich_teilwoerter.py``
 205
 206   - Prüfen der Kontrollausgabe, ggf. Korrektur von ``wortliste.patch``.
 207
 208   - ``patch ../../wortliste < wortliste.patch``