Python-Skripte: kleine Korrekturen.

[wortliste.git] / skripte / python / lang_s / s2long-s.py

#!/usr/bin/env python3
# -*- coding: utf8 -*-
# :Copyright: © 2012, 2014 Günter Milde.
# :Licence:   This work may be distributed and/or modified under
#             the conditions of the `LaTeX Project Public License`,
#             either version 1.3 of this license or (at your option)
#             any later  version.
# :Version:   0.3 (2014-06-14)

# ===================================================================
# Langes oder rundes S: Automatische Konversion nach Silbentrennung
# ===================================================================
#
# ::

u"""
Erstelle eine Wortliste mit (hoffentlich) korrekter lang-S Schreibung.

Automatische Bestimmung der S-Schreibung auf Basis der Silbentrennung
in der `Wortliste der deutschsprachigen Trennmustermannschaft`.

Für die Wandlung mit Hilfe der patgen-generierten Muster siehe
``../patuse/``.
"""

# .. contents::
#
# Vorspann
# ========
#
# Lade Funktionen und Klassen für reguläre Ausdrücke::

import os, argparse, re, sys

# path for local Python modules (parent dir of this file's dir)
sys.path.insert(0,
        os.path.dirname(os.path.dirname(os.path.abspath(__file__))))
from edit_tools.wortliste import WordFile, WordEntry, join_word


# Trennzeichen
# ------------
#
# Die Trennzeichen der Wortliste sind
#
# == ================================================================
# \· Notentext-Trennstellen (am Wortrand und in Abkürzungen)
# .  unerwünschte Trennstellen, z.B. Ur-in.stinkt
# =  Haupttrennstellen
# \- einfache Trennstellen
# <  Trennstellen nach Vorsilben
# >  Trennstellen vor Suffixen
# == ================================================================
#
#
# Funktionen
# ==========
#
# ſ-Regeln
# --------
#
# Siehe [wikipedia]_ und [Duden71]_ (Regeln K 44,45)::

def s_ersetzen(word):

# Ausnahmeregeln
# ~~~~~~~~~~~~~~
#
# Für sz und sk gelten Regeln, welche die Herkunft der Wörter beachten.
# Diese und weitere spezielle Fälle, welche Lang-S vor Trennstellen verlangen
# sind in `Ausnahmen Lang-S`_ gelistet::

    for (ausnahme, ersetzung) in ausnahmen_lang_s:
        if ausnahme in word:
            word = word.replace(ausnahme, ersetzung)
            # print(u"ſ-Ausnahme", ersetzung, word)

# Allgemeine Regeln
# ~~~~~~~~~~~~~~~~~
#
# ſ steht im Silbenanlaut::

    word = re.sub(r'(^|[-<>=·.])s', r'\1ſ', word)

# ſ steht im Inlaut als stimmhaftes s zwischen Vokalen
# (gilt auch für ungetrenntes ss zwischen Selbstlauten, z.B. Hausse, Baisse)::

    word = re.sub(r'([AEIOUYÄÖÜaeiouäöüé])s([aeiouyäöüé])', r'\1ſ\2', word)
    word = re.sub(r'([AEIOUYÄÖÜaeiouäöüé])ss([aeiouyäöüé])', r'\1ſſ\2', word)


# Doppel-S statt ß
# ----------------
#
# Wenn kein ß vorhanden ist (GROSSSCHREIBUNG) und in der Schweiz wird ss
# statt ß geschrieben. Seit 1996 wird auch am Wort-/Silbenende und vor t nach
# kurzem Vokal ss geschrieben. Der "Reformduden" empfielt im Fraktursatz die
# Schreibung "ſs" (die auch vor 1901 in Gebrauch war).
#
# Wir übernehmen diese Schreibung am Wort-/Silbenende::

    word = re.sub('ss($|[-=<>.])', r'ſs\1', word)

# Vor t schreiben wir nach kurzem Vokal Doppel-ſ::

    word = word.replace('sst', 'ſſt')

# Nach langem Vokal steht auch in de-1996 ein ß, in de-x-GROSS ist keine
# ſ-Wandlung nötig/möglich.
# TODO: in der Schweizer Orthographie müßte nach langem Vokal oder Zwielaut
# auch vor t ein ſs stehen (beißt -> beiſst).
#
# Verbindungen und Digraphen
# --------------------------
#
# ſ steht in den Verbindungen sp, st, sch und in Digraphen::

    word = word.replace('st', 'ſt')
    word = word.replace('sp', 'ſp')
    word = word.replace('sch', 'ſch')

    # word = word.replace('ps', 'pſ')
    word = word.replace('Ps', 'Pſ')  # Ψ
    word = re.sub(r'^ps', r'pſ', word) # ψ (ps am Wortanfang)
    word = re.sub(r'([-<>=·.])ps', r'\1pſ', word) # ψ (ps am Silbenanfang)


# ſ vor Trennstellen
# ------------------
#
# Die Verbindungen ss, sp, st werden zu ſſ, ſp und ſt, auch wenn sie
# durch eine Nebentrennstelle (Trennung innerhalb eines Wortbestandteiles)
# getrennt sind. Das s bleibt rund im Auslaut, d.h. am Wortende und vor
# einer Haupttrennstelle (Trennung an der Grenze zweier Wortbestandteile
# (Vorsilb<Stamm, Bestimmungswort=Grundwort).
#
# ::

    word = re.sub(r's([-.]+)ſ([aeiouyäöüé])', r'ſ\1ſ\2', word)
    word = re.sub(r's([-.]+)p([^h])', r'ſ\1p\2', word)
    word = re.sub(r'(^|[^s])s([-.]+)t', r'\1ſ\2t', word) # Reformschreibung

# ſ wird auch geschrieben, wenn der S-Laut nur scheinbar im Auslaut steht,
# weil ein folgendes unbetontes e ausfällt:
#
# "ss-l", aber nicht bei "...eiss-l" und "Ess-lingen" mit ss statt ß::

    word = re.sub(r'([^iE])ss-l', r'\1ſſ-l', word) # Droſſ-lung, ...

# "s-l" (Baſ-ler, pinſ-le, Kapſ-lung, Wechſ-ler, wechſ-le, Rieſ-ling),
# aber nicht bei
#
# | M.s-l:    Mus-lim, Mos-lem, ...
# | [iys]s-l: Gris-ly, is-lam, Crys-ler, ... (ss-l siehe obige Regel)
# | s-la:     Bra-tis-la-va, Gos-lar, Bres-lau,
#
# ::

    word = re.sub(r'([^mM][^siy])s-l([^a])', r'\1ſ-l\2', word)

# (für weitere Fälle siehe auch `Ausnahmen Lang-S`_):
#
#
# Fremdwörter und Eigennamen mit Schluss-ß
# ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
#
# Der 1971er [Duden71]_ führt zu englischen Fremdwörtern mit Schluß-ß die
# österreichische Schreibung mit "ss" auf (Miß, engl. und österr. Schreibung
# Miss) wobei das Schluß-s nicht unterstrichen ist (also lang sein müßte?). So
# auch Boss, Business, Stewardess.
#
# Dagegen sagt [en.wiktionary.org]_: "the digraph «ss» was often written «ſs»
# rather than «ſſ»". Die Lang-S Seite der [wikipedia]_ zeigt Beispiele der
# englischen Schreibung "Congreſs".
#
# ::

    # TODO ſſ oder ſs (wie in de-1996)? :
    # if lang == 'de-1901':
    #     word = re.sub(r'ss$', r'ſſ', word)
    #     word = word.replace('ss=', 'ſſ=')
    #     word = word.replace('ss-ſch', 'ſſ-ſch')

    return word


# Ausnahmen Lang-S
# ~~~~~~~~~~~~~~~~~~~
#
# Teilstrings mit Lang-S vor Trennstelle.
#
# ſ wird geschrieben, wenn der S-Laut nur scheinbar im Auslaut steht,
# weil ein folgendes unbetontes e ausfällt::

ausnahmen_lang_s = [

    'Pilſ-ner',  # < Pilsen, aber Mes-ner, Meiss-ner (de-ch)
    'Klauſ-ner', # < Klause, aber Gleiss-ner (de-ch)
    'riſſ-ne',   # ge<riss-ne, ... (de-ch)
    'oſſ-ne',    # ge<schoss-ne, ge<schloss-ne, ... (de-ch)
    'er<leſ-ne', # auserlesne
    'unſ-r',     # unsre, unsrige, ...
    'ſſl',       # Röſſl
    'ſl',        # Beiſl, Häuſl
    'kreiſ-le',
    'Wieſn',
    'Schiſſ-la-weng',
    'Pſſſt',     # im Duden pst!
    'WiſſZeitVG', # Abkürzung Wiſſenſchaft...
]

# ſ steht in Abkürzungen, wenn es im abgekürzten Wort steht
# (Abſ. - Abſatz/Abſender, (de)creſc. - (de)creſcendo, daſ. - daſelbst ...)
# ::

ausnahmen_lang_s.extend([

    'creſc', # creſcendo
    'Diſſ',  # Diſſertation
    'Maſſ',  # Maſſachuſetts

                        ])

# Alternativtrennung, wo beide Fälle ſ verlangen::

ausnahmen_lang_s.extend([

    'er<.]ſat',   # Kin[-der=/d=er<.]satz, ...
    'er<.]ſät',   # Kin[-der=/d=er<.]sätze, ...
    'ſ[-ter=/t' # Tes[-ter=/t=er<.]ken-nung

                        ])


# Fremdwörter und Eigennamen
# --------------------------
#
# Schreibung nach Regeln der Herkunftssprache. Dabei ist zu bedenken, daß zu
# der Zeit, als das lange s im Antiquasatz noch üblich war (bis ca. 1800), die
# Rechtschreibung freier gehandhabt wurde und mehrfach Wandlungen unterworfen
# war [West06]_.
#
# Im Deutschen werden im Fraktursatz nicht eingedeutschte Fremdwörter
# lateinischen und romanischen Ursprungs in Antiqua mit rund-s geschrieben.
#
# English:
#   The long, medial, or descending ess, as distinct from the short or
#   terminal ess. In Roman script, the long ess was used everywhere except at
#   the end of words, where the short ess was used, and frequently in what is
#   now the digraph «ss», which was often written «ſs» rather than «ſſ»
#   [en.wiktionary.org]_. See also [Typefounder08]_ and [West06]_.
#
# ::

ausnahmen_lang_s.extend(
    [
     'ſh',       # (englisch)
     # 'Diſc',   # (englisch) TODO: so, oder Disc (wie eingedeutscht Disk)
     'Cſar',     # Cs -> Tsch (Csardas, ... ungarisch)
     'ſz',       # polnisch, ungarisch (Liszt, Puszta)

# ts am Silbenanfang (chinesisch, japanisch, griechisch)::

     'Tſa', 'Tſe', 'tſe', 'tſi', 'Tſu', 'tſu',

# In vielen (aber nicht allen) Fremdwörtern steht ſz trotz Trennzeichen::

     'ſ-ce-',     # Fluo-res-ce-in
     'ſ-ze-',     # Aszese, aszetisch, Damaszener, vis-ze-ral, ...
     'ſ-zen',     # Adoleszenz, Aszendent, ...
     'ſ-zet',     # As-zet
     # ſ-zi (aber Dis-zi-plin):
     'Aſ-zi',     # Aszites
     'aſ-zi',     # fasziniert, lasziv
     'ſ-zil-l' ,  # Oszillation, Oszilloskop, ...
     'gnoſ-zie',  # rekognoszieren,
     'reſ-zi',    # fluoreszieren, phosporeszieren, Fluo-res-cin, ...
     'le-biſ-zi', # Plebiszit, ...
     'viſ-zi',    # Mukoviszidose
     
# ſ steht in der Endung sk in Wörtern und Namen slawischen Ursprungs
#
# ::

     'Gdanſk',
     'owſk', # Litowſk
     'Minſk',
     'Mur-manſk',
     'ſi-birſk',
     'Smo-lenſk',
     
# ſ steht auch in Iſmael, Iſrael, Iſlam (in Österreich Islam)

     'Iſ-lam',
     'Iſ-la-m',
     'iſ-la-m',
     'Iſ-ma-e',
     'Iſ-ra-e',
     'iſ-ra-e',
     
# ſſ steht in vollständig assimilierten Präfixen auf s (dis-, as-)::

     'aſ<ſ',     # Aſſoziation, ...
     'diſ<ſ',    # Diſſoziation, ...
     'Diſ<ſ',    # diſſonant, ...   TODO: aber Disſtreſs
     
    ])

# Wandel in liste mit (Ausnahme, Ersetzung)::

ausnahmen_lang_s = [(exc.replace('ſ', 's'), exc) for exc in ausnahmen_lang_s]

# s-Regeln
# --------
#
# Test auf verbliebene Unklarheiten
#
# Wenn ein Wort "s" nur an Stellen enthält wo die Regeln rundes S vorsehen,
# ist die automatische Konversion abgeschlossen.
#
# Ausnahmen und spezielle Regeln
#
# Liste von Teilstrings, welche stets rund-s behalten ::

ausnahmen_rund_s = [

# Abkürzungen::

    'Ausg',  # Ausgang, Ausgabe
    'ausſchl',
    'desgl', # des<gleichen
    'Esc',   # engl. Escape
    'hrsg',  # herausgegeben
    'Hrsg',  # Herausgeber
    'insb',

# ausgelassenes flüchtiges e::

    'Dresd-ne',   # Dresd-ner/Dresd-ne-rin

# s steht auch in einigen Fremdwörtern vor z und c::

    'on<fis-zie', # konfiszieren, ...
    # 'le-bis-z', # plebiszit (nach [Duden71] mit Lang-S)
    'is-zi-pl',   # Disziplin (nach [Duden71], aber Duden (1934) Diſziplin)
    'mas-ze-ner', # Damaszener
    'Disc',       # TODO: rund oder Diſc (aber eingedeutscht Disk)

# ss im Auslaut (vgl. `Fremdwörter und Eigennamen`_)::

    # 'Gauss',    # vgl. "Briefwechsel zwischen C.F. Gauss und
                   # H.C. Schumacher, herausg. von C.A.F. Peters"
                   # aber Boſſ, Busineſſ, Dreſſ

                       ]


def is_complete(word):

# Kurztest: schon alles gewandelt?::

    if 's' not in word:
        return True

# Ersetze s an Stellen, wo es rund zu schreiben ist, durch ς (Schluss-Sigma)
# und teste auf verbliebene Vorkommen.
#
# Einzelfälle mit rundem S (substrings)::

    for fall in ausnahmen_rund_s:
        if fall in word:
            # print('s-Ausnahme', fall, word)
            word = word.replace(fall, fall.replace('s','ς'))

# s steht am Wortende, auch in Zusammensetzungen (vor Haupttrennstellen)::

    word = re.sub(r's($|[=<>])', r'ς\1', word)

# Einige ältere Quellen schreiben ss am Schluss von Fremdwörtern oder Namen
# (Gauss). Andere schreiben ſs oder ſſ. (Vgl. `Fremdwörter und Eigennamen
# mit Schluss-ß`_) Wir verwenden ſs (TODO oder?)::

    #word = re.sub(r'ss(=|$)', r'ςς\1', word)

# s steht am Silbenende (vor Nebentrennstellen), wenn kein p, t, z oder ſ
# folgt (in der traditionellen Schreibung wird st nicht getrennt)::

    word = re.sub(r'ss?([·.\-][^ptzſ])', r'ς\1', word) # konservativ

# s steht auch vor Nebentrennstellen, wenn sch folgt::

    word = word.replace('s-ſch','ς-ſch')

# s steht nach Vorsilben (wie aus<) auch wenn s, p, t, oder z folgt::

    word = word.replace('s<','ς<')

# s steht vor Trennstellen am Suffixanfang
# auch wenn s, p, t, oder z folgt (Ols>sen, Jonas>son, Wachs>tum)::

    word = word.replace('s>','ς>')

# s steht meist im Inlaut vor k, n, w (aber: siehe Lang-ſ-Ausnahmen)::

    word = re.sub(r's([knw])', r'ς\1', word)

# s steht in der Verbindung sst, die in der Schweiz und
# bei fehlendem ß (GROSS) für ßt steht::

    # TODO: nur nach Zwielaut und langem Vokal.
    # word = word.replace('ſst', 'ſςt')
    # word = word.replace('ſs-t', 'ſς-t')

# s steht als zweiter Buchstabe im ersetzten ß::

    word = word.replace('-ſs', '-ſς') # traditionelle Orthographie

# und suche nach übrigen Vorkommen::

    return 's' not in word


# Aufruf von der Kommandozeile
# ============================
#
# ::

if __name__ == '__main__':

# Pfad zu "../../../wortliste" unabhängig vom Arbeitsverzeichnis::

    default_wortliste = os.path.relpath(os.path.join(
        os.path.dirname(os.path.dirname(os.path.dirname(os.path.dirname(
            os.path.abspath(__file__))))),
        'wortliste'))

# Optionen::

    parser = argparse.ArgumentParser(description=__doc__)
    parser.add_argument('WORTLISTE', nargs='?',
                        help=u'Eingangsdatei im "Wortliste-Format" '
                        '("-" für Standardeingabe), '
                        'Vorgabe "%s".'%default_wortliste,
                        default=default_wortliste)
    parser.add_argument('-l', '--language', dest='language',
                      help=u'Sprachvariante(n) (kommagetrennte Liste von '
                      'ISO Sprachtags), Vorgabe "de-1901"',
                      default='de-1901')
    parser.add_argument('-d', '--drop-homonyms', action="store_true",
                      default=False,
                      help=u'Bei mehrdeutigen Wörtern, die sich nur in '
                      'Lang-S-Schreibung unterscheiden, nimm nur das erste.')

    args = parser.parse_args()


# Angabe der Sprachvariante nach [BCP47]_ (Reformschreibung 'de' oder
# 'de-1996', Schweiz 'de-CH', ...)::

    lang = args.language

# Iterator::

    if args.WORTLISTE == '-':
        wordfile = (WordEntry(line.rstrip()) for line in sys.stdin)
    else:
        wordfile = WordFile(args.WORTLISTE)


# Hauptschleife
# =============
#
# Konvertiere die Wörter der Trennliste und sortiere die Ergebnisse in
# Listen::

    no_of_words = 0   # Gesamtwortzahl der gewählten Sprache(n)
    irreversible = [] # Rückkonversion ungleich Original (Fehler)
    offen = [] # Der Algorithmus kann die Schreibweise (noch) nicht ermitteln

# Iteration über alle Zeilen der Wortliste::

    for entry in wordfile:

        word = entry.get(lang)  # Wort mit Trennstellen
        if not word: # Wort existiert nicht in der Sprachvariante
            continue
        no_of_words += 1

# Vorsortieren
# ------------
#
# Wörter ohne Binnen-s müssen nicht konvertiert werden. Damit wird die
# Wortliste ungefähr um die Hälfte kürzer::

        if 's' not in entry[0][:-1]:
            print(entry[0])
            continue

# Regelbasierte s/ſ-Schreibung::

        lang_s_word = s_ersetzen(word)

# Einsortieren nach Vollständigkeit der Ersetzungen::

        # print(lang, lang_s_word, unicode(entry))
        entry.set(lang_s_word, lang) # Rückschreiben von teilweisen Ersetzungen

        if lang_s_word.replace('ſ', 's') != word:
            entry.comment = lang_s_word.replace('ſ', 's') + u" != " + word
            irreversible.append(entry)
            continue

        if not is_complete(lang_s_word):
            offen.append(entry)
            continue

# Mehrdeutigkeiten [ſ/s] oder [s/ſ] auflösen::

        lang_s_word = join_word(lang_s_word)
        if '/' in lang_s_word:
            # 1. Alternative:
            print(re.sub(r'\[(.+)/.+\]', r'\1', lang_s_word))
            if not args.drop_homonyms:
                print(re.sub(r'\[.+/(.+)\]', r'\1', lang_s_word))
        else:
            print(lang_s_word)
        # print(lang_s_word)


# Auswertung
# ==========
#
# ::

    sys.stderr.write("# Gesamtwortzahl %s %s\n" % (lang, no_of_words))
    sys.stderr.write("# erkannte Konvertierungsfehler: %d\n"
                     % len(irreversible))
    for entry in irreversible:
        sys.stderr.write(str(entry)+'\n')
    sys.stderr.write("# noch offen/unklar: %d\n" % len(offen))
    for entry in offen:
        sys.stderr.write(str(entry)+'\n')


# Diskussion
# ==========
#
# Für gebrochene Schriften gibt es den `ISO Sprachtag`_
#
#   :Latf: Latin (Fraktur variant)
#
# (Lateinisches Alphabet, gebrochen), e.g. "de-1901-Latf",
# "de-1996-Latf".
#
# .. _ISO Sprachtag: http://www.unicode.org/iso15924/iso15924-codes.html
#
# Statistik
# ---------
#
# Gesamtwortzahl (traditionelle Rechtschreibung): 427746
# Automatisch konvertiert: 427740
# Kategorisierung der Trennstellen fehlt: 0
# noch offen: 6
#
# Die Mehrzahl der Wörter der Trennliste wurde nach den Regeln des Dudens in
# die Schreibung mit langem `S` (ſ) konvertiert (wobei ungefähr die Hälfte der
# Wörter kein kleines `s` enthält womit die Konversion trivial wird).
#
# Für eine beschränke Anzahl offener Fälle wurden Ausnahmeregeln und Ausnahmen
# implementiert.
#
# Das Resultat muß noch auf nicht erfaßte Ausnahmen und Sonderfälle geprüft
# werden. Fehlentscheidungen sind nicht auszuschließen.
#
#
# Offene Fälle
# ------------
#
# Wörter mit identischer Schreibung ohne Lang-S
# ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
#
# Einige mehrdeutige Zusammensetzungen unterscheiden sich in der
# Lang-S-Schreibung, z.B.
#
# * Wach[s/ſ]tube:  Wach-Stube / Wachs-Tube
# * Ga[s/ſ]traſſe:  Gas-Trasse / Gast-Rasse
# * Schiff[ſ/s]tau: Schiffs-Tau / Schiff-Stau
#
# Im Normalfall schreibt s2long-s.py beide Varianten in die Ausgabedatei. Die
# Option --drop_homonyms kann verwendet werden, wenn dies nicht erwünscht ist.
#
# Unklare Schreibung
# ~~~~~~~~~~~~~~~~~~
#
# * Ersetztes SZ in reformierter Rechtschreibung, wenn ein Selbstlaut folgt
#   (z.B. "Straſ-ſe" oder "Straſ-se).
#
#   - Während in 1901-er Rechtschreibung die Trennung vor dem "ss" erfolgt
#     (was Ersetzung mit "ſs" impliziert) wäre bei Trennung "wie normales
#     Doppel-S" dann ein rundes S am Silbenanfang.
#
#     Korrekte Fallunterscheidung geht nur bei Betrachtung der Nachbarfelder.
#
# * Tonarten (As-Dur oder Aſ-Dur)
#
#   - Im Fraktur-Duden steht As *in Antiqua* mit rundem s, also
#     keine Aussage zur Schreibung in Fraktur.
#   - Im 1971-er [Duden71]_ steht As (Tonart) ohne Unterstreichung des `s`,
#     das wäre Lang-S, obgleich am Wortende! Ebenso für Es, Cis, ...
#
#   Wir brauchen keine Ausnahme, da korrekterweise die Tonart immer in Antiqua
#   zu setzen ist.

#
# Quellen
# =======
#
# .. [Duden71] `Der Große Duden` 16. Auflage, VEB Bibliographisches Institut
#    Leipzig, 1971
#
#    Kennzeichnet im Stichwortteil rundes „s“ durch Unterstreichen.
#
# .. [Duden34] `Der Große Duden`, Leipzig 1934
#
#    In Fraktur. 
#
# .. [wikipedia] Langes s
#    http://de.wikipedia.org/wiki/Langes_s
#
# .. [en.wiktionary.org]
#    http://en.wiktionary.org/wiki/%C5%BF
#
# .. [Typefounder08]
#    http://typefoundry.blogspot.com/2008/01/long-s.html
#
# .. [West06] Andrew West, `The rules for long s`, 2006
#    http://babelstone.blogspot.com/2006/06/rules-for-long-s.html
#
# .. [BCP47]  A. Phillips und M. Davis, (Editoren.),
#    `Tags for Identifying Languages`, http://www.rfc-editor.org/rfc/bcp/bcp47.txt
#
# .. Links:
#
# .. _Wortliste der deutschsprachigen Trennmustermannschaft:
#    http://mirrors.ctan.org/language/hyphenation/dehyph-exptl/projektbeschreibung.pdf