Digital resources in the Social Sciences and Humanities OpenEdition Our platforms OpenEdition Books OpenEdition Journals Hypotheses Calenda Libraries OpenEdition Freemium Follow us

Erste Schritte in Transkribus (2) – Auswertung der Transkription der Handschrift Wagener

Nachdem ich in einem vorhergehenden Beitrag die ersten Schritte in Transkribus, mit Schwerpunkt auf das Modelltraining und die anschließend erfolgte automatisierte Texttranskription, projektbezogen dokumentiert habe, möchte ich heute in einem zweiten Teil einen tiefergehenden Blick auf die Ergebnisse dieser Handschriftenerkennung werfen. Was hat gut funktioniert, was nicht? Wo traten Probleme auf und welche Lösungsansätze bietet Transkribus an?

Vergleichbare Auswertungen von automatisierten Transkriptionen erfolgten bereits im Rahmen anderer Projekte und die daraus entstandenen wissenschaftlichen Beiträge verweisen auf Erfolgschancen und Schwierigkeiten, wie etwa der Abhängigkeit des Schriftbilds oder einem möglichen Übertraining eines Modells.1 Die Einblicke in die verschiedensten Projekte und Handschriften, an denen Transkribus bisher erprobt wurde, zeigt und unterstreicht deutlich, dass eine hundertprozentige Richtigkeit der Handschriftenerkennung nie durch eine KI erreicht werden kann: „Automatische Handschriftenerkennung wird selbst bei besttrainierten Modellen zu einer gewissen Fehlerrate in der Erkennung führen. Ohne nachträgliche manuelle Korrektur (post-processing) wird also kein philologisch einwandfreier Text entstehen“2.

Angewendet auf die Handschrift Wagener möchte ich nachfolgend auf die Auswertung in Transkribus genauer eingehen, die Möglichkeiten der automatisierten Ergebnisauswertung vorstellen und hinterfragen, die Fehlerarten identifizieren und ihre möglichen Ursachen diskutieren.

Fenster mit automatisierter Auswertung der Transkription in Transkribus.

Fenster mit automatisierter Auswertung der Transkription in Transkribus.

 

Automatisierte Auswertung der Ergebnisse in Transkribus

Transkribus selbst bietet die Möglichkeit, die erfolgte Transkription direkt im Programm auszuwerten. Dabei ist zu unterscheiden zwischen der Auswertung der Fehlerquote (CER) in den Test- und Validierungsseiten sowie der Anwendung des trainierten Modells auf die übrigen Manuskriptseiten. Die Genauigkeit der Transkription kann auf verschiedenen Ebenen berechnet werden. Für den Vergleich muss man zwei Textvarianten auswählen: zum einen als „Reference“ oder „Referenz“ den richtigen Text, der als Vorgabe für die Fehleridentifizierung dient.  Transkribus empfiehlt „As ‘Reference’, choose a page version, which was correctly transcribed (Ground Truth: manual transcription as close to the original text as possible). To get out the most significant value it would be best to use pages from a sample set which have not been used in the training and therefore are new to the model“3. Bei Wagener haben wir demnach die zuletzt korrigierte Version verwendet, die die bestmöglichste orthographisch richtige Transkription der Handschrift enthält.

Diesem Referenztext gegenüber steht zum Vergleich eine sogenannte „Hypothesis“, also der „hypothetische“ Text, der mit der korrekten Variante verglichen werden soll. Dies kann die automatisierte Transkription durch Transkribus sein, aber auch spätere Textvarianten, um in etwa unter Mitarbeitenden einzelne Korrekturen nachzusehen oder zu verfolgen. Transkribus empfiehlt: „As ‘Hypothesis’, choose the version, which was automatically generated with an HTR-model and on which you would like to see, how good the result is”4. Hier haben wir also die automatisierte Texterkennung (PyLaia decoding) ausgewählt.

Die in Transkribus gebotene Möglichkeit des Vergleichs der verschiedenen Textbearbeitungsversionen ermöglicht eine direkte Gegenüberstellung der teilautomatisierten Transkription mit der erfolgten manuellen Korrektur. Jedoch ist nur schwer nachvollziehbar, wie der Vergleich und die damit verbundene Auswertung genau funktioniert. Anders als bei anderen HTR-Programmen ist dies bei Transkribus nicht transparent gestaltet.

Auftretende Probleme bei der automatischen Auswertung betreffen besonders die Zeilenerkennung, wenn sie nachträglich korrigiert wird, bzw. wenn in der Zeilenreihenfolge Verbesserungen vorgenommen werden (z. B. wenn eine Zeile in zwei geteilt wurde und man die zwei Elemente zusammenfügt, einen Nachtrag oberhalb der Zeile einfügen möchte oder noch nachträglich eine Marginalie vom Haupttext trennt). In diesen Fällen verrutscht der ganze Text, wodurch auch Teile als falsch angerechnet bzw. angezeigt werden, obwohl sie zumindest teils richtig sind. Transkribus selbst gibt vor, jedes falscherkannte Zeichen als Fehler anzurechnen.

Nachfolgende Screenshots geben einen Einblick in die erfolgte Transkription der Handschrift Wagener:

Ein zusätzliches Auswertungsproblem bei Transkribus in dieser Vergleichsansicht ist jedoch, dass das System nach Wörtern geht und nicht nach einzelnen Zeichen. Für das bloße Auge scheint das Ergebnis daher eher mittelmäßig zu sein, auch wenn es in der Realität deutlich besser ist. Die Täuschung dieses ersten Eindrucks ist besser nachzuvollziehen, wenn man die Auswertung der Handschrift Wagener auf Wort- und Zeichenebene gegenüberstellt. Sie zeigt, dass auf Wortebene grundsätzlich eine höhere Fehlerquote angezeigt wird als auf Zeichenebene.

 

Automatisch vs. Manuelle Auswertung der Transkription

Tabellarische Ansicht der automatischen und manuellen Auswertung in Transkribus.

Tabellarische Ansicht der automatischen und manuellen Auswertung in Transkribus.

Da Transkribus anders als erwartet die automatische Auswertung der Transkription auf Zeichen- und Wortebene nur in Prozentzahlen ausgibt und leider nur auf Wortebene angezeigt wird, habe ich eine manuelle Auswertung der automatisierten Transkription vorgenommen und die Seiten ausgezählt. Bei der manuellen Auswertung der Transkription wurde darauf geachtet, alle abweichenden Erkennungen zu zählen. Ziel war es, zu erfahren und zu verstehen, wie zuverlässig die automatisierte Auswertung von Transkribus ist. Zu meinem Erstaunen musste ich feststellen, dass signifikante Abweichungen in den Prozentangaben auftraten. So ergab die Summe weder bei den Werten der Word Error Rate (WER) und der Word Accuracy, noch bei der Zeichenfehlerrate (CER) und Char Accuracy die erwarteten 100 Prozent. Auffallend ist zudem, dass die Werte bei der Auswertung der Word Error Rate (WER) in der automatisierten Auswertung ungefähr meinen eigens ausgerechneten Werte entsprechen; auf Zeichenebene aber kommt Transkribus auf eine Zeichenfehlerrate von 41,66 %, wohingegen nach der manuellen Berechnung nur knapp 17 % der Zeichen falsch gelesen wurden. Auch ist das Gesamtergebnis besser als von Transkribus angenommen. So kamen wir in der Handschrift Wagener auf eine Richtigkeit von nur knapp 58% auf Wortebene, auf Zeicheneben jedoch bereits über 80 %. Nimmt man die geringe Seitenzahl der Handschrift Wagener in Betracht, an denen Transkribus lernen konnte, war das hier erreichte Ergebnis schon gut – wenn auch noch eine Verbesserung nach oben möglich und wünschenswert ist.

Neben der Anzeige der Fehlerhäufigkeit, bietet eine Auswertung der einzelnen Manuskriptseiten auf Wort- und Zeichenebene einen genaueren Einblick in den Verlauf und das Ergebnis der einzelnen Trainingsdurchläufe des Modells. Hat sich das wiederholte neue Training des Modells gelohnt? Wie stimmt das Ergebnis der Transkription mit der vorgegebenen Fehlerquote aus dem Trainings- und Validierungsset überein?

 

Fehlerarten

Blickt man in die Ergebnisse der teilautomatisierten Transkription, empfiehlt sich eine genauere Analyse der aufgetretenen Fehler. Hierzu zählten besonders komplett falschen Lesungen von Wörtern und teilweise sogar ganzen Zeilen, die den Inhalt falsch wiedergaben oder sogar unkenntlich machten und folglich eine sinngerechte Lektüre der Handschrift ohne Korrektur erschwerten. Wie bereits zuvor angemerkt waren diese Fehler sehr seitenabhängig und wurden bedingt durch das Schriftbild, durchgedrückte Tinte, vereinzelte Wortergänzungen oder Wortdurchstreichungen, die als solche vom Programm in der Regel nicht erkannt wurden. An einzelnen Seiten wurden die Fehler auch durch schief eingebundene Zettelchen, die der Software zwar bei der Textfelderkennung keine Schwierigkeiten bereitete, jedoch bei der Zeichenerkennung.5 Insgesamt wurden wiederholt ganze Zeilen falsch gelesen und mit einer unverständlichen Buchstabenaneinanderreihung transkribiert, vollständig fehlerfrei gelesene Zeilen waren hingegen eher die Ausnahme.

Im Allgemeinen betrafen die Fehler an oft nur einzelne Buchstaben (u. a. die Verwechslung von u/v, s/f, m/n, c/e, b/l, etc.), Satzzeichen (fehlender/falsch gelesener Kommata, Punktationen, Klammern) oder Leerzeichen, die falsch gelesen wurden, zu wenig oder zu viel waren. Manche Buchstaben wurden doppelt gelesen, andere überlesen; nicht immer stimmte die Zeichenanzahl der korrigierten mit der automatisiert gelesenen Version überein. Teilweise wurden Satzzeichen als Buchstaben erkannt und umgekehrt, manchmal wurde die Reihenfolge umgekehrt bzw. verdreht (bspw. „wire“ statt „wier“). Manche Fehler entstanden unglücklicherweise auch nur durch fehlende oder zusätzliche bzw. überflüssige Leerzeichen. Weniger gravierend sind auch Fehler bei Akzenten und Umlauten. Grundsätzlich ist noch anzumerken, dass die Software Unterstreichungen, Texthervorhebungen, Durchstreichungen, Hoch- und Tiefstellungen von einzelnen Zeichen kaum bis gar nicht erkannt hat. Dies mag jedoch auch daran liegen, dass bei dem Training des Modells und dem teilautomatisierten Handschriftenerkennungsauftrag als solche zuvor getaggte Textbereiche nicht unbedingt mittrainiert wurden. Bei Sonderzeichen hat das Programm im Verlauf der Modellanpassung dazugelernt und sich verbessert. Die Zeichen wurden folglich meist richtig gelesen (z. B. bei Mengenangaben) und es tauchten nur noch wenige Fehler auf. Insgesamt war die Erkennung von Datums- und allgemeinen Zahlenangaben inkonsistent und mangelhaft.

 

Fazit und Ausblick: Über die Möglichkeiten und Grenzen von Transkribus

Wie das Beispiel der Handschrift Wagener zeigt, hängt der Erfolg einer automatisierten Handschriftenerkennung sehr stark von der jeweiligen Seite und/oder der transkribierten Zeile ab. Darüber hinaus ist die Lesbarkeit und Scanqualität der Handschrift, sowie das Vorkommen von Durchstreichungen und Nachtragungen (hier insbesondere zwischen zwei Zeilen) für den Erfolg der automatisierten Handschriftenerkennung von Besonderer Bedeutung und kann diese negativ beeinflussen. Geringe Probleme hat Transkribus bei der Worttrennung, Differenzierung der Groß- und Kleinschreibung, Zeichensetzung sowie der Erkennung von Sonderzeichen und Abkürzungen. Hinzu kommen Schwierigkeiten bei dem Erkennen von Leerzeichen und dem Lernen von unterschiedlichen Schreibweisen gleicher Wörter (vnd/und, aus/auß, …).  Besonders fehleranfällig sind Eigennamen (insbesondere Orte und Personen) sowie Zahlen und Datumsangaben. Relevant ist für Transkribus die Frage der vorgegebenen Transkriptionsregeln. Ideal für die Handschriftenerkennung ist es, so nah wie möglich am Original zu bleiben. Dies betrifft im Falle Wageners beispielsweise die Unterscheidung zwischen den Buchstaben I und J, die Groß- und Kleinschreibung sowie Zeichensetzung. Möchte man hier Ausbesserungen vornehmen, empfiehlt es sich, diese in einem späteren Schritt nachzutragen, um nicht Gefahr zu laufen, in Transkribus Fehler einzutrainieren.

Die bisherige Anwendung des Wagenermodells auf die weiteren Handschriften ermöglichte eine Verbesserung des Modells auf eine Fehlerquote von 0,70% im Trainigsset und 2,60% im Validierungsset. Allerdings kommt die KI hier sehr schnell an ihre Grenzen, sie übertrainiert das Modell und es kommt zu unerklärlich hohen Fehlerquoten im Trainings- und Validierungsset, und eine weitere Verbesserung des vorausgegangenen Modells ist folglich nicht mehr möglich.  Hier stellt sich die Frage, inwieweit das aufkommende Übertraining spezifisch dem Programm Transkribus geschuldet ist oder insgesamt allen KI-gesteuerten HTR-Systemen zugeschrieben werden kann.

Transkribus scheint in den letzten Jahren eine Vorreiterrolle eingenommen zu haben, ist bei weitem aber nicht die einzige Möglichkeit historische Dokumente mittels einer KI zu erschließen. An möglichen Alternativen zum Handschriftenerkennungsprogramm Transkribus fehlt es nicht wie Elpida Perdiki bereits aufgezeigt hat: neben der open-source App eScriptorium benennt sie „python sytems implented with TensorFlow library, [..] Kraken, an OCR system for historical documents, and […] Tesseract, the OCR engine developed by Google and mostly used in many projects“6.

  1. Siehe zum Beispiel Perdiki Elpida: „Transkribus: Reviewing HTR training on (Greek) manuscripts“, in: RIDE -A review journal for digital editions and resources 15 (2022), https://ride.i-d-e.de/issues/issue-15/transkribus/ (abgerufen am 4.12.2023) und Petrov Ivan N. und Rabus Achim: “Linguistic Analysis of Church Slavonic Documents: A Mixed-Methods Approach”, in: SCANDO-SLAVICA 69 (2023), Nr. 1, S. 25–38, https://doi.org/10.1080/00806765.2023.2189617. []
  2. Viehhauser Gabriel: „Digitalisierung von Handschriften und frühen Drucken, OCR (Bericht über Kurzvorstellungen und Diskussionen Sektion 1)“, in: Hamm Joachim, Hausmann Albrecht, Lienert Elisabeth u. Viehhauser Gabriel (Hrsg.): Digitale Mediävistik. Perspektiven der Digital Humanities für die Altgermanistik, Oldenburg 2022 (= BmE Themenheft 12), https://doi.org/10.25619/BmE20223192. []
  3. Vgl. https://readcoop.eu/glossary/compute-accuracy/. Wie man die Genauigkeit von HTR-Modellen berechnet, erklären die Transkribus-Entwickler auf seiner Seite. []
  4. Vgl. ibid. []
  5. Da es sich hier auf den Gesamttext bezogen nur um wenige Seiten und Textzeilen handelte, wurde nicht die Mühe unternommen, die betroffenen Seiten aus der generierten Pdf-Datei zu extrahieren, deren Ausrichtung zu korrigieren und erneut in Transkribus einzufügen. Dies hätte mehr Zeit in Anspruch genommen als die reine Korrekturarbeit der betroffenen Seiten. Leider gibt es in Transkribus unserer Kenntnis nach noch nicht die Möglichkeit, dieses Problem im Programm direkt zu beheben. Die Möglichkeit der stückweisen Rotation der Manuskriptansicht scheint auf die Handschriftenerkennung an sich keinen Einfluss zu haben und bezieht sich leider nicht nur auf eine Seite. Begradigt man hier die schief eingescannten Seiten, so werden automatisch die geraden Seiten. []
  6. Perdiki Elpida: „Transkribus: Reviewing HTR training on (Greek) manuscripts“, in: RIDE -A review journal for digital editions and resources 15 (2022), https://ride.i-d-e.de/issues/issue-15/transkribus/ (abgerufen am 4.12.2023). Das von Perdiki genannte Kraken kann man entweder über eScriptorium nutzen, in dass es eingebaut ist, oder einzeln. []

OpenEdition schlägt Ihnen vor, diesen Beitrag wie folgt zu zitieren:
Angela Göbel (20. Dezember 2023). Erste Schritte in Transkribus (2) – Auswertung der Transkription der Handschrift Wagener. Grand Tour digital. Abgerufen am 29. April 2025 von https://doi.org/10.58079/vk8k


Angela Göbel

Wissenschaftliche Mitarbeiterin an der Herzog August Bibliothek Wolfenbüttel und Bearbeiterin des DFG-Projekts Grand Tour digital. Digitalisierung, Erschließung und Visualisierung frühneuzeitlicher Selbstzeugnisse von Bildungsreisen unter Anwendung teilautomatisierter Editionsverfahren (Laufzeit 2022 bis 2025).

Das könnte dich auch interessieren …

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

This site uses Akismet to reduce spam. Learn how your comment data is processed.