Digital resources in the Social Sciences and Humanities OpenEdition Our platforms OpenEdition Books OpenEdition Journals Hypotheses Calenda Libraries OpenEdition Freemium Follow us

Erste Schritte in Transkribus (1) – Modelltraining und Transkription der Handschrift Wagener

Die Zahl der Editionsprojekte, die die Handschriftenerkennungssoftware Transkribus benutzen, hat sich in den letzten Jahren vervielfacht.1 Die Einsetzung von KI-Methoden bietet eine neue Form der Auseinandersetzung mit und Bearbeitung von historischen gedruckten sowie handschriftlichen Quellen. Ein aktuelles Beispiel für das weiterhin starke Interesse ist der Forschungstag zu Transkribus „Unlocking Our Written Past“, der am Austrian Centre for Digital Humanities and Cultural Heritage der Österreichischen Akademie der Wissenschaften am 18. April stattfand und mehreren Forschungsprojekten eine Möglichkeit bot, sich über ihre Erfahrungen mit der Handschriftensoftware miteinander auszutauschen.2

Eingedenk dieses starken Interesses an der Arbeit mit Transkribus möchte ich – ausgehend von dem Reisebericht Wageners (Cod. Guelf. 265.1 Extrav) – einen Blick auf das Modelltraining und die Textbearbeitung in der Handschriftenerkennungssoftware werfen. In Anknüpfung an die bearbeitete Quelle, bietet dieser Blogeintrag eine reflektierte Rekonstruktion der ersten, im Rahmen der Projektarbeit erfolgten Schritte in Transkribus.

Im Verlauf der bisherigen Projektarbeit ist die Transkription der ersten Handschrift inzwischen vollständig abgeschlossen und ein Export des Textes zur weiteren Bearbeitung mit Named Entity Recognition (NER) Verfahren, über die in einem kommenden Blog-Beitrag berichtet wird, wurde vorgenommen. Dies ermöglicht es mir, einen ersten Zwischenbericht zu der bisherigen Arbeitserfahrung mit Transkribus zu erstellen und einigen Fragen zu den Möglichkeiten und Grenzen der Software nachzugehen: Was hat gut funktioniert? Wo gab es Probleme? Was muss verbessert werden? Das Hauptziel dieser, im Rahmen des zweiteiligen Blogbeitrags nur anklingenden, Reflektion ist die Optimierung des Workflows bei der nachfolgend stattfindenden teilautomatisierten Transkription der anderen Handschriften. Ebenso können Sie, die Leserinnen und Leser unseres Blogs, Ihre Erfahrungen mit Transkribus in den Kommentaren mit uns teilen, um auch in einen Austausch über die Grenzen des Editionsprojekts hinaus zu treten.

Erste Manuskriptseite der Handschrift Wagener.

Erste Manuskriptseite der Handschrift Wagener „Tout avec Dieu“ (Cod. Guelf. 267.1 Extrav.).

Die Handschrift Wagener (Cod. Guelf. 267.1 Extrav.)

Der Reisebericht des Apothekergesellen Wageners, der zwischen 1652 und 1659 mehrere Bildungsreisen unternahm, umfasst 122 Seiten, wovon 113 beschrieben sind.3 In Hinblick auf die teilautomatisierte Texterschließung in Transkribus weist das Manuskript in der Regel ein klares Schriftbild mit wenig Durchstreichungen oder Ergänzungen auf. Vereinzelt ist die Tinte durchgedrückt, was die Lektüre der Handschrift für Mensch und Maschine erschwert. Wagener hat seinem Reisebericht zudem an manchen Stellen Nachträge auf kleineren Zetteln beigelegt. Die Textsprache ist größtenteils Deutsch, insbesondere zum Ende des Reiseberichts gibt es aber wiederholt abgeschriebene Zitate von Inschriften in französischer und lateinischer Sprache.

Zum Bearbeiten der Handschrift in Transkribus

Ein Hauptziel des Projekts „Grand Tour digital“ ist die experimentelle Entwicklung eines neuartigen editorischen Arbeitsprozesses unter Anwendung von Transkribus. Für die Textbearbeitung bietet die Software selbst viele hilfreiche Anleitungen.4 Darüber hinaus gibt es auch in der Forschung immer mehr Erfahrungsberichte, wissenschaftliche Auseinandersetzungen mit dem und nützliche Hinweise über das Tool, auf die wir uns in der Projektarbeit berufen können.5

Nachdem in einem ersten Schritt die ersten circa zwanzig Manuskriptseiten des Reisetagebuchs Wageners in Transkribus manuell verschriftlicht wurden, konnten wir anschließend ausgehend von den eingegebenen Seiten und einem bereits existierenden Modell, ein neues trainieren. Dieses neue Modell konnte nachfolgend auf die weiteren Manuskriptseiten angewendet und in sich abwechselnden Schritten von teilautomatisierter Transkription sowie Korrektur und neuem Modelltraining angepasst werden. Der Kerngedanke hinter diesen Arbeitsschritten war, das Programm an die Besonderheiten der Handschrift Wageners anzupassen, um im Verlauf der schrittweisen Texttranskription die Fehlerquote in der Handschriftenerkennung zu verringern.

Basismodelle in Transkribus

Transkribus bietet zahlreiche KI-Modelle an, die öffentlich zur Verfügung stehen. Momentan sind es 115 (Stand: Juni 2023), die für handschriftliche und gedruckte Quellen unterschiedlicher Entstehungszeiträume sowie für zahlreiche inner- und außereuropäische Sprachen bereits erstellt worden sind und frei genutzt werden können. Da wir uns in unserem Projekt mit frühneuzeitlichen Handschriften vom 16. bis 18. Jahrhundert beschäftigen, die zumeist in deutscher Sprache verfasst sind, möchte ich nachfolgend eine Auflistung von einem Großteil der derzeit hierfür verfügbaren Modelle geben:

Diese noch überschaubare Liste wirft im Hinblick auf die Erstellung bzw. Anpassung eines neuen Modells, eine Reihe von Fragen auf. Wie aus der Vielzahl der bereits existierenden Modelle eins auswählen, das zur eigenen Handschrift passt? Welche Kriterien sind für die Auswahl des Basismodells wichtig und vielleicht auch überzeugend? Und warum überhaupt ein neues Modell für Handschriften der Frühen Neuzeit erstellen, wenn bereits mehrere zur Verfügung stehen? Denn auch das im Verlauf des Projekts erstellte Modell wird zum Ende geteilt und der Öffentlichkeit zugänglich gemacht.6

Die Erstellung und Anpassung des Modells

Für die Erstellung des anzupassenden Modells haben wir aus den vorliegenden Modellen Transkribus German handwriting M1 mit einer geringen Fehlerquote oder Character Error Rate (CER) von 4,70 % als Basismodell ausgewählt.7

Dieses Modell wurde anhand der manuell angefertigten Transkription der ersten Textseiten (S. 7 bis 26) weitertrainiert. Beim Training eines neuen Modells unterscheidet Transkribus zwischen Trainings- und Validierungsseiten. Die Trainingsseiten im ersten Durchgang (S. 7 bis 21) waren die Seiten, an denen das Modell in einem ersten Schritt trainiert, und die Validierungsseiten (S. 22 bis 26) solche, an denen das Modell in einem weiteren Schritt automatisch überprüft und die Fehlerquote berechnet wurde.8 In diesem ersten Durchlauf hatte das Trainingsset zusammen mit dem Basismodell eine Fehlerquote von 2,41% erreicht. Die Validierungsseiten, die im Idealfall die Eigenheiten des vorliegenden Manuskripts repräsentativ vertreten, hatten eine Fehlerquote von 11%. Um bei den anschließenden Modellanpassungen das Ergebnis bei den Validierungsseiten zu optimieren, wurden daher nicht mehr aufeinanderfolgende Manuskriptseiten verwendet, sondern in regelmäßigen Abständen einzelne Seiten ausgewählt (bspw. in fünfer Schritten). Die nachfolgenden restlichen 86 zu bearbeitenden Manuskriptseiten wurden in Schritten von je circa 20 Manuskriptseiten mit Transkribus automatisiert gelesen, anschließend manuell korrigiert und zusammen mit den vorhergehenden Seiten neu trainiert und angepasst. Bei stark voneinander variierenden Seiten hat man zudem die Möglichkeit – ähnlich wie es Jacob Möhrke in seinem Werkstattbericht vorschlägt und dokumentiert – die Manuskriptseiten ihrer Textqualität nach zu sortieren und für das Training als „unbrauchbar“ qualifizierte Seiten aus dem Trainingsset herauszunehmen.9 Durch diesen iterativen Prozess sollte das Transkriptionsmodell Stück für Stück optimiert werden.

Zusammenfassend haben sich bei dem Modelltraining am Beispiel der Handschrift Wagener folgende Lernkurven entwickelt:

Funktioniert eine solche Modelloptimierung? Mit Blick auf die Lernkurven hat eine tatsächliche Verbesserung nur bedingt bis gar nicht stattgefunden, aber aus welchen Gründen? Die Lernkurven belegen einmal mehr, dass die Qualität und der damit verbundene Erfolg oder Misserfolg der Handschriftenerkennung sehr seitenabhängig ist und unterstreichen ebenso, dass eine qualitätsabhängige Auswahl bestimmter Seiten für das Modelltraining durchaus von Vorteil sein kann. Eine schrittweise Verbesserung des Modells ist am Beispiel der Handschrift Wagener nicht deutlich erkennbar – vielmehr springt vor allem die Fehlerquote bei den Validierungsseiten zwischen 4 und 6 Prozent hin und her. Dies ist in jedem Fall noch deutlich zu hoch. Bei den Trainingsseiten verringert sie sich jedoch von fast 7 auf knapp 2 Prozent. Ausgehend von diesen ersten Ergebnissen ergeben sich für die fortlaufende Textbearbeitung zwei zentrale Fragen: Wie unterscheidet sich das Ergebnis des Modelltrainings auf das Ergebnis der Modellanwendung? Gibt es einen besseren Lernerfolg beim wiederholten Training der Handschrift, wenn man „unbrauchbare“ Seiten aussortiert oder verfälscht man hierbei nicht zusehends das Gesamtergebnis?

  Fehlerquote Trainingsset Fehlerquote Validierungsset
1.       Durchlauf 6.90 % 4.20 %
2.       Durchlauf 2.60 % 6.50 %
3.       Durchlauf 3.51 % 4.90 %
4.       Durchlauf 2.90 % 6.20 %
5.       Durchlauf 2.20 % 5.50 %

 Mit Blick auf diese Fragen ist es umso interessanter, ob es im Verlauf der weiteren Bearbeitung der anderen Handschriften mit eben diesem bisher genutzten Modell eine Verbesserung geben wird und ob diese von der Ein- bzw. Ausgrenzung bestimmter Manuskriptseiten abhängig ist. In der Tat war die Entwicklung der Lernkurven bei der ersten Handschrift nicht immer optimal und lässt noch genügend Raum für eine Verbesserung in der weiteren Projektarbeit.

In einem nachfolgenden und an diesen anknüpfenden Beitrag möchte ich genauer auf die Ergebnisse der schrittweisen Transkription der Handschrift Wagener eingehen. Hierfür habe ich eine tiefgreifende Auswertung der bisherigen Handschriftenerkennung vorgenommen und möchte zusammenfassend rekonstruieren, was bei der teilautomatisierten Bearbeitung dieses ersten Manuskripts gut und was schlecht funktioniert hat und die Vor- und Nachteile von Transkribus diskutieren.

 

Literaturverzeichnis

Angela Göbel u. Maximilian Görmar, „Zu Besuch in der Gottorfischen Kunstkammer. Berichte eines Apothekergesellen auf Reisen“, HABlog (2023), https://www.hab.de/zu-besuch-in-der-gottorfischen-kunstkammer/.

Otto Hahne, „Erlebnisse des Apothekers Wagener auf seinen Wanderjahren und in Begleitung des Herzogs Ferdinand Albrechts I. zu Braunschweig und Lüneburg (1652-1659)“, in: Braunschweigischen Magazin 33 (1927), Sp. 81-94.

Otto Hahne, „Die Reisen des Apothekers Wagener aus Itzehoe 1652–1659“, in: Pharmazeutische Zeitung 72 (1927), S. 951–952.

Jan Horstmann, „Transkribus“, in: forText. Literatur digital erforschen, 2018, https://fortext.net/tools/tools/transkribus (abgerufen am 17. Mai 2023).

Joe Nockels et al., „Understanding the application of handwritten text recognition technology in heritage contexts: a systematic review of Transkribus in published research“, Archival Science 22 (2022), S. 367–392, https://link.springer.com/article/10.1007/s10502-022-09397-0).

Jacob Möhrke, „Training eines Transkribus Sprachmodells“ im Begleitblog zum Regensburger Projekt DEHisRe – Digitale Editionen Historischer Reiseberichte, 20. Juli 2020, https://dehisre.ios-regensburg.de/training-eines-transkribus-sprachmodells/.

Marc Rothballer, „Transkribus. Der Einsatz von maschinellem Lernen und Handwritten Text Recognition in der Erschließung historischer Dokumente“, in: FORUM. Zeitschrift des Bundes der öffentlichbestellten Vermessungsingenieure e.V. 4 (2020), S. 29–35, https://www.bdvi.de/application/files/9516/1459/2541/Transkribus_FORUM_4-2020.pdf.

  1. In seiner Doktorarbeit erforschte beispielsweise Joe Nockels an der Universität von Edinburgh die Nutzung der Handschriftensoftware Transkribus in der Forschung zwischen den Jahren 2015 und 2020. Siehe hierzu den zusammenfassenden Beitrag auf der Transkribuswebseite und ausführlicher Joe Nockels et al., „Understanding the application of handwritten text recognition technology in heritage contexts: a systematic review of Transkribus in published research“, Archival Science 22 (2022), S. 367–392. []
  2. Die Veranstaltung wurde leider nicht online übertragen! []
  3. Für weitere Informationen zu dem Reisebericht Wageners siehe neben dem verlinkten Digitalisat, den kürzlich erschienenen Blogeintrag von Maximilian Görmar und mir im HABlog „Zu Besuch in der Gottorfischen Kunstkammer. Berichte eines Apothekergesellen auf Reisen“, sowie in der älteren Geschichtsschreibung die Aufsätze von Otto Hahne im Braunschweigischen Magazin 33 (1927), Sp. 81-94; sowie der Pharmazeutischen Zeitung 72 (1927), S. 951–952. Zusätzliche Informationen bietet der Eintrag im Selbstzeugnisrepertorium der HAB. []
  4. Ausgiebige Informationen bietet das „Ressourcenzentrum“ von Transkribus, das mehrere Anleitungen für die Nutzung der Software bereitstellt. []
  5. Siehe zum Beispiel den das Tool vorstellende Blogeintrag von Jan Horstmann und die dort gelistete weiterführende Literatur: Jan Horstmann, „Transkribus“, in: forText. Literatur digital erforschen, 2018, https://fortext.net/tools/tools/transkribus (abgerufen am 17. Mai 2023); Marc Rothballer, „Transkribus. Der Einsatz von maschinellem Lernen und Handwritten Text Recognition in der Erschließung historischer Dokumente“, in: FORUM. Zeitschrift des Bundes der öffentlichbestellten Vermessungsingenieure e.V. 4 (2020), S. 29–35, https://www.bdvi.de/application/files/9516/1459/2541/Transkribus_FORUM_4-2020.pdf, sowie den Werkstattbericht von Jacob Möhrke „Training eines Transkribus Sprachmodells“ im Begleitblog zum Regensburger Projekt DEHisRe – Digitale Editionen Historischer Reiseberichte, 20. Juli 2020, https://dehisre.ios-regensburg.de/training-eines-transkribus-sprachmodells/. []
  6. Möchte man eine ganze Handschrift mit einem bereits bestehenden Modell transkribieren ohne ein neues Training vorzunehmen und kann man sich zwischen der Vielzahl der möglichen Modelle nicht entscheiden, bietet Transkribus die Möglichkeit des Mustervergleichs. []
  7. Die Character Error Rate (CER) oder Fehlerquote vergleicht laut dem Transkribus Glossary „for a given page, the total number of characters (n), including spaces, to the minimum number of insertions (i), substitutions (s) and deletions (d) of characters“, die benötigt werden, um eine hundertprozentige Übereinstimmung zwischen der Handschriftenerkennung und der richtigen Transkription des jeweiligen Dokuments zu bekommen. Wie man am besten ein neues Modell in Transkribus trainiert wird hier Schritt für Schritt erklärt. Die Seite wird regelmäßig aktualisiert und bietet eine gute Einführung in das Training eigener Modelle, die an dieser Stelle nicht wiederholt werden soll. []
  8. Es ist zu beachten, dass dieses Training einige Zeit in Anspruch nehmen kann. Man kommt i. d. R. auf eine Warteschlange – ich vermute, dass Transkribus nicht mehrere solcher Trainings gleichzeitig starten kann, je nach Tageszeit kann es also etwas länger dauern. Man sollte daher immer einen halben bis ganzen Tag dafür einplanen. []
  9. Vergleiche hierzu Jacob Möhrke „Training eines Transkribus Sprachmodells“ im Begleitblog zum Regensburger Projekt DEHisRe – Digitale Editionen Historischer Reiseberichte, 20. Juli 2020, https://dehisre.ios-regensburg.de/training-eines-transkribus-sprachmodells/. Aufgrund der geringen Seitenzahl und der relativ gleichbleibenden Handschrift haben wir uns dieser Auslese im Falle der Handschrift Wagener nicht bedient, behalten sie aber für die nachfolgenden teilweise sehr viel längeren Handschriften im Hinterkopf. []

OpenEdition schlägt Ihnen vor, diesen Beitrag wie folgt zu zitieren:
Angela Göbel (6. Juli 2023). Erste Schritte in Transkribus (1) – Modelltraining und Transkription der Handschrift Wagener. Grand Tour digital. Abgerufen am 29. April 2025 von https://doi.org/10.58079/vk8h


Angela Göbel

Wissenschaftliche Mitarbeiterin an der Herzog August Bibliothek Wolfenbüttel und Bearbeiterin des DFG-Projekts Grand Tour digital. Digitalisierung, Erschließung und Visualisierung frühneuzeitlicher Selbstzeugnisse von Bildungsreisen unter Anwendung teilautomatisierter Editionsverfahren (Laufzeit 2022 bis 2025).

Das könnte dich auch interessieren …

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

This site uses Akismet to reduce spam. Learn how your comment data is processed.