Mann schaut auf ein Display mit dem Gebärdenavatar von AVASAG.

AVASAG: Hochwertige, automatisierte Gebärdendolmetschung

Barbara Gleißl Senior UX Researcher • Specialist UX Research

14.07.2020 • 5 minutes reading time

Wussten Sie, dass Textsprache für viele Gehörlose – fast wie eine eigene Fremdsprache – nur schwer zu verstehen und zu verwenden ist?

Tatsächlich ist lesen und schreiben für Menschen mit Höreinschränkungen häufig eine grosse Barriere, die nicht nur das gesamte alltägliche Leben, sondern auch die analoge und digitale Suche nach Informationen und die Interaktion mit Medien massgeblich erschwert. Gemeinsam mit unseren Forschungspartnern arbeiten wir im Verbundprojekt AVASAG an einer Lösung zur Beseitigung dieser Barrieren.

Weltweit gibt es insgesamt ca. 70 Millionen gehörlose Menschen, von denen etwa 80.000 in Deutschland leben (Quellen: yomma GmbH und Deutscher Gehörlosen-Bund e.V.). Anders als häufig angenommen, ist die geschriebene Sprache für viele von ihnen eine Fremdsprache. Der Grund: Das Lernen von lesen und schreiben ist für Gehörlose ein anderer Prozess als für hörende Menschen, weil Text und Schrift als Abbildung der Lautsprache gelernt werden. Buchstaben zu gesprochenen Lauten zuzuordnen, ist für jemanden ohne Hörvermögen nur schwer bis gar nicht möglich.

Der Wert der Gebärdensprache

Als Alternative bedienen sich viele Menschen mit Höreinschränkungen der Gebärdensprache — einer visuell-manuellen Sprache, die Hände, Mimik, Blickrichtung sowie Kopf- und Oberkörperhaltung und Mundbewegungen nutzt. Allerdings gibt es auch in der Gebärdensprache starke regionale Unterschiede und Dialekte, weshalb weltweit mehr als 100 verschiedene Gebärdensprachen existieren.
Die eigene Gebärdensprache ist für Gehörlose weltweit jedoch mehr als nur ein Kommunikationsmittel. Sie ist ein wichtiger Bestandteil einer selbstständigen Gehörlosen-Kultur, die sich in der offiziellen Anerkennung der Deutschen Gebärdensprache (DGS) im Jahr 2002 sowie der offiziellen Legitimation im Jahre 2006 durch die UN-Behindertenrechtskonvention manifestierte. Und doch verdeutlicht der starke Mangel an Gebärdensprach-Übersetzungen im Alltag und in den Medien, wie im Fernsehen oder bei Streaming-Diensten, wie gross die Ausgrenzung gegenüber der Gehörlosen-Community aktuell noch ist.

Barrierefreiheit für Gehörlose schaffen

Durch das Onlinezugangsgesetz (OZG) sind deutsche Behörden dazu verpflichtet, alle Informationen digital und barrierefrei zur Verfügung stellen. Die Schwierigkeiten, die Textsprache vielen Gehörlosen bereitet, verhindern jedoch eine solche Barrierefreiheit. Zwar gibt es, insbesondere im Rahmen öffentlich-rechtlicher Medien, zunehmend Bestrebungen, Informationen und Texte in Form kurzer Gebärdenvideos zur Verfügung zu stellen, jedoch sind diese häufig manuell erstellt und dadurch mit hohem Arbeitsaufwand verbunden. Änderungen oder Aktualisierungen der übersetzten Informationen erfordern aufwändige Nachproduktionen.

Kick-Off zum Forschungsprojekt AVASAG: Hochwertige, automatisierte Gebärdendolmetschung

In dem vom Bundesministerium für Bildung und Forschung geförderten Verbundprojekt AVASAG (Avatar-basierter Sprachassistent zur automatisierten Gebärdenübersetzung) soll daher eine Lösung für diese Herausforderungen entwickelt werden: Ein Avatar, der deutsche Texte automatisch und in Echtzeit in deutsche Gebärdensprache übersetzt und auf diese Weise gehörlosen und hörbehinderten Menschen eine umfassendere gesellschaftliche Teilhabe und eine stärkere Integration in die „Digitale Gesellschaft“ ermöglicht.

Video: Projektbeschreibung in schweizerdeutscher Gebärdensprache. Roger Kistler, UX Designer Ergosign Switzerland, Juli 2020

Projekt & Forschungspartner

Das Projekt startete am 01. Mai 2020 und wird nach aktuellem Förderzeitraum von drei Jahren am 30. April 2023 enden. Das gesamte Projekt fokussiert sich in seinen Untersuchungen und Entwicklungen auf das Anwendungsfeld Reiseinformation und -service.

An dem Verbundprojekt arbeiten wir mit fünf Partnern aus Forschung und Entwicklung zusammen:

  • Charamel GmbH (Projektleitung) — Spezialist für interaktive avatar-basierte Assistenzsysteme

  • yomma GmbH — Experten für Gebärdensprache in Hamburg

  • DFKI GmbH — Forschungsbereiche „Kognitive Assistenzsysteme“, „Sprachtechnologie und Multilingualität“

  • TH Köln— Institut für Medien- und Phototechnik

  • Uni Augsburg— Human Centered Multimedia

Wir bringen als Mitglied dieses Konsortiums insbesondere unsere jahrelange Expertise aus den Bereichen Nutzeranalyse und Evaluation ein und möchten dadurch zu innovativen und gleichermassen menschzentrierten Lösungen beitragen.

Gemeinsam werden wir im Verbund mit unseren Forschungspartnern die Bedürfnisse gehörloser Menschen adressieren, um gesellschaftliche Teilhabe zu stärken und einen Beitrag zu einer barrierefreien, inklusiven Gesellschaft zu leisten.

Weiterführende Informationen zum Projekt sowie den Partnern bietet Ihnen die Projekthomepage.


Wir freuen uns auf die interdisziplinäre Zusammenarbeit mit den Forschungspartnern, innovative Forschung und nicht zuletzt auf die Ergebnisse, die AVASAG hervorbringen wird.