Künftig sollen Assistenzsysteme nonverbale Kommunikation ermöglichen.
Es wird gelächelt, der Kopf geschüttelt oder auf das Flipchart gezeigt. In Besprechungen sind nonverbale Kommunikationsformen ein wesentlicher Bestandteil. Blinde und sehbehinderte Personen können diesen allerdings kaum bis gar nicht folgen. Ein Forscherteam unter der Leitung der Johannes Kepler Universität Linz arbeitet nun an technischen Hilfsmitteln, die dieses Informationsdefizit für die Betroffenen ausgleichen sollen. Intelligente Assistenzsysteme könnten Blinden und Sehbehinderten eine neue Welt eröffnen.
In alltäglichen Situationen bleiben den Betroffenen wichtige Informationen vorenthalten. Dazu gehören Körpersprache und Mimik, die auf Emotionen des Gegenübers schließen lassen. Etwa ein Lächeln bei der Begrüßung, ein zustimmendes Nicken oder ein verwirrter Blick bei unklaren Aussagen. Im Umgang mit sehbehinderten Menschen versuchen deshalb viele, eine möglichst große Zahl dieser nonverbalen Aspekte in Sprache oder Berührungen zu verpacken.
Was im Einzelgespräch durchaus möglich ist, verliert sich allerdings in der Kommunikation mit Gruppen. Man denke an berufliche Meetings, in denen unterschiedliche Menschen sprechen, diskutiert wird und Brainstorming auf Flipcharts stattfindet.
Geht es nach dem Wissenschafterteam um Klaus Miesenberger von der Johannes Kepler Universität Linz, sollen künftig intelligente Assistenzsysteme die nötigen Informationen liefern. Damit will eine barrierefreie Teilnahme an Konferenz möglich werden.
Intelligenter Prototyp
"Die Herausforderung liegt darin, Gesichtsausdrücke, Gesten und andere nonverbale Kommunikationsformen in einer Konferenzsituation zu tracken, zu sammeln und mithilfe des intelligenten Systems den sehbehinderten Menschen auf unterschiedliche Weise zugänglich zu machen", erklärt der Wissenschafter in einer Aussendung des Wissenschaftsfonds FWF. In einem ersten Schritt werden Zielgruppen, Informationsbedarf und Interaktionsmöglichkeiten definiert, um so eine Plattform zur Bewertung von Daten zu schaffen. So sollen wichtige nonverbale Signale von nebensächlichen Informationen unterschieden werden.
Diese nonverbalen Kommunikationsformen könnten etwa per Lautsprecher im Ohr oder mittels Braille-Zeile erfolgen, schildert der Forscher. Zudem bieten sich Smartwatch und Smartphone als Hilfsmittel an, die mit ihrer Sensorik Bewegungen und Lagen im Raum erfassen können. Neben der Audioausgabe können sie mittels Vibrationen auch haptische Signale übermitteln.
Reinhard Koutny, ein Doktorand Miesenbergers, erstellte einen ersten Prototypen zur Teilnahme an nonverbaler Kommunikation. "Ein häufig auftretendes Szenario in Meetings ist das gemeinsame Brainstorming mithilfe von Postings, die auf einem Flipchart angeordnet werden", skizziert der Jungforscher. Vibrationen am Smartphone können die Bewegung eines Postings anzeigen und die genaue Beschreibung erfolgt per Audiogerät. Zudem kann der sehbehinderte Verwender selbst durch das Drücken einer Taste am Smartphone ein Posting bewegen und bringt sich so aktiv in die Besprechungsrunde ein. Auch physische Objekte und Personen selbst lassen sich mittels eines ähnlichen Prinzips erkunden.
Treffsichere Informationen
Die entwickelten Systeme des vom FWF geförderten Projekts der Uni Linz, der ETH Zürich und der TU Darmstadt sollen in zukünftigen Schritten mit der Welt der Künstlichen Intelligenz verbunden werden. "Künftig werden wir Meetings mithilfe der Tracking-Technologien aufzeichnen, um eine - natürlich anonymisierte - Datenbasis zu schaffen", erklärt Miesenberger. "Anhand dieser Daten können dann mithilfe von Machine-Learning-Methoden verbesserte Modelle erstellt werden. Die Systeme sollen lernen, die Situationen besser zu interpretieren, um treffsicher die adäquaten Interaktionsmöglichkeiten bereitzustellen", so der Forscher.(gral)