Incom ist die Kommunikations-Plattform des Institut für Industrial Design - Hochschule Magdeburg-Stendal

In seiner Funktionalität auf die Lehre in gestalterischen Studiengängen zugeschnitten... Schnittstelle für die moderne Lehre

Soundseeing Magdeburg

Unser Hörsinn hilft uns bei der Orientierung, erfüllt eine wichtige Alarmfunktion und fördert darüber hinaus emotionale Verbindungen zu anderen Menschen. Im Alltag unserer hörenden Gesellschaft sind Gehörlose und schwerhörige Menschen daher von vielen Informationen ausgeschlossen und oft isoliert. Auch wichtige Warnsignale oder sonstige hilfreiche Geräusche im Stadtraum entgehen ihnen vollständig. Im Gegensatz dazu nehmen Menschen mit einer auditiv-visuellen Synästhesie, einem seltenen neurologischen Phänomen, zusätzlich zu Geräuschen auch visuelle Reize auf, die bei jedem individuell sind. Das schafft für sie eine völlig neue Ebene des Raumerlebens, aus dem sie sogar zusätzliche Informationen über ihre Umwelt schöpfen können. Ein einfacher Spaziergang durch die Stadt ist ein komplexes Klangerlebnis, das auch genussvolle oder störende Geräusche mit sich bringt. Jede Stadt und jeder Ort darin klingt anders. Gehörlosen Menschen bleiben diese Eindrücke verborgen, Synästhetiker nehmen im Kontrast dazu bedeutend mehr wahr.

Das Projekt „Soundseeing Magdeburg“ hat zum Ziel, den einzigartigen Klangcharakter der Stadt Magdeburg gehörlosen und schwerhörigen Menschen zugänglich zu machen und hörenden Menschen zusätzliche Informationen zu liefern. Mithilfe einer Augmented-Reality App werden die Geräusche um den Nutzer herum in bunte, abstrakte Formen und Lichtpunkte umgewandelt, die auf dem Bildschirm oder der AR-Brille erscheinen. Im Rahmen des Projektes wurden dabei strategische Experimente durchgeführt und erste Ansätze entwickelt, wie man Stadtgeräusche visuell übersetzen könnte.

Recherche

Im Laufe des Projektes wurde in verschiedene Richtungen recherchiert. Zum Verständnis der Thematik wurde sich mit dem Hörsinn näher auseinandergesetzt und was Gehörlosigkeit für die alltägliche Lebensqualität der Betroffenen bedeutet. Zur Idee der Visualisierung von Geräuschen wurde sich anschließend näher mit dem Phänomen der auditiv-visuellen Synästhesie und Darstellungstechniken von Musik beschäftigt.

Entwurfsprozess

Nach Festlegung des Konzeptes, das nachfolgend erläutert wird, wurde ein Brainstorming durchgeführt. Gesammelt wurden alle potenziellen Geräusche einer Stadt. Daraus ergaben sich fünf Kategorien, in die sich die meisten Hörerfahrungen einordnen lassen: Menschliche Geräusche, Technologie, Musik, Lärm und Naturgeräusche. Zur Einschränkung des Projektumfangs wurde sich auf drei Geräusche aus unterschiedlichen Bereichen begrenzt: Baulärm, eine Straßenbahn und Vogelgezwitscher (Spatz). Zu den Geräuschen wurde zum besseren Verständnis jeweils ein Moodboard, sowie eine inspirative Formrecherche angefertigt. Danach ging es schnell in die technische Entwurfsphase und in die Erstellung eines Mobile-VR-Prototypen in Unity.

Moodboards

Das Konzept

Die Zielgruppe (Wer?)

Die beteiligten Menschen sind vorwiegend Gehörlose und schwerhörige Menschen. Die Anwendung kann aber auch von allen Interessierten genutzt werden, die ihre Wahrnehmung erweitern möchten.

Das Problem (Warum?)

Wie in der Recherche herausgearbeitet, fehlt gehörlosen Menschen ein Sinn, der eine wichtige Orientierungs- und Alarmfunktion erfüllt. Ihnen entgehen somit viele detaillierte Informationen über das Geschehen in ihrer Umgebung. Es besteht die Gefahr der sozialen und gesellschaftlichen Isolation.

Idee (Was?)

Zur Behebung des beschriebenen Problems soll die Geräuschkulisse des städtischen Raums, die Warnsignale, aber auch genussvolle oder störende Geräusche, für Gehörlose mit einer mobilen und nutzerfreundlichen Lösung wieder zugänglich gemacht werden.

Zeit (Wann?)

Die Idee des Projektes soll mit den technischen Möglichkeiten in der Gegenwart bis naher Zukunft (maximal 5 Jahre) umsetzbar sein.

Ort (Wo?)

Die Nutzung der App ist nicht ortsgebunden. Im Rahmen des Projektes wurde sich aber auf den Stadtraum von Magdeburg konzentriert.

Umsetzung (Wie?)

Mithilfe einer Augmented-Reality-App und unter Zuhilfenahme der Kamera und des Mikrofons des Smartphones, werden Geräusche in der Umgebung in visuelle Ausdrücke umgewandelt, die auf dem Bildschirm, bzw. der AR-Brille erscheinen.

Formstudien und Animationen (GIFs)

Um den Soundvisualisierungen eine emotionale Informationsebene zu verleihen, wurden Formstudien mit handskizzierten Animationen angefertigt. Mit den erstellten Moodboards als Grundlage wurde versucht, den Charakter des Tons mit Form-, Farbe und zeitlicher Transformation gerecht zu werden. Das laute Hämmern auf Baustellen erinnert beispielsweise an etwas Explosionsartiges, es wird Staub aufgewirbelt, der die Umgebung vernebelt und damit die Sicht versperrt. Mit einer AR-Brille wäre dieser Effekt noch immersiver. Der gehörlose Nutzer kann nun visuell nachfühlen, wie anstrengend Baulärm für die Ohren ist. Dies schafft eine Verbindung und Kommunkationsgrundlage zwischen Hörenden und Gehörlosen. In positiver Richtung funktiert dies ebenso mit der Darstellung von Vogelgezwitscher, dessen farbenfrohe und verspielte Visualisierungen die Blicke auf sich ziehen und Freude bereiten sollen.

VR-Prototyp in Unity

In dem VR-Prototypen wurde versucht, eine eher technische und automatisierte Lösung der Soundvisualisierung über die Verknüpfung von Audiodaten (Frequenz und Lautstärke) mit den Eigenschaften von Unity-Objekten zu erreichen. Je Audiodatei gibt es acht farbige Lichtflecke, die einen bestimmten Frequenzbereich abdecken. Je höher die Aktivität des Frequenzbereiches, desto sichtbarer wird die entsprechende Farbe. Sind alle Frequenzbereiche aktiv, überlagern sich die Farben zu der Farbe Weiß. Die Lautstärke wird über die Größe der Lichtflecke dargestellt.

Videoprototyp

Ein Projekt von

Fachgruppe

Master Interaktion Design

Art des Projekts

Studienarbeit im Masterstudium

Betreuung

Prof. Dominik Schumacher

Zugehöriger Workspace

MID: reliving Magdburg

Entstehungszeitraum

Wintersemester 2021 / 2022

Keywords