Recherche

Im Laufe des Projektes wurde in verschiedene Richtungen recherchiert. Zum Verständnis der Thematik wurde sich mit dem Hörsinn näher auseinandergesetzt und was Gehörlosigkeit für die alltägliche Lebensqualität der Betroffenen bedeutet. Zur Idee der Visualisierung von Geräuschen wurde sich anschließend näher mit dem Phänomen der auditiv-visuellen Synästhesie und Darstellungstechniken von Musik beschäftigt.

Entwurfsprozess

Nach Festlegung des Konzeptes, das nachfolgend erläutert wird, wurde ein Brainstorming durchgeführt. Gesammelt wurden alle potenziellen Geräusche einer Stadt. Daraus ergaben sich fünf Kategorien, in die sich die meisten Hörerfahrungen einordnen lassen: Menschliche Geräusche, Technologie, Musik, Lärm und Naturgeräusche. Zur Einschränkung des Projektumfangs wurde sich auf drei Geräusche aus unterschiedlichen Bereichen begrenzt: Baulärm, eine Straßenbahn und Vogelgezwitscher (Spatz). Zu den Geräuschen wurde zum besseren Verständnis jeweils ein Moodboard, sowie eine inspirative Formrecherche angefertigt. Danach ging es schnell in die technische Entwurfsphase und in die Erstellung eines Mobile-VR-Prototypen in Unity.

Moodboards

Das Konzept

Die Zielgruppe (Wer?)

Die beteiligten Menschen sind vorwiegend Gehörlose und schwerhörige Menschen. Die Anwendung kann aber auch von allen Interessierten genutzt werden, die ihre Wahrnehmung erweitern möchten.

Das Problem (Warum?)

Wie in der Recherche herausgearbeitet, fehlt gehörlosen Menschen ein Sinn, der eine wichtige Orientierungs- und Alarmfunktion erfüllt. Ihnen entgehen somit viele detaillierte Informationen über das Geschehen in ihrer Umgebung. Es besteht die Gefahr der sozialen und gesellschaftlichen Isolation.

Idee (Was?)

Zur Behebung des beschriebenen Problems soll die Geräuschkulisse des städtischen Raums, die Warnsignale, aber auch genussvolle oder störende Geräusche, für Gehörlose mit einer mobilen und nutzerfreundlichen Lösung wieder zugänglich gemacht werden.

Zeit (Wann?)

Die Idee des Projektes soll mit den technischen Möglichkeiten in der Gegenwart bis naher Zukunft (maximal 5 Jahre) umsetzbar sein.

Ort (Wo?)

Die Nutzung der App ist nicht ortsgebunden. Im Rahmen des Projektes wurde sich aber auf den Stadtraum von Magdeburg konzentriert.

Umsetzung (Wie?)

Mithilfe einer Augmented-Reality-App und unter Zuhilfenahme der Kamera und des Mikrofons des Smartphones, werden Geräusche in der Umgebung in visuelle Ausdrücke umgewandelt, die auf dem Bildschirm, bzw. der AR-Brille erscheinen.

Formstudien und Animationen (GIFs)

Um den Soundvisualisierungen eine emotionale Informationsebene zu verleihen, wurden Formstudien mit handskizzierten Animationen angefertigt. Mit den erstellten Moodboards als Grundlage wurde versucht, den Charakter des Tons mit Form-, Farbe und zeitlicher Transformation gerecht zu werden. Das laute Hämmern auf Baustellen erinnert beispielsweise an etwas Explosionsartiges, es wird Staub aufgewirbelt, der die Umgebung vernebelt und damit die Sicht versperrt. Mit einer AR-Brille wäre dieser Effekt noch immersiver. Der gehörlose Nutzer kann nun visuell nachfühlen, wie anstrengend Baulärm für die Ohren ist. Dies schafft eine Verbindung und Kommunkationsgrundlage zwischen Hörenden und Gehörlosen. In positiver Richtung funktiert dies ebenso mit der Darstellung von Vogelgezwitscher, dessen farbenfrohe und verspielte Visualisierungen die Blicke auf sich ziehen und Freude bereiten sollen.

VR-Prototyp in Unity

In dem VR-Prototypen wurde versucht, eine eher technische und automatisierte Lösung der Soundvisualisierung über die Verknüpfung von Audiodaten (Frequenz und Lautstärke) mit den Eigenschaften von Unity-Objekten zu erreichen. Je Audiodatei gibt es acht farbige Lichtflecke, die einen bestimmten Frequenzbereich abdecken. Je höher die Aktivität des Frequenzbereiches, desto sichtbarer wird die entsprechende Farbe. Sind alle Frequenzbereiche aktiv, überlagern sich die Farben zu der Farbe Weiß. Die Lautstärke wird über die Größe der Lichtflecke dargestellt.

Videoprototyp