Schlafwandelnder Sprachassistent – wie Alexa und Co. unbemerkt geweckt werden

Forschung zum „Fake-Wake-Phänomen“ für besseren Privatsphärenschutz

24.09.2021 von

Forschende des System Security Lab am Fachbereich Informatik haben gemeinsam mit einem Team der chinesischen Zhejiang Universität in Hangzhou das „Fake-Wake-Phänomen“ bei Sprachassistenten untersucht. Durch die Erkenntnisse können die sprachgesteuerten Geräte so trainiert werden, dass sie weniger anfällig für eine ungewollte Aktivierung sind.

Eigentlich senden Sprachassistenten nur dann Befehle zur weiteren Analyse an die Cloud, wenn ein zuvor registriertes Aktivierungswort wie „Alexa“, „OK Google“ oder der zugehörige Markenname erkannt wird. Doch die Geräte sind anfällig für das sogenannte Fake-Wake-Phänomen. „Dieses Phänomen führt bei gängigen Sprachassistenten dazu, ein abweichendes Wort als eigenes ‚Weckwort‘ zu erkennen und auf vermeintliche Kommandos zu hören“, erklärt Professor Ahmad-Reza Sadeghi, Leiter des System Security Labs. Der Sprachassistent erkennt also falsche Weckwörter („Fuzzy-Wörter“), z.B. aus nebenbei laufenden Gesprächen oder Fernsehsendungen. Diese Fuzzy-Wörter kann ein Angreifer oder eine Angreiferin dazu nutzen, um die Sprachassistenten zu aktivieren, ohne die Nutzenden dabei zu alarmieren. Bisher konzentrierte sich die Forschung auf diese Quellen des Fake-Wake-Phänomens.


Geringe Laut-Überschneidung genügt

Dem internationalen Forschungsteam um Professorin Wenyuan Xu, Dr. Yanjiao Chen und Professor Sadeghi ist es nun erstmals gelungen systematisch und automatisch eigene falsche Weckwörter zu generieren statt bestehendes Audiomaterial danach zu durchsuchen. Für das Projekt wurden die je vier beliebtesten Sprachassistenten aus dem englischen und chinesischen Sprachraum untersucht. Die Ergebnisse des Teams liefern wertvolle Hinweise, wie die Privatsphäre der Nutzenden stärker geschützt werden und Hersteller ihre Sprachassistenten sicherer machen können.

Die Erzeugung der Fuzzy-Wörter im Rahmen des Projektes begann mit einem bekannten Anfangswort wie „Alexa“. Dabei hatten die Forschenden weder Zugriff auf das Modell, das die Weckwörter erkennt, noch auf den Wortschatz, der dem Sprachassistenten zugrunde liegt. Sie gingen auch der Frage nach, welche Ursachen zur Akzeptanz falscher Weckwörter führen. Zunächst wurden die Merkmale ermittelt, die am häufigsten zur Akzeptanz der Fuzzy-Wörter beigetragen haben. Die entscheidenden Faktoren konzentrierten sich lediglich auf einen kleinen phonetischen Ausschnitt des Wortes. Aber auch falsche Wörter, die sich deutlich stärker von den echten Weckwörtern unterscheiden, konnten die Sprachassistenten aktivieren. Dabei spielten etwa Umgebungsgeräusche, die Lautstärke der Wörter sowie das Geschlecht der sprechenden Person kaum eine Rolle.


Maschinelles Lernen zum Schutz der Privatsphäre

Mit Hilfe genetischer Algorithmen und maschinellen Lernens konnten in dem Forschungsprojekt mehr als 960 eigene Fuzzy-Wörter in Englisch und Chinesisch erzeugt werden, die den „Weckwortdetektor“ der Sprachassistenten aktivierten. Dies zeigt einerseits die Schwere des Fake-Wake-Phänomens und liefert andererseits die Grundlage für tiefere Einblicke in dessen Ursachen.

Das Phänomen kann abgeschwächt werden, indem der Weckwortdetektor mit den erzeugten Fuzzy-Wörtern neu trainiert wird. Dadurch kann der Sprachassistent genauer zwischen falschen und echten Weckwörtern unterscheiden. Auch Hersteller können mit den generierten Fuzzy-Wörtern vorhandene Modelle neu trainieren, um sie präziser und weniger angreifbar zu machen. Damit bieten die Forschungsergebnisse einen vielversprechenden Weg, um Datenschutz- und Sicherheitsprobleme in Sprachassistenten zu identifizieren, zu verstehen und zu entschärfen.

Publikation

Schriftlich ausgearbeitet sind die Ergebnisse des Forschungsprojekts in dem Paper FakeWake: Understanding and Mitigating Fake Wake-up Words of Voice Assistants (2021) von Yanjiao Chen, Yijie Bai, Richard Mitev, Kaibo Wang, Ahmad-Reza Sadeghi und Wenyuan Xu.