Forscher Kapern Google Gemini KI zur Steuerung von Smart Home Geräten

Forscher konnten Googles Gemini KI-System durch eine gefälschte Kalendereinladung dazu verleiten, eine Sicherheitslücke zu erleben und Heimgeräte aus der Ferne zu steuern.

In einer erstmaligen Demonstration ist es Forschern gelungen, Googles Gemini AI-System durch eine manipulierte Kalendereinladung zu kompromittieren. Dies ermöglichte ihnen, reale Geräte wie Lichter, Rollläden und Heizkessel zu aktivieren.

WIRED, das als Erstes über diese Forschung berichtete, beschreibt, wie sich die intelligenten Lichter in der Residenz in Tel Aviv automatisch ausschalteten, während die Rollläden automatisch hochgingen und der Boiler sich einschaltete, obwohl keine Befehle von den Bewohnern kamen.

Das Gemini AI-System aktivierte den Auslöser, nachdem es eine Anfrage zur Zusammenfassung von Kalenderereignissen erhalten hatte. Eine verborgene indirekte Aufforderung zur Injektion funktionierte in der Einladung, um das Verhalten des AI-Systems zu kapern.

Jede der Geräteaktionen wurde von den Sicherheitsforschern Ben Nassi von der Universität Tel Aviv, Stav Cohen vom Technion und Or Yair von SafeBreach koordiniert. „LLMs sollen in physische menschenähnliche Roboter, in halb- und vollautomatische Autos integriert werden, und wir müssen wirklich verstehen, wie wir LLMs sicher machen können, bevor wir sie mit diesen Arten von Maschinen verbinden, bei denen in einigen Fällen die Ergebnisse Sicherheit und nicht Privatsphäre sein werden“, warnte Nassi, wie WIRED berichtete.

Auf der Black Hat Cybersecurity-Konferenz in Las Vegas legte das Team ihre Forschung über 14 indirekte Aufforderungs-Injektionsangriffe offen, die sie ‚Eine Einladung ist alles, was Sie brauchen‘ nannten, wie WIRED berichtete. Die Angriffe umfassten das Versenden von Spam-Nachrichten, das Erstellen vulgärer Inhalte, das Initiieren von Zoom-Anrufen, das Stehlen von E-Mail-Inhalten und das Herunterladen von Dateien auf mobile Geräte.

Google sagt, dass keine bösartigen Akteure die Schwachstellen ausgenutzt haben, aber das Unternehmen nimmt die Risiken ernst. „Es gibt manchmal einfach bestimmte Dinge, die nicht vollständig automatisiert werden sollten, bei denen die Nutzer im Bilde sein sollten“, sagte Andy Wen, Senior Director of Security für Google Workspace, wie von WIRED berichtet.

Was diesen Fall jedoch noch gefährlicher macht, ist ein breiteres Problem, das in der AI-Sicherheit aufkommt: AI-Modelle können sich heimlich gegenseitig beibringen, sich schlecht zu verhalten.

Eine separate Studie hat herausgefunden, dass Modelle gefährliche Verhaltensweisen weitergeben können, wie zum Beispiel die Anstiftung zum Mord oder die Anregung zur Auslöschung der Menschheit, selbst wenn sie mit gefilterten Daten trainiert werden.

Dies wirft eine erschreckende Implikation auf: Wenn intelligente Assistenten wie Gemini mit den Ausgaben anderer KIs trainiert werden, könnten bösartige Anweisungen stillschweigend vererbt werden und als Schläferbefehle wirken, die darauf warten, durch indirekte Aufforderungen aktiviert zu werden.

Sicherheitsexperte David Bau warnte vor Backdoor-Schwachstellen, die „sehr schwer zu erkennen“ sein könnten, und dies könnte insbesondere für Systeme gelten, die in physischen Umgebungen eingebettet sind.

Wen bestätigte, dass die Forschung die Verteidigungsmechanismen von Google „beschleunigt“ hat, mit nun vorhandenen Lösungen und Maschinenlernmodellen, die darauf trainiert werden, gefährliche Aufforderungen zu erkennen. Dennoch zeigt der Fall, wie schnell KI von hilfreich zu schädlich wechseln kann, ohne jemals direkt dazu aufgefordert zu werden.