Große KI-Agenten als anfällig für Übernahmen identifiziert, ergab eine Studie

Einige der am meisten verwendeten KI-Assistenten von Microsoft, Google, OpenAI und Salesforce können laut einer neuen Studie von Zenity Labs von Angreifern mit wenig oder keiner Benutzerinteraktion gekapert werden.

Auf der Black Hat USA Cybersecurity-Konferenz vorgestellt, zeigen die Ergebnisse, dass Hacker Daten stehlen, Arbeitsabläufe manipulieren und sogar Benutzer imitieren könnten. In einigen Fällen könnten Angreifer eine „Speicherpersistenz“ erlangen, die ihnen einen langfristigen Zugang und Kontrolle ermöglicht.

„Sie können Anweisungen manipulieren, Wissensquellen vergiften und das Verhalten des Agenten vollständig verändern“, sagte Greg Zemlin, Produktmarketing-Manager bei Zenity Labs, gegenüber Cybersecurity Dive. „Dies öffnet die Tür für Sabotage, Betriebsstörungen und langfristige Fehlinformationen, insbesondere in Umgebungen, in denen den Agenten vertraut wird, kritische Entscheidungen zu treffen oder zu unterstützen.“

Die Forscher demonstrierten vollständige Angriffsketten gegen mehrere große Unternehmens-KI-Plattformen. In einem Fall wurde OpenAI’s ChatGPT durch eine E-Mail-basierte Aufforderungsinjektion gekapert, was den Zugriff auf verbundene Google Drive-Daten ermöglichte.

Microsoft Copilot Studio wurde dabei erwischt, wie es CRM-Datenbanken durchsickern ließ, wobei online mehr als 3.000 anfällige Agenten identifiziert wurden. Die Einstein-Plattform von Salesforce wurde manipuliert, um Kundenkommunikationen auf von Angreifern kontrollierte E-Mail-Konten umzuleiten.

Unterdessen könnten Googles Gemini und Microsoft 365 Copilot in interne Bedrohungen umgewandelt werden, die in der Lage sind, sensible Gespräche zu stehlen und falsche Informationen zu verbreiten.

Darüber hinaus konnten Forscher Googles Gemini AI dazu überreden, Smart-Home-Geräte zu steuern. Der Hack schaltete Lichter aus, öffnete Fensterläden und startete einen Boiler ohne Befehle der Bewohner.

Zenity veröffentlichte seine Erkenntnisse, was einige Unternehmen dazu veranlasste, Patches auszugeben. „Wir schätzen die Arbeit von Zenity bei der Identifizierung und verantwortungsvollen Meldung dieser Techniken“, sagte ein Microsoft-Sprecher gegenüber Cybersecurity Dive. Microsoft gab an, dass das gemeldete Verhalten „nicht mehr wirksam“ ist und dass Copilot-Agenten Sicherheitsvorkehrungen getroffen haben.

OpenAI bestätigte, dass es ChatGPT gepatcht hat und ein Bug-Bounty-Programm durchführt. Salesforce gab an, das gemeldete Problem behoben zu haben. Google erklärte, es habe „neue, geschichtete Abwehrmechanismen“ eingesetzt und betonte, dass „eine geschichtete Verteidigungsstrategie gegen Prompt-Injection-Angriffe von entscheidender Bedeutung ist“, wie Cybersecurity Dive berichtete.

Der Bericht unterstreicht die wachsenden Sicherheitsbedenken, da KI-Agenten in Arbeitsumgebungen immer häufiger vorkommen und vertraut werden, um sensible Aufgaben zu bewältigen.

In einer weiteren kürzlich durchgeführten Untersuchung wurde berichtet, dass Hacker Kryptowährungen von Web3 AI-Agenten stehlen können, indem sie falsche Erinnerungen implantieren, die normale Schutzmaßnahmen außer Kraft setzen.

Die Sicherheitslücke besteht in ElizaOS und ähnlichen Plattformen, da Angreifer kompromittierte Agenten nutzen können, um Gelder zwischen verschiedenen Plattformen zu übertragen. Die dauerhafte Natur von Blockchain-Transaktionen macht es unmöglich, gestohlene Gelder zurückzuholen. Ein neues Tool namens CrAIBench zielt darauf ab, Entwicklern dabei zu helfen, die Verteidigung zu stärken.