KI-Halluzinationen stellen nun eine Bedrohung für die Cybersicherheit dar

Die Studie zeigt, dass KI-Chatbots Millionen von Nutzern gefälschte Login-Seiten empfehlen, was sie unter dem Deckmantel hilfreicher Antworten der Gefahr von Phishing und Betrug aussetzt.

In ihrer Studie testete die Cybersicherheitsfirma Netcraft ein beliebtes großes Sprachmodell (LLM), indem sie fragte, wo man sich bei 50 bekannten Marken anmelden sollte. Von den vorgeschlagenen 131 Website-Links waren 34% falsch, wobei inaktive oder nicht registrierte Domains 29% ausmachten und nicht verwandte Unternehmen 5% ausmachten.

Dieses Problem ist nicht theoretischer Natur. In einem realen Beispiel zeigte die KI-gesteuerte Suchmaschine Perplexity eine Phishing-Website einem Nutzer an, der nach der Login-Seite von Wells Fargo suchte. Eine gefälschte Google Sites-Seite, die die Bank imitierte, erschien ganz oben in den Suchergebnissen, während der authentische Link darunter verborgen war.

Netcraft erklärte: „Das waren keine Randfallaufforderungen. Unser Team verwendete einfache, natürliche Formulierungen und simulierte genau, wie ein typischer Nutzer fragen könnte. Das Modell wurde nicht getäuscht – es war einfach nicht genau. Das ist wichtig, denn Nutzer verlassen sich zunehmend auf KI-gesteuerte Such- und Chat-Schnittstellen, um solche Fragen zu beantworten.“

Während KI zur Standardoberfläche auf Plattformen wie Google und Bing wird, wächst das Risiko. Im Gegensatz zu traditionellen Suchmaschinen präsentieren Chatbots Informationen klar und selbstbewusst, was dazu führt, dass Benutzer ihren Antworten vertrauen, selbst wenn die Informationen falsch sind.

Die Bedrohung endet nicht beim Phishing. Moderne Cyberkriminelle optimieren ihre schädlichen Inhalte für KI-Systeme, was zu Tausenden von Betrugsseiten, gefälschten APIs und vergiftetem Code führt, der an Filtern vorbeischlüpft und in von KI generierten Antworten landet.

In einer Kampagne erstellten Angreifer eine gefälschte Blockchain-API, die sie über GitHub-Repositories und Blogartikel bewarben, um Entwickler dazu zu verleiten, Kryptowährung an eine betrügerische Wallet zu senden.

Netcraft warnt, dass das vorbeugende Registrieren von gefälschten Domains nicht ausreicht. Stattdessen empfehlen sie intelligentere Erkennungssysteme und bessere Schulungsschutzmaßnahmen, um zu verhindern, dass KI überhaupt schädliche URLs erfindet.