Malicious Models im Untergrund Unit-42 zeigt wachsenden Schwarzmarkt für Dark-LLMs

Anbieter zum Thema

Palo Alto Networks (Germany) GmbH

Stäubli TEC-Systems GmbH Connectors

DAXTEN GmbH

VON ZUR MÜHLEN'SCHE GmbH

Das Unit 42-Team von Palo Alto beschreibt in einer aktuellen Analyse, wie modifizierte KI-Modelle ohne Sicherheitsbarrieren vollautomatisierte Cyber-Kampagnen ermöglichen. Die Analyse zeigt operative Beispiele, Vermarktungswege und die technische Leistungsfähigkeit von Modellen wie „WormGPT“, „FraudGPT“ und „KawaiiGPT“.

Das Threat-Intel-Team Unit 42 von Palo Alto Networks legt in einer Analyse dar, wie „Dark LLMs“ – also Large Language Models ohne integrierte Sicherheitsfilter – in realen Operationen genutzt werden. Diese Systeme generieren ohne Widerstand Schadcode, Phishing-Vorlagen oder automatische Angriffsskripte und dienen damit als Werkzeug für Cyberkampagnen.

Das Team führt einen Fall an, bei dem mit China verknüpfte Angreifer ein kommerzielles LLM nutzten, um eine komplette Operation zu automatisieren. Der Vorfall gilt als Beispiel dafür, dass der Missbrauch generativer KI nicht länger theoretisch ist.

Dark-LLMs lassen sich technisch auf zwei Wegen realisieren: durch Fein-Tuning bestehender Modelle oder durch Modifikationen, die Sicherheitsrichtlinien gezielt entfernen. Beide Varianten können laut Evaluationsteam hochkomplexe Workflows erzeugen, darunter Reconnaissance-Abfolgen, Code für Lateral-Movement-Szenarien, automatisierte Datendiebstahlsroutinen sowie Ransomware-Gerüste.

Prompt erledigt

Mit diesen Fähigkeiten sinkt die Eintrittshürde für Angreifer deutlich. Früher benötigte es Fachwissen, um Code zu schreiben, Phishing-Texte anzupassen oder Exfiltrationswege zu planen. Mit Dark-LLMs genügen passende Prompts.

Die Analyse beschreibt darüber hinaus Veränderungen im Angriffsprofil. Generative KI liefert grammatikalisch korrekte, idiomatisch stimmige E-Mails und funktionierenden Code, der sich von manuell erzeugten Varianten kaum unterscheidet. Indikatoren wie Rechtschreibfehler oder unklare Syntax verlieren damit an Aussagekraft. Parallel steigen Geschwindigkeit und Skalierbarkeit. Kampagnen, die früher manuelle Vorbereitung erforderten, lassen sich in kurzer Zeit automatisiert erzeugen, mit potenziell hohem Volumen.

Entstehung eines Schwarzmarktes

Unit 42 sieht ein wachsendes Ökosystem aus Dark-LLM-Anbietern, Nutzern und Distributionskanälen. Genannte Plattformen wie WormGPT, FraudGPT und KawaiiGPT werden über „Telegram“-Kanäle, Dark-Web-Foren und Untergrundshops beworben.

Zugang erhält man häufig über monatliche Subscriptions. Teilweise wird zusätzlicher Funktionsumfang angeboten, etwa automatisierte Recon-Pipelines, Datenextraktionsskripte oder ausführbare Payload-Gerüste. Der Vertriebsstil orientiert sich erkennbar an legitimen SaaS-Geschäftsmodellen.

Mehrere der beobachteten Modelle lassen sich nach Ergebnissen der Untersuchung lokal betreiben. Open-Source-Varianten wie KawaiiGPT benötigen keine umfangreiche Infrastruktur und können ohne tiefere Programmierkenntnisse eingerichtet werden.

Keine Spezialkenntnisse notwendig, Support angeboten

Diese Eigenschaft erschwert forensische Analyse. Cloud-seitige Kontrollmechanismen greifen nicht, Logging-Daten fallen bei Self-Hosting-Setups nur vor Ort an, und das Monitoring potenzieller Missbrauchsmuster ist begrenzt. In Summe entsteht ein Markt, in dem nicht mehr experimentiert wird, sondern produktiv gehandelt.

Der Bericht führt zudem an, dass Kunden teilweise Support erhalten, etwa für Prompt-Optimierung oder Code-Verfeinerung. Entwickler bewerben neue Funktionen, veröffentlichen Feature-Roadmaps und reagieren auf Rückmeldungen, ähnlich wie klassische Softwareanbieter. Die Segmentierung reicht dabei von Basismodellen über spezialisierte Malware-Generatoren bis hin zu Tools für Credential-Theft, Social-Engineering-Kampagnen oder automatisierte Payload-Distribution.

Diese Entwicklung markiert aus Sicht der Analysten eine Verschiebung im Threat-Landscape. Generative KI fungiert nicht nur als Assistenzsystem für Angreifer, sondern als Produktionsplattform. Die Produktion von Malware, Phishing-Inhalten oder Angriffsskripten lässt sich automatisieren, replizieren und verteilen.

Der entscheidende Faktor ist nicht mehr das Know-how Einzelner, sondern die Skalierbarkeit des Modells. Damit verschieben sich Gleichgewichte zwischen Angriff und Verteidigung.

(ID:50647091)