Welche KI ist verboten? Diese Anwendungen sind laut EU AI Act illegal
Der EU AI Act verbietet bestimmte KI-Anwendungen vollständig, wenn sie ein unannehmbares Risiko für Menschen, Grundrechte oder die Gesellschaft darstellen. Dazu gehören unter anderem manipulative KI, Social Scoring, bestimmte Formen von Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen, unzulässige biometrische Kategorisierung sowie das massenhafte Erstellen von Gesichtserkennungsdatenbanken.
Kurzantwort:
Verboten ist nicht „KI“ an sich. Verboten sind bestimmte KI-Praktiken nach Artikel 5 AI Act, zum Beispiel manipulative oder ausbeutende KI, Social Scoring, bestimmte Predictive-Policing-Systeme, unzulässige Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen sowie bestimmte biometrische Anwendungen.
Diese Seite erklärt verständlich, welche KI-Anwendungen verboten sind, was weiterhin erlaubt ist und warum Unternehmen ihre KI-Nutzung prüfen sollten.
Unsicher, ob deine KI-Nutzung riskant sein könnte?
Kostenlosen EU AI Act Selbstcheck starten →
Welche KI ist laut AI Act verboten?
Artikel 5 des EU AI Act verbietet KI-Praktiken, die als unannehmbares Risiko gelten. Dabei geht es vor allem um Systeme, die Menschen manipulieren, Schutzbedürftige ausnutzen, Personen sozial bewerten, sensible Eigenschaften aus biometrischen Daten ableiten oder bestimmte Formen der Überwachung und Vorhersage einsetzen.
Die wichtigsten verbotenen KI-Anwendungen sind:
- Manipulative oder täuschende KI: KI, die Menschen durch unterschwellige, manipulative oder täuschende Techniken erheblich beeinflusst und Schaden verursachen kann.
- Ausnutzung von Schutzbedürftigkeit: KI, die Schwächen aufgrund von Alter, Behinderung oder sozialer beziehungsweise wirtschaftlicher Situation ausnutzt.
- Social Scoring: KI-Systeme, die Menschen über längere Zeit nach Verhalten oder persönlichen Merkmalen bewerten und daraus nachteilige Behandlung ableiten.
- Bestimmtes Predictive Policing: KI, die das Risiko einer Straftat allein anhand von Profiling oder Persönlichkeitseigenschaften bewertet.
- Massenhaftes Erstellen von Gesichtsdatenbanken: KI-Systeme, die Gesichtserkennungsdatenbanken durch ungezieltes Scraping aus Internet oder CCTV erweitern.
- Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen: grundsätzlich verboten, mit engen Ausnahmen etwa für medizinische oder sicherheitsbezogene Zwecke.
- Biometrische Kategorisierung sensibler Merkmale: KI, die anhand biometrischer Daten etwa politische Meinung, Religion, Gewerkschaftszugehörigkeit, Sexualleben oder sexuelle Orientierung ableitet.
- Bestimmte biometrische Echtzeit-Fernidentifizierung im öffentlichen Raum: besonders streng begrenzt und nur in engen Ausnahmesituationen für Strafverfolgungszwecke möglich.
Diese Verbote gelten seit 2. Februar 2025. Die EU-Kommission hat dazu Leitlinien veröffentlicht, um die verbotenen Praktiken nach Artikel 5 besser einzuordnen. :contentReference[oaicite:1]{index=1}
Verbotene KI-Anwendungen im Überblick
| Verbotene KI-Praxis | Was bedeutet das? | Warum kritisch? |
|---|---|---|
| Manipulative KI | KI beeinflusst Verhalten verdeckt, täuschend oder erheblich verzerrend. | Gefahr für freie Entscheidung und Selbstbestimmung. |
| Ausnutzung von Schwächen | KI nutzt Alter, Behinderung oder soziale beziehungsweise wirtschaftliche Lage aus. | Schutzbedürftige Menschen können gezielt geschädigt werden. |
| Social Scoring | Menschen werden anhand von Verhalten oder persönlichen Merkmalen bewertet. | Diskriminierung und ungerechtfertigte Benachteiligung. |
| Bestimmtes Predictive Policing | KI bewertet Straftatrisiken allein anhand von Profiling oder Persönlichkeitseigenschaften. | Gefahr falscher Verdächtigungen und Grundrechtsverletzungen. |
| Gesichtsdatenbanken durch Scraping | Gesichter werden ungezielt aus Internet oder CCTV gesammelt. | Massive Eingriffe in Privatsphäre und biometrische Daten. |
| Emotionserkennung am Arbeitsplatz oder in Bildung | KI versucht Emotionen von Beschäftigten, Schülern oder Studierenden zu erkennen. | Überwachungsdruck, Fehlinterpretationen und Machtungleichgewicht. |
| Biometrische Kategorisierung sensibler Merkmale | KI leitet sensible Eigenschaften aus biometrischen Daten ab. | Diskriminierungs- und Grundrechtsrisiken. |
Wichtig: Hochrisiko-KI ist nicht automatisch verboten. Hochrisiko-KI darf unter strengen Anforderungen eingesetzt werden. Verboten sind nur bestimmte KI-Praktiken, die der AI Act als unannehmbares Risiko einstuft.
Warum ist diese KI verboten?
Die verbotenen KI-Praktiken betreffen besonders sensible Bereiche: freie Entscheidung, Privatsphäre, Diskriminierungsschutz, Menschenwürde, soziale Teilhabe und Grundrechte. Der AI Act will verhindern, dass KI Menschen verdeckt manipuliert, überwacht, bewertet oder aufgrund sensibler Merkmale benachteiligt.
Geschützt werden insbesondere:
- freie und informierte Entscheidungen
- Privatsphäre und biometrische Daten
- Schutz vor Diskriminierung
- Schutz von Kindern, älteren Menschen und vulnerablen Gruppen
- Menschenwürde und Grundrechte
- Vertrauen in digitale Systeme
Was ist nicht verboten?
Viele KI-Anwendungen bleiben erlaubt. Der AI Act verbietet nicht die normale Nutzung von KI im Unternehmen, im Marketing oder zur Unterstützung interner Prozesse. Entscheidend ist die konkrete Anwendung, das Risiko und der Umgang mit Daten, Transparenz und Kontrolle.
Grundsätzlich weiterhin möglich sind zum Beispiel:
- ChatGPT für Texte, Ideen, Zusammenfassungen und Entwürfe
- KI im Marketing für Kampagnen, Social Media und Produkttexte
- KI-Bilder und Visuals, wenn Rechte und Transparenz geprüft werden
- Automatisierungen im Unternehmen
- Analyse- und Assistenzsysteme
- Chatbots, wenn Nutzertransparenz und Datenschutz beachtet werden
- Hochrisiko-KI, wenn die strengen gesetzlichen Anforderungen erfüllt werden
Mehr dazu: ChatGPT legal nutzen | Ist KI im Unternehmen erlaubt?
Wie können Unternehmen prüfen, ob sie verbotene KI nutzen?
Die meisten Unternehmen nutzen keine offensichtlich verbotene KI. Das größere Problem ist fehlende Übersicht: KI-Funktionen stecken in Software, Marketing-Tools, HR-Systemen, Analyseplattformen oder Automatisierungen. Deshalb sollten Unternehmen ihre KI-Nutzung systematisch erfassen.
- Welche KI-Tools werden im Unternehmen eingesetzt?
- Wer nutzt diese Tools und wofür?
- Werden Menschen bewertet, sortiert, klassifiziert oder beeinflusst?
- Werden biometrische Daten, Emotionen oder sensible Merkmale verarbeitet?
- Werden Kinder, ältere Menschen oder vulnerable Gruppen angesprochen?
- Wird KI im HR, in Bildung, Verwaltung, Sicherheit oder Finanzbewertung genutzt?
- Gibt es Chatbots, die Nutzer täuschen könnten?
- Gibt es Systeme, die Entscheidungen automatisiert vorbereiten?
Die größte Gefahr: „Das betrifft uns nicht“
Viele Unternehmen glauben, verbotene KI betreffe nur große Tech-Konzerne oder staatliche Stellen. Das ist in vielen Fällen zwar praktisch naheliegend, aber nicht die ganze Wahrheit. Auch kleinere Unternehmen können riskante KI-Funktionen einsetzen, ohne es zu merken — etwa über Drittanbieter-Tools, HR-Software, Analyseplattformen, automatisierte Kundenkommunikation oder Marketing-Automation.
Typische Lücken sind:
- keine Liste der eingesetzten KI-Tools
- keine Prüfung von Anbieterfunktionen
- unklare Nutzung durch Mitarbeitende
- keine Bewertung sensibler Daten
- keine interne KI-Richtlinie
- keine Dokumentation von Risiken
Welche Strafen drohen bei verbotener KI?
Verstöße gegen verbotene KI-Praktiken gehören zu den schwersten Verstößen im AI Act. Dafür können Bußgelder von bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes drohen. Die tatsächliche Höhe hängt vom Einzelfall ab.
Mehr dazu: AI Act Strafen 2026
Was du jetzt konkret tun solltest
Wenn du KI beruflich nutzt, solltest du nicht raten, sondern prüfen. Eine einfache erste Bestandsaufnahme hilft, verbotene, hochriskante und unkritischere KI-Nutzung zu unterscheiden.
- KI-Tools im Unternehmen erfassen
- prüfen, ob Menschen bewertet, beeinflusst oder klassifiziert werden
- biometrische, emotionale und sensible Daten besonders prüfen
- HR-, Bildungs-, Gesundheits-, Finanz- und Sicherheitsanwendungen gesondert bewerten
- Chatbots und automatisierte Kundenkommunikation transparent gestalten
- Drittanbieter-Tools auf KI-Funktionen prüfen
- interne KI-Richtlinien erstellen
- bei sensiblen Anwendungen fachliche Beratung einholen
Jetzt prüfen, ob deine KI-Nutzung Risiken enthält:
Kostenlosen EU AI Act Selbstcheck starten →
Weiterführende Themen zu verbotener KI und AI Act
Wenn du deine KI-Nutzung besser einordnen möchtest, sind diese Seiten besonders hilfreich:
FAQ: Verbotene KI laut AI Act
Ist ChatGPT verboten?
Nein, ChatGPT ist nicht verboten. ChatGPT kann legal genutzt werden, wenn Datenschutz, Transparenz, Qualitätsprüfung und interne Regeln beachtet werden.
Welche KI ist im EU AI Act verboten?
Verboten sind unter anderem manipulative KI, die Ausnutzung vulnerabler Gruppen, Social Scoring, bestimmte Formen von Predictive Policing, Gesichtsdatenbanken durch ungezieltes Scraping, Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen sowie bestimmte biometrische Kategorisierung sensibler Merkmale.
Ist Hochrisiko-KI verboten?
Nein, Hochrisiko-KI ist nicht automatisch verboten. Sie darf unter strengen Anforderungen eingesetzt werden. Verboten sind nur bestimmte KI-Praktiken mit unannehmbarem Risiko.
Gilt das auch für kleine Unternehmen?
Ja, auch kleine Unternehmen können betroffen sein, wenn sie verbotene KI-Praktiken einsetzen oder KI in sensiblen Bereichen nutzen. Entscheidend ist der konkrete Einsatz, nicht nur die Unternehmensgröße.
Welche Strafen drohen bei verbotener KI?
Bei Verstößen gegen verbotene KI-Praktiken können sehr hohe Bußgelder drohen, bis zu 35 Millionen Euro oder 7 Prozent des weltweiten Jahresumsatzes. Die tatsächliche Höhe hängt vom Einzelfall ab.
Ersetzt diese Übersicht eine Rechtsberatung?
Nein. Diese Übersicht bietet eine erste Orientierung. Sie ersetzt keine Rechtsberatung, Datenschutzprüfung oder individuelle Bewertung deines konkreten KI-Einsatzes.