KI-Verordnung - Verbotene Praktiken und Hochrisiko-KI-Systeme
Blog CMS Deutschland bloggt

Die Einstufung von KI-Systemen als Verbotene Praktiken oder Hochrisiko-KI-Systeme hängt von ihrer Zweckbestimmung und konkreten Anwendungsbereichen ab.

Während der risikobasierte Ansatz des Entwurfs des Gesetzes über Künstliche Intelligenz (KI-Verordnung, AI Act) auch in der derzeitigen Fassung des Parlaments beibehalten wird, versucht das Parlament in der aktuellen Fassung insbesondere bei Hochrisiko-KI-Systemen durch das Merkmal eines bedeutenden Risikos (significant risk) mehr Klarheit im Hinblick auf die Klassifizierung von KI-Systemen zu schaffen.

Unannehmbares Risiko – Einstufung generativer KI als verbotene Praktiken

Die KI-Verordnung verbietet das Inverkehrbringen, die Inbetriebnahme und die Verwendung von KI-Systemen, die als unvereinbar mit den Grundrechten der Europäischen Union (EU) angesehen werden (Art. 5), wobei der Katalog der verbotenen Praktiken durch das Parlament erweitert wurde:

• Soziale Bewertungssysteme: KI-Systeme, die Menschen anhand von persönlichen Merkmalen wie Rasse, Geschlecht, Religion oder politischer Überzeugung bewerten (Social Scoring), können zu Diskriminierung, Stigmatisierung und Ungerechtigkeit führen.

• Manipulation von Verhalten: KI-Systeme, die darauf abzielen, das Verhalten von Menschen zu manipulieren oder zu beeinflussen, um ihre Entscheidungen zu steuern, sind verboten. Dies umfasst beispielsweise die gezielte Manipulation von Inhalten in sozialen Medien oder anderen Plattformen, um politische oder kommerzielle Ziele zu verfolgen.

• Echtzeit-Gesichtserkennung in öffentlichen Räumen: Die KI-Verordnung sieht ein Verbot der Verwendung von KI-Systemen für die Echtzeit-Gesichtserkennung in öffentlichen Räumen vor.

• Risikobewertung und Profiling im Hinblick auf Straffälligkeit: KI-Systeme, die natürliche Personen oder Gruppen hinsichtlich des Risikos von Straffälligkeiten beurteilen oder das Auftreten oder die Wiederholung einer Straftat oder Ordnungswidrigkeit auf der Grundlage der Erstellung eines Profils einer natürlichen Person oder der Bewertung von Persönlichkeitsmerkmalen und Eigenschaften, einschließlich des Standorts einer Person, oder des früheren kriminellen Verhaltens natürlicher Personen oder Gruppen natürlicher Personen vorhersagen, sind verboten.

• Datenbankerstellung oder -erweiterung zur Gesichtserkennung: Ein weiteres Verbot gilt für KI-Systeme, die Datenbanken zur Gesichtserkennung durch das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder aus Videoüberwachungsaufnahmen erstellen oder erweitern.

• Ableitung von Emotionen: Auch KI-Systeme, die Emotionen einer natürlichen Person in den Bereichen Strafverfolgung, Grenzschutz, am Arbeitsplatz und in Bildungseinrichtungen ableiten, gelten als unannehmbares Risiko und sind verboten.

Im Hinblick auf generative KI-Systeme kommen hier etwa Chatbots oder manipulierte Fotos und Inhalte im Zusammenhang mit Fake News in Betracht, die in politischen Wahlkämpfen oder Werbekampagnen in sozialen Medien wie Twitter oder Instagram eingesetzt werden, um Entscheidungen hinsichtlich einer bevorstehenden Wahl oder Konsumentscheidungen der Nutzer der sozialen Medien zu beeinflussen. Auch im Bereich einer Entscheidung über eine Strafaussetzung zur Bewährung dürfen KI-Systeme nicht eingesetzt werden. Solche Entwicklungen und Einsätze generativer KI-Systeme sind unter der KI-Verordnung verboten.

Wird gegen das Verbot von Praktiken der KI des Art. 5 verstoßen, sieht die KI-Verordnung Geldbußen von bis zu EUR 40 Mio. oder 7 % des gesamten weltweiten Jahresumsatzes eines Unternehmens im vorangegangenen Geschäftsjahr vor (Art. 71). Die durch die KI-Verordnung vorgesehen Bußgelder können damit potenziell weit höher sein als unter der Europäischen Datenschutz-Grundverordnung (DSGVO), die maximal bis zu EUR 20 Mio. oder 4 % des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres vorsieht.

Hochrisiko-KI-Systeme – Generative KI wird je nach Zweckbestimmung und Anwendungsmodalitäten erfasst

Sog. Hochrisiko-KI-Systeme (high risk AI systems) unterliegen strengeren Vorschriften in Bezug auf Daten, Daten-Governance, Dokumentation und das Führen von Aufzeichnungen, Transparenz und Bereitstellung von Informationen für die Nutzer, menschliche Aufsicht, Robustheit, Genauigkeit und Sicherheit. Die Einstufung von Hochrisiko-KI-Systemen in dem Verordnungsvorschlag der Kommission wird in der Verhandlungsposition des Parlaments präzisiert.

Die KI-Verordnung unterscheidet weiterhin zwischen zwei Kategorien von Hockrisiko-KI-Systemen.

Unter eine Kategorie fallen KI-Systeme, die selbst Produkte oder Sicherheitskomponenten von Produkten sind, die unter die in Anhang II aufgeführten Harmonisierungsrechtsvorschriften der EU fallen und als Produkte oder Sicherheitskomponenten eines Produkts im Hinblick auf das Inverkehrbringen oder Inbetriebnehmen nach den Harmonisierungsvorschriften des Anhangs II einer Konformitätsbewertung im Hinblick auf Gesundheit und Sicherheit durch Dritte unterzogen werden müssen. Grundsätzliche Beispiele sind etwa Spielzeuge, Flugzeuge, zwei- oder dreirädrige Fahrzeuge, Autos, medizinische Geräte, Eisenbahnsysteme und Aufzüge. Im Bereich generativer KI-Modelle kommen hier etwa virtuelle Assistenten oder personalisierte Empfehlungen als Teile solcher Produkte in Betracht.

Zusätzlich gelten KI-Systeme, die unter einen oder mehrere der in Anhang III der KI-Verordnung aufgeführten Bereiche fallen, als Hochrisiko-KI-Systeme, wenn sie ein bedeutendes Risiko (significant risk) für Gesundheit, Sicherheit oder Grundrechte natürlicher Personen oder Umweltbeeinträchtigungen darstellen. Das restriktive Kriterium des tatsächlichen bedeutenden Risikos sowie eine Verpflichtung der Kommission, sechs Monate vor Inkrafttreten der KI-Verordnung Richtlinien aufzustellen, in denen Umstände des Einsatzes von KI-Systemen, die ein bedeutendes Risiko für Gesundheit, Sicherheit oder Grundrechte begründen, näher dargelegt werden, wurden in der Verhandlungsposition des Parlamentes ergänzt (Art. 6 Abs. 2) und Anhang III erweitert:

• KI-Systeme in sicherheitskritischen Bereichen: Fehler oder Fehlfunktionen in Systemen, die in sicherheitskritischen Bereichen wie dem Verkehrssektor, der Energiewirtschaft (z.B. Wasser-, Gas- Wärme- und Stromversorgung) oder dem Gesundheitswesen eingesetzt werden, können zu schwerwiegenden Schäden oder Verletzungen von Personen führen und gelten deshalb als Hockrisiko-KI-Systeme.

Wird generative KI etwa eingesetzt, um Röntgenbilder, CT-Scans und MRTs auf Anzeichen für Krebs, Herzerkrankungen oder neurologische Störungen zu überprüfen, oder, um Ärzte durch die Analyse von Patientenakten bei der Diagnosefindung und Behandlungsentscheidungen zu unterstützen, wären diese KI-Systeme Hochrisiko-KI-Systeme.

• Biometrische Identifizierungssysteme: Bei KI-Systemen, die biometrische Daten wie Gesichtserkennung, Stimmerkennung oder Verhaltensanalyse zur Identifizierung von Personen verwenden, liegt das hohe Risiko in den schwerwiegenden Auswirkungen eines Missbrauchs solcher Systeme auf Datenschutz und Privatsphäre.

Bei biometrischen Identifizierungssystemen dürften allerdings meist keine Komponenten generativer KI eingesetzt werden.

• Bewertende KI-Systeme in bestimmten Bereichen: Werden KI-Systeme zur Bewertung von Leistungen, Einstufung einer Person oder Zugang zu und Nutzung von bestimmten grundlegenden privaten und öffentlichen Diensten und Leistungen eingesetzt, kann eine fehlerhafte oder voreingenommene Bewertung erhebliche Auswirkungen auf die Karriereaussichten, Teilhabe an der Gesellschaft, Lebensstandard und Lebensgrundlagen der betroffenen Personen haben. Insbesondere die folgenden Bereiche werden deshalb als hochriskant angesehen:
  • Bewertung von natürlichen Personen für den Abschluss von Kranken- und Lebensversicherungen.
  • Bildungsbereich (z.B. Bewertung von Schülerleistungen),
  • automatisierte Einstufung von Bewerbern bei Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit,
  • Kreditpunktebewertung oder zur Bewertung der Kreditwürdigkeit natürlicher Personen (Ausnahme: Inbetriebnahme durch kleine Anbieter für den Eigenbedarf in Betrieb),
  • Bewertung von natürlichen Personen für den Abschluss von Kranken- und Lebensversicherungen.

Bei solchen bewertenden Hochrisiko-KI-Systemen wird es sich in aller Regel um generative KI-Systeme handeln, die etwa Daten wie Einkommen, Beschäftigungsverlauf und Bonität, durch die Kreditwürdigkeit eines Unternehmen oder einer Person vorhergesagt werden können, analysieren, oder Lebensläufe und berufliche Qualifikationen von Bewerbern auf ihre Eignung für ein bestimmtes Beschäftigungsverhältnis überprüfen und unter Umständen bereits eine Vorauswahl qualifizierter Bewerber treffen. Ein weiteres Beispiel sind Klassifikation und Evaluation von Arbeitskräften für Beförderungen oder Kündigungen.

• KI-Systeme im Strafverfolgungs- und Justizbereich: KI-Anwendungen, die durch Strafverfolgungsbehörden oder EU-Behörden eingesetzt werden (z.B. als Lügendetektoren oder zur Bewertung der Verlässlichkeit von Beweisen im Strafverfahren), gelten als hochriskant.

• KI-Systeme im Zusammenhang mit Migration, Asyl und Grenzkontrolle: KI-Systeme, die bei der Einreise oder in Asylverfahren eingesetzt werden (z.B. Vorhersage von Sicherheits- oder Gesundheitsrisiken einer einreisenden Person, Überprüfung von Reisedokumenten) sollen Hochrisiko-KI-Systeme sein.

• KI-Systeme im Zusammenhang mit Wahlen: Werden KI-Systeme eingesetzt, um Wahlergebnisse oder das Wahlverhalten natürlicher Personen zu beeinflussen, beeinträchtigen sie die Wahlfreiheit und stellen daher ein hohes Risiko dar.

• KI-Systeme im Zusammenhang mit Social Media Plattformen: KI-Systeme, die in Empfehlungssystemen von Social Media Plattformen, die als große Online-Plattformen angelegt sind, eingesetzt werden sollen, um den Nutzern nutzergenerierte Inhalte zu empfehlen, werden als hochriskant eingestuft, da diese in einer Weise eingesetzt werden können, die die Online-Sicherheit, öffentliche Meinungsbildung, Wahlen und demokratische Prozesse und soziale Angelegenheiten beeinflussen kann.

Hinzugekommen ist in der Verhandlungsposition des Parlaments auch, dass Anbieter von KI-Systemen, die in den von Anhang III erfassen Bereichen eingesetzt werden, wenn sie der Auffassung sind, dass ihre KI-Systeme kein hohes Risiko für Gesundheit, Sicherheit, Grundrechte oder die Umwelt darstellen, die Möglichkeit haben, dies bei der zuständigen Behörde mit entsprechender Begründung anzeigen (Art. 6 Abs. 2a). Stuft die Behörde das KI-System dennoch als Hochrisiko-KI-System ein, kann sie der Anzeige innerhalb einer bestimmten Frist widersprechen. Dem Anbieter steht gegen den Widerspruch ein Einspruchsrecht zu (Erwägungsgrund 32a). Bringt ein Anbieter das KI-System vor Ablauf der Frist auf den Markt, drohen Bußgelder.

Anbieter und Anwender sollten sich frühzeitig mit den Anforderungen und Pflichten für Hochrisiko-KI-Systeme auseinandersetzen

KI-Systeme, die ein unannehmbares Risiko darstellen, werden als Verbotene Praktiken ganz untersagt. Für Hochrisiko-KI-Systeme legt die KI-Verordnung Anforderungen und Pflichten für ihre Anbieter, Anwender, Händler und Einführer sowie andere Beteiligte entlang der KI-Wertschöpfungskette fest, sodass es sich lohnt, sich bereits jetzt mit den Anforderungen der KI-Verordnung auseinander zu setzen.

Auch vor der Rechtsberatung macht KI keinen Halt. Dies hat CMS bereits früh erkannt: Wie künstliche Intelligenz die Arbeit in Kanzleien verändert (cmshs-bloggt.de). Auf unserer Innovationen-Homepage und in unserem CMS To Go Podcast „Einfach.Innovativ“ erhalten Sie weitere Informationen.

In unserem CMS-Blog informieren wir Sie in unserer Blog-Serie „Künstliche Intelligenz“ fortlaufend mit aktuellen Beiträgen zu diesen Themen. Sie können diese Blog-Serie über den RSS-Feed abonnieren und werden von uns über neue Beiträge informiert. Weitere Informationen finden Sie zudem auf unserer Insight-Seite: Implikationen für Künstliche Intelligenz und Recht | CMS Deutschland.