Anbieter, Anwender, Händler und Einführer von Hochrisiko-KI-Systemen liegen mit umfangreichen Pflichten im Fokus der KI-VO.

Der aktuelle Entwurf des Gesetzes über Künstliche Intelligenz (KI-Verordnung, AI Act) legt den regulatorischen Schwerpunkt auf Anforderungen an Hochrisiko-KI-Systeme und Pflichten für deren Anbieter*, Anwender, Händler und Einführer sowie andere Beteiligte entlang der KI-Wertschöpfungskette.

Pflichten für Anbieter von Hochrisiko-KI-Systemen

Wird ein generatives KI-System als Hochrisiko-KI-System eingestuft, treffen seinen Anbieter umfangreiche und komplexe Pflichten, die in der praktischen Umsetzung einigen Verwaltungsaufwand und finanzielle Ressourcen erfordern werden. Als Anbieter (provider) gilt jede natürliche oder juristische Person, die die Verantwortung für das Inverkehrbringen oder die Inbetriebnahme eines Hochrisiko-KI-Systems übernimmt, unabhängig davon, ob es sich bei dieser um die Person handelt, die das System konzipiert oder entwickelt hat (Art. 3 Nr. 2).

Anbieter von Hochrisiko-KI-Systemen sind vor allem dazu verpflichtet, sicherzustellen, dass die nachfolgenden Anforderungen an Hochrisiko-KI-Systeme (Art. 8 ff.) während des gesamten Lebenszyklus eines KI-Systems eingehalten werden (Art. 16), was durch ein geeignetes Risikomanagementsystem (Art. 9) gewährleistet werden soll:

  • Datenqualität (Art. 10): Für den Einsatz und die Entwicklung generativer KI-Systeme sind vor allem die Anforderungen an die Qualität der Datensätze, mit denen ein Hochrisiko-KI-System trainiert wird, relevant. Durch Daten-Governance- und Datenverwaltungsverfahren soll gewährleistet werden, dass Trainings-, Validierungs- und Testdatensätze im Hinblick auf die Zweckbestimmung des Systems hinreichend relevant, repräsentativ, fehlerfrei und vollständig sind, geeignete statistische Merkmale haben, auch bezüglich der Personen oder Personengruppen, auf die das Hochrisiko-KI-System bestimmungsgemäß angewandt werden soll und gegebenenfalls, den Eigenschaften, Merkmalen oder Elementen entsprechen, die für die besonderen geografischen, verhaltensbezogenen oder funktionalen Rahmenbedingungen oder den Zusammenhängen, in denen das KI-System bestimmungsgemäß verwendet werden soll, typisch sind. Außerdem sollen Überprüfungen auf und geeignete Maßnahmen zur Aufdeckung, Vorbeugung und Minderung möglicher Voreingenommenheit vorgenommen werden. Soweit zu diesem Zweck ausnahmsweise personenbezogene Daten verarbeitet werden müssen, stellt Art. 10 Anforderungen an Pseudonymisierung, Vertraulichkeit und die Datenverarbeitung auf.

Kann der Anbieter mangels Zugang zu relevanten Daten den Anforderungen im Hinblick auf die Datenqualität und Daten-Governance nicht gerecht werden, kann der Anwender, wenn ausschließlich er den Datenzugang hat, vertraglich für Verletzungen des Art. 10 haftbar gemacht werden (Art. 10 Abs. 6a).

  • Dokumentation und Aufzeichnungspflichten (Art. 11, 12): Im Hinblick auf Entwicklung und Funktionsweise von Hochrisiko-KI-Systemen müssen Aufzeichnungen und aktuelle technische Dokumentationen geführt werden, die Informationen zu allgemeinen Merkmale, Fähigkeiten und Grenzen des Systems, verwendeten Algorithmen, Daten, Trainings-, Test- und Validierungsverfahren sowie die Dokumentation des einschlägigen Risikomanagementsystems enthalten.
  • Transparenz für Nutzer (Art. 13): Natürliche Personen als Nutzer sollen durch Bereitstellung einer Dokumentation und Gebrauchsanweisung in die Lage versetzt werden, die Ergebnisse zu interpretieren und angemessen zu verwenden.
  • Menschliche Aufsicht (Art. 14): Vor dem Inverkehrbringen oder Inbetriebnehmen eines Hochrisiko-KI-Systemen müssen während der Konzeption und Entwicklung von dem Anbieter geeignete Maßnahmen zur Gewährleistung menschlicher Aufsicht mit hinreichender KI-Kompetenz festgelegt werden (z.B. integrierte Betriebseinschränkungen, Stopptaste).
  • Genauigkeit, Robustheit und Cybersicherheit (Art. 15): Genauigkeit, Robustheit und Cybersicherheit sollen dem allgemein anerkannten Stand der Technik entsprechen.

Weitere Pflichten eines Anbieters von Hochrisiko-KI-Systemen sind insbesondere:

  • Angabe von eingetragenen Handelsnamen oder eingetragener Handelsmarke und Kontaktanschrift auf dem Hochrisiko-KI-System selbst oder auf der Verpackung oder in der beigefügten Dokumentation angeben (Art. 16 Abs. 1a),
  • Einrichtung eines Qualitätsmanagementsystems (Art. 17),
  • Durchführung und Sicherstellen vorgeschriebener Konformitätsbewertungen (Art. 16 Abs. 1e, Art. 43),
  • Aufbewahrung von Log-Daten (Art. 20),
  • Korrekturmaßnahmen und Bereitstellung relevanter Informationen an Händler, Einführer, zuständige Behörden und, soweit möglich, Anwender (Art. 21),
  • Informations- und Kooperationspflichten (Art. 22, 23),
  • Erstellung und Bereithalten einer EU-Konformitätserklärung (Art. 48),
  • Kennzeichnungspflichten (z.B. CE-Konformitätskennzeichnung, Art. 49),
  • Aufbewahrungspflichten (Art. 20, Art. 50),
  • Registrierungspflicht (Art. 51),
  • Einrichtung eines robusten Systems zur Beobachtung nach dem Inverkehrbringen und Meldepflichten (Art. 61, 62).

Bei Verstößen gegen die Anforderungen an Daten und Daten-Governance (Art. 10) und Transparenz (Art. 13) drohen einem Anbieter Geldbußen von bis zu EUR 20 Mio. oder 4 % des gesamten weltweiten Jahresumsatzes eines Unternehmens im vorangegangenen Geschäftsjahr, bei sonstigen Verstößen gegen die Anforderungen und Pflichten von bis zu EUR 10 Mio. oder 2 % des gesamten weltweiten Jahresumsatzes im vorangegangenen Geschäftsjahr.

Anbieter, die außerhalb der Union niedergelassen sind, müssen vor der Bereitstellung ihrer KI-Systeme in der Union schriftlich einen in der Europäischen Union (EU) niedergelassenen Bevollmächtigten (authorised representative) benennen und diesen mit hinreichenden Befugnissen und Ressourcen ausstatten, damit dieser die Pflichten unter der KI-Verordnung erfüllen kann, insbesondere das Bereitstellen von Informationen an die zuständigen Behörden (Art. 25).

Den Anbieterpflichten unterliegt auch ein Produkthersteller (product manufacturor), wenn er Hochrisiko-KI-Systeme im Zusammenhang mit Produkten unter seinem Namen in Verkehr bringt oder in Betrieb nimmt (Art. 24).

Pflichten für Anwender, Händler und Einführer von Hochrisiko-KI-Systemen

Neben den Pflichten für Anbieter legt die KI-Verordnung weitere Pflichten für andere Beteiligte entlang einer KI-Wertschöpfungskette fest.

Einführer(importer), in der Union ansässige oder niedergelassene natürliche oder juristische Personen, die ein KI-System, das den Namen oder die Marke einer außerhalb der EU ansässigen oder niedergelassenen natürlichen oder juristischen Person trägt, in der EU in Verkehr bringen oder in Betrieb nehmen (Art. 3 Nr. 6) müssen (Art. 26):

  • sicherstellen, dass Hochrisiko-KI-Systeme die Vorschriften der KI-Verordnung einhalten, insbesondere, dass seitens des Anbieters des KI-Systems das betreffende Konformitätsbewertungsverfahren durchgeführt wurde, die technische Dokumentation erstellt wurde, dass das System mit der erforderlichen Konformitätskennzeichnung versehen ist und ihm die erforderlichen Unterlagen und Gebrauchsanweisungen beigefügt sind, gegebenenfalls ein Bevollmächtigter benannt wurde; bei einem Verdacht auf einen Verstoß, gegen die Anforderungen der KI-Verordnung darf der Einführer das Hochrisiko-KI-System nicht auf den Markt bringen und muss gegebenenfalls die zuständige Behörde informieren,
  • ihren eingetragenen Handelsnamen oder eingetragener Handelsmarke und Kontaktanschrift auf dem Hochrisiko-KI-System selbst oder auf der Verpackung oder in der beigefügten Dokumentation angeben,
  • sicherstellen, dass Lagerungs- oder Transportbedingungen die Konformität mit den Anforderungen an Hochrisiko-KI-Systeme nicht beeinträchtigen,
  • mit den zuständigen Behörden kooperieren.

Händler (distributor) als natürliche oder juristische Person in der Lieferkette, die ein KI-System ohne Änderung seiner Merkmale auf dem Unionsmarkt bereitstellt, mit Ausnahme des Herstellers oder des Einführers (Art. 3 Nr. 7, Art. 27):

  • müssen Hochrisiko-KI-Systeme auf erforderliche CE-Konformitätskennzeichnung, erforderliche Dokumentation und Gebrauchsanweisung sowie Einhaltung der Pflichten unter der KI-Verordnung durch Anbieter bzw. gegebenenfalls der Einführer überprüfen,
  • dürfen diese bei einem Verdacht eines Verstoßes gegen die Anforderungen an Hochrisiko-KI-Systeme nicht auf den Markt bringen und sollen gegebenenfalls Anbieter oder Einführer oder die zuständige Behörde über ein Risiko informieren,
  • müssen im Hinblick auf bereits auf den Markt gebrachte KI-Systeme, bei denen sie sie den Verdacht eines Verstoßes gegen die Anforderungen an Hochrisiko-KI-Systeme haben, notwendige Korrekturmaßnahmen vornehmen und gegebenenfalls Anbieter oder Einführer oder die zuständige Behörde über ein Risiko informieren,
  • mit den zuständigen Behörden kooperieren.

Anwender(deployer), natürliche oder juristische Personen oder Behörden, Einrichtungen oder sonstige Stellen, die für den Betrieb eines KI-Systems verantwortlich sind, es sei denn, das KI-System wird im Rahmen einer persönlichen nicht beruflichen Tätigkeit verwendet (Art. 3 Nr. 4, Art. 29) müssen unter anderem:

  • KI-Systeme, insbesondere von Hochrisiko-KI-Systemen, gemäß der Gebrauchsanweisung nutzen,
  • die Funktionsweise überwachen,
  • gegebenenfalls Aufzeichnungspflichten erfüllen,
  • abhängig von ihrer Kontrolle über das Hochrisiko-KI-System menschliche Aufsicht umsetzen, sicherstellen, dass mit dieser betraute natürliche Personen kompetent, ausreichend qualifiziert und mit den notwendigen Ressourcen ausgestattet sind, und sicherstellen, dass relevante und angemessene Robustheit und Cybersecurity Maßnahmen regelmäßig überprüft und angepasst oder aktualisiert werden,
  • sich vor einer Inbetriebnahme oder Nutzung am Arbeitsplatz mit Arbeitnehmervertreter einigen und die betroffenen Arbeitnehmer informieren,
  • unabhängig von Transparenzpflichten (Art. 52), betroffene natürliche Personen informieren, wenn es sich um ein Hochrisiko-KI-System handelt, dass Entscheidungen über natürliche Personen trifft oder dabei unterstützt,
  • mit den zuständigen Behörden kooperieren,
  • eine Überprüfung im Hinblick auf Auswirkungen des Hochrisiko-KI-Systems auf Grundrechte durchführen (Art. 29 a).

Pflichten treffen nicht nur Anbieter, Händler, Einführer und Anwender von Hochrisiko-KI-Systemen

Die Anforderungen und Pflichten im Zusammenhang mit dem Einsatz und der Entwicklung von Hockrisiko-KI-Systemen sind komplex und umfangreich. Neben den Anforderungen an Hochrisiko-KI-Systeme und Pflichten für Anbieter, Händler, Einführer und Anwender werden nun in dem Entwurf der KI-Verordnung und der aktuellen Fassung der Verhandlungsposition des Rates weitere Pflichten und Verantwortlichkeiten entlang der Wertschöpfungskette von Hochrisiko-KI-Systemen geregelt und Anforderungen an Basismodelle sowie Pflichten für deren Anbieter festgelegt.

Auch vor der Rechtsberatung macht KI keinen Halt. Dies hat CMS bereits früh erkannt: Wie künstliche Intelligenz die Arbeit in Kanzleien verändert (cmshs-bloggt.de). Auf unserer Innovationen-Homepage und in unserem CMS To Go Podcast „Einfach.Innovativ“ erhalten Sie weitere Informationen.

In unserem CMS-Blog informieren wir Sie in unserer Blog-Serie „Künstliche Intelligenz“ fortlaufend mit aktuellen Beiträgen zu diesen Themen. Sie können diese Blog-Serie über den RSS-Feed abonnieren und werden von uns über neue Beiträge informiert. Weitere Informationen finden Sie zudem auf unserer Insight-Seite: Implikationen für Künstliche Intelligenz und Recht | CMS Deutschland.