Die EU-Kommission hat im April 2021 einen Vorschlag zur Regulierung Künstlicher Intelligenz (KI) ausgearbeitet. Derzeit befindet sich das Rechtsetzungsverfahren in den Trilog-Verhandlungen. Im April 2022 fand zum Verordnungsentwurf eine Tagung in Würzburg statt, deren Ergebnisse (Stand: September 2022) Eric Hilgendorf und David Roth-Isigkeit gesammelt, in zehn Kapitel, die sich an die Gliederung des Entwurfs anlehnen, angeordnet und 2023 herausgegeben haben, um einen anwendungsorientierten Überblick über die Grundzüge dieses demnächst erwarteten, sich am Produktsicherheitsrecht orientierenden „KI-Gesetzes“ zu geben.

Zunächst werden im Rückblick auf die Entstehungsgeschichte und im Seitenblick auf Entwürfe aus den USA ethische Leitwerte skizziert, nämlich Respekt vor der menschlichen Autonomie, Schadensvermeidung, Fairness und Erkennbarkeit (§ 1). Abhängig davon, welches „Risiko“ ein KI-System birgt, könnte dieses verboten, freigestellt oder eingeschränkt sein, wobei besonderes Augenmerk auf Systemen mit „hohem“ Risiko liegt. Dieser Ansatz ist zwar nicht neu, er findet sich bspw in der Medizinprodukte-Verordnung, wird aber im KI-Gesetz zu einer einprägsamen „Risikopyramide“ ausgebaut.

Im Hinblick auf den Anwendungsbereich und die Adressat:innen wird der „Begriffsapparat“ zu Recht dafür kritisiert, dass er die rechtssichere Zuweisung von Verantwortung erschwert (§ 2). Die Schwierigkeiten liegen teils, insb beim Begriff des KI-Systems, in der „Natur der Sache“, wenn und weil „Technikoffenheit“ gewahrt bleiben soll, weshalb weniger von der Technologie her, mehr mit Bezug auf das jeweilige Risiko gedacht werden sollte (Rz 16). Es geht hier aber auch um rechtspolitische Fragen, weil ein weiter Anwendungsbereich bei KI-Systemen, die nur geringfügige Risiken bergen und darum weitgehend freigestellt sind, einer mitgliedstaatlichen „Verschärfung“ entgegensteht (Rz 33). Was die Adressat:innen betrifft, ist hervorzuheben, dass Nutzer:innen nicht nur geschützt, sondern auch in die Pflicht genommen werden, was sich jedoch nicht teleologisch stringent in den Ausnahmen von der Legaldefinition spiegelt (Rz 45).

Ergänzend zu den im Entwurf völlig „verbotenen Praktiken“ der Verhaltensmanipulation, des „Social Scoring“ und der biometrischen Echtzeit-Fernidentifizierung in öffentlichen Räumen iZm Strafverfolgung wird angeregt (§ 3), weniger großzügig mit Emotionserkennungssystemen umzugehen, die zB am Arbeitsplatz zum Einsatz kommen könnten (Rz 17).

Wer ein Hochrisiko-KI-System betreibt, ist von einem Pflichtenbündel betroffen, das etwa die Einführung eines Risikomanagementsystems, die Sicherstellung menschlicher Kontrolle sowie die Gewährleistung von Genauigkeit, Robustheit und Cybersicherheit erfordert. Überdies muss das System seine Fehlerquote ausweisen. Vorgereiht ist ein Konformitätsbewertungsverfahren zu durchlaufen. Bei der Klassifizierung solcher KI-Systeme wird darauf hingewiesen (§ 4), dass es sich, abgesehen von solchen, die (und soweit sie) – wie zB Medizinprodukte – bereits an anderer Stelle regulatorisch erfasst sind, zumeist um Anwendungen des öffentlichen Sektors handelt, die der gesellschaftlichen Teilhabe, den Lebensgrundlagen und der Infrastruktur dienen (Rz 54). Grobe Regelungslücken werden in der anstehenden Verordnung nicht geortet, wiewohl festgehalten wird, dass zB Legal-Tech-Systeme „nicht hinreichend unter ihren regulatorischen Schutzschirm“ fallen (Rz 93). Ein Problem wird zu Recht darin gesehen, dass die Abgrenzung zwischen den Risikogruppen „nicht gänzlich bruchfrei möglich“ ist, sodass die Gefahr besteht, „dass KI-Systeme, die ihre Hersteller nicht eindeutig einer Stufe zuordnen können, gesetzliche Anforderungen unterlaufen“ (Rz 146). Die Anforderungen an Hochrisiko-KI-Systeme werden eingehend beschrieben (§ 5), wobei gesehen wird, dass bei der Gewährleistung der Einhaltung dieser Anforderungen nach einer Vorgabe im KI-Gesetz der Zweckbestimmung des Hochrisiko-KI-Systems Rechnung zu tragen ist, ohne dass diesem zu entnehmen wäre, wie das „in concreto erfolgen soll“ (Rz 2). Außerdem wird nicht verkannt, dass das KI-Gesetz zwar kein fehlerfreies System erwartet, jedoch nur ein „vertretbares“ Restrisiko zulässt, ohne zu spezifizieren, wonach sich dieses bestimmt (Rz 13).

Im Zuge der Darlegung von Transparenzpflichten (§ 6) werden nicht nur Unklarheiten bezüglich der Frage nach dem Zeitpunkt, der Form und dem Inhalt von Mitteilungen bemängelt, sondern auch festgehalten, dass „bloße“ Offenlegung bei sehr „problematischen persönlichkeitsverletzenden Deepfakes“ wenig hilfreich ist (Rz 64).

Nach dem KI-Gesetz für Hochrisikosysteme geltende Pflichten zum Qualitätsmanagement und zu Korrekturmaßnahmen werden in ihrer „allgemeinen Vorbildfunktion“ beschrieben (§ 7). Die „Effizienz“ der Selbstregulierung durch freiwillige Verhaltenskodizes wird jedoch bezweifelt, wenngleich die Zweifelsgründe allein in dem Punkt berechtigt scheinen, dass besagte Kodizes verordnungsimmanent nicht wie andere freiwillige Regeln idR „der Präzisierung unbestimmter generalklauselartiger Normen“ dienen, sodass es ihnen „noch an den Anknüpfungspunkten für eine Präzisierung fehlt“ (Rz 77).

Wiewohl der Gedanke der Selbstregulierung im KI-Gesetz auffällt, verlässt es sich nicht einzig darauf, sondern enthält Bestimmungen zur Konformitätsbewertung durch notifizierende Stellen und zur Marktaufsicht, sieht Sanktionen vor (bis zu 30 Mio € bzw 6 % des Jahresumsatzes) und schreibt vor, wie KI-Behörden eingerichtet sein sollen. Dennoch, so wird bemerkt (§ 8 Rz 62), ist der verwaltungsrechtliche Teil des KI-Gesetzes „schlank“, der Empfehlung einer Ex-ante-Aufsicht vonseiten der „Expertengruppe“ wird nicht gefolgt, wohl um Aufsichtsbehörden nicht zu überlasten. 325

Das vorletzte Kapitel (§ 9) widmet sich den im KIGesetz adressierten innovationsfördernden Maßnahmen, allen voran sogenannten Reallaboren. Inwieweit diese „die Innovationsfreundlichkeit des Binnenmarktes tatsächlich werden effektuieren können“, kann nicht losgelöst von „delegierten Durchführungsakten sowie von den finanziellen, infrastrukturellen“ ua Rahmenbedingungen beurteilt werden (Rz 32). „Kontinuierliches regulatorisches Lernen“ (Rz 33) ist hier wie sonst angebracht, denn – um mit Niklas Luhmann zu sprechen – das Rechtssystem operiert normativ geschlossen (als Rechtsordnung), bleibt dabei aber im Vollzug von Gesellschaft kognitiv offen; würde es sich seiner sozialen Umwelt verschließen, so würde es seiner Funktion, Erwartungen zu stabilisieren, nicht gerecht werden.

Abschließend findet sich zwar noch ein Kapitel über zivilrechtliche Haftung (§ 10), doch gehen die diesbezüglichen Ausführungen über das KI-Gesetz hinaus. Dennoch sind auch sie relevant, denn sie beziehen sich auf begleitend vorgeschlagene Rechtsakte, die auf dem KI-Gesetz aufbauen.

Insgesamt ist der Untertitel („Rechtsfragen und Compliance“) passend gewählt, die erörterten Fragen sind hochaktuell und das Buch liest sich fast wie ein Gesetzeskommentar, in welches es nach Inkrafttreten des KI-Gesetzes sicherlich ohne größeren Aufwand überführt werden könnte.