Wissensraum · Deep Dive 22

Hochrisiko-KI unter dem AI Act

Wer klassifiziert, was es kostet — und warum die Grenze zwischen Hochrisiko und nicht-Hochrisiko eine Bewertungsfrage ist

20 Min Regulierung AI Act
Deep Dive 22 von 27

Was dieser Deep Dive zeigt

Wie die Hochrisiko-Klassifizierung unter dem AI Act funktioniert, wer entscheidet und wie die Entscheidung Kosten, Compliance und Marktzugang beeinflusst. Die Antwort auf eine Klassifizierungsfrage kostet sechsstellig – und ist häufig umstritten.

RegulierungEU AI Act
ThemaHochrisiko-Klassifizierung, Annex III, Konformitätsbewertung, Compliance-Kosten
KernfrageFällt Ihr KI-System in die Hochrisiko-Kategorie – und was bedeutet das konkret?
RelevanzCTO, Produktmanagement, Compliance, Investoren, M&A
ReferenzAI Act Art. 6, 9, 43, Annex I, Annex III

Die Hochrisiko-Klassifizierung ist die teuerste binäre Frage im AI Act. Dieser Deep Dive erklärt, wer sie beantwortet, nach welchen Kriterien – und was die Einstufung für Kosten, Compliance und Marktzugang bedeutet.

1. Das Klassifizierungssystem des AI Act

Der AI Act folgt einem risikobasierten Ansatz mit vier Stufen:

Verboten (Art. 5): Systeme, die eine unzulässige Gefahr für die Grundrechte darstellen. Beispiele: Social Scoring, gezielte emotionale Manipulation, biometrische Echtzeit-Kategorisierung im öffentlichen Raum zu Überwachungszwecken.

Hochrisiko (Art. 6 + Annex III): Systeme, die ein erhebliches Risiko für Gesundheit, Sicherheit oder Grundrechte darstellen. Hohe Compliance-Anforderungen: Risikomanagementsystem, Daten-Governance, technische Dokumentation, Konformitätsbewertung, Post-Market-Monitoring.

Begrenztes Risiko (Art. 50): Systeme, die mit Menschen interagieren oder deren Ergebnisse verbreitet werden. Transparenzpflichten: Kenntlichmachung, Informationen über KI-Nutzung.

Minimales/kein Risiko: Alle anderen Systeme. Keine spezifischen AI-Act-Pflichten.

Einordnung

Die Hochrisiko-Frage ist keine technische, sondern eine regulatorische. Dasselbe neuronale Netz kann Hochrisiko sein oder nicht – abhängig davon, wofür es eingesetzt wird. Ein Bildklassifizierungsmodell als Sicherheitskomponente eines Produkts? Hochrisiko. Dasselbe Modell zur Analyse von Verwaltungsdokumenten? Möglicherweise nicht.

Art. 6 definiert zwei Wege zur Hochrisiko-Einstufung:

(a) Sicherheitskomponenten: Das KI-System ist Sicherheitskomponente eines Produkts, das unter EU-Harmonisierungsvorschriften fällt (Annex I). Beispiele: KI zur Qualitätskontrolle in der Maschinensicherheit (Maschinen-VO 2006/42/EG), in medizinischen Geräten (MDR 2017/745), in Spielzeug (Spielzeug-RL 2009/48/EG), in Aufzügen (Aufzüge-VO 2014/33/EU).

(b) Eigenständige Hochrisiko-Bereiche: Das KI-System fällt unter einen der acht in Annex III definierten Hochrisiko-Bereiche.

2. Annex III – Die acht Hochrisiko-Bereiche

Annex III listet acht Kategorien auf, in denen KI-Systeme als Hochrisiko eingestuft sind:

(1) Biometrische Identifizierung und Kategorisierung: KI-Systeme zur Erkennung, Verifizierung oder Kategorisierung von Personen anhand biometrischer Daten (Gesicht, Iris, Fingerabdruck, Stimme, Gang). Dies ist einer der präzisesten und restriktivsten Bereiche. Echtzeit-Biometrie im öffentlichen Raum ist praktisch verboten (Art. 5); andere biometrische KI muss in den eng gesteckten Hochrisiko-Rahmen passen.

(2) Kritische Infrastruktur: KI-Systeme zur Überwachung und Steuerung von Wasser-, Gas-, Strom- und Wärmeversorgung sowie Verkehrs- und Digitalinfrastrukturen. Beispiel: Predictive-Maintenance-System für Stromnetzregelung.

(3) Bildung und Berufsausbildung: KI-Systeme, die über Zugang zu Bildungs- oder Berufsausbildungsprogrammen entscheiden oder den Lernfortschritt überwachen. Beispiel: Zulassungssystem für Universitäten oder Bewertung von Schülerleistungen.

(4) Beschäftigung und Personalmanagement: KI-Systeme für Einstellung, Bewerberauswahl, Bewerberranking, Leistungsbeurteilung, Kündigung, Arbeitszuteilung und Bearbeitung von Beschwerden. Dies ist einer der praktisch relevantesten Bereiche: HR-Tech ist verbreitet, und die Grauzone ist groß.

(5) Zugang zu wesentlichen privaten und öffentlichen Dienstleistungen: KI-Systeme, die über Zugang zu Dienstleistungen entscheiden oder deren Bedingungen festlegen: Kreditvergabe, Versicherung, Wohnungsmiete, Sozialleistungen. Beispiel: KI zur Bonitätsprüfung oder Versicherungstarifierung.

(6) Strafverfolgung: KI-Systeme, die als Überwachungsinstrument oder zur Risikobeurteilung in Strafverfahren verwendet werden. Beispiel: Systeme zur Risikovorhersage für Wiederholungstatäter.

(7) Migration, Grenz- und Asylkontrolle: KI-Systeme, die zur Bearbeitung von Migrations-, Asyl- oder Zulassungsanträgen verwendet werden oder zur Risikobeurteilung dienen.

(8) Rechtspflege und demokratische Prozesse: KI-Systeme, die zur Unterstützung von Gerichtsverfahren oder zur Beeinflussung von Wahlentscheidungen oder Abstimmungen dienen.

Aber: Art. 6 Abs. 3 schafft eine Ausnahmeklausel, die entscheidend ist. Ein System ist NICHT Hochrisiko, wenn:

Es keine «erhebliche Gefahr» für Gesundheit, Sicherheit oder Grundrechte darstellt UND eine der folgenden Bedingungen erfüllt:

(a) unterstützende Funktion: Das System hat nur eine unterstützende Funktion (z.B. vereinfacht die Suche, filtert vorhandene Ergebnisse);

(b) Verbesserung: Das Ergebnis verbessert das Ergebnis einer vorherigen nicht-KI-Entscheidung;

(c) Mustererkennung ohne Bewertung: Das System erkennt nur Muster ohne Personen zu bewerten;

(d) Vorbereitung: Das System bereitet nur eine Aufgabe vor, die in einem anderen Hochrisiko-System beurteilt wird.

Diese Ausnahme (Art. 6 Abs. 3) ist die entscheidende Grauzone. Sie schafft einen Argumentationsspielraum, den Provider nutzen – und den Aufsichtsbehoerden eng auslegen können.

3. Wer entscheidet über die Klassifizierung?

Selbstklassifizierung: Der AI-Provider stuft sein System selbst ein. Es gibt keine Behörde, die vorab genehmigt oder den Klassifizierungsprozess validiert. Der Provider entscheidet unilateral.

Nachträgliche Überprüfung: Die Marktüberwachungsbehörden (in Deutschland: die Bundesnetzagentur als AI Office) können nachträglich feststellen, dass ein System falsch klassifiziert wurde. Dann folgen Korrekturverfügungen, Bußgelder und möglicherweise Marktrücknahme.

Konformitätsbewertung: Bei Hochrisiko muss der Provider vor Markteinführung eine Konformitätsbewertung durchführen und dokumentieren. Diese kann entweder:

Intern (Art. 43 Abs. 2): Der Provider führt die Bewertung selbst durch (die meisten Fälle). Dokumentation bleibt intern, wird aber bei Audits geprüft.

Durch Dritte (Art. 43 Abs. 1): Ein notifizierter Dritter oder eine notifizierte Stelle führt die Bewertung durch (biometrische Systeme, bestimmte Annex-I-Produkte). Dies ist teurer, aber rechtssicherer.

Die Selbstklassifizierung ist gleichzeitig Freiheit und Risiko. Wer sein System falsch einstuft, spart kurzfristig Compliance-Kosten – und riskiert langfristig Marktrücknahme, Bußgelder und Reputationsschaden.

4. Die Kosten der Hochrisiko-Einstufung

Dimension Hochrisiko Nicht-Hochrisiko
Risikomanagementsystem Pflicht (Art. 9) Freiwillig
Daten-Governance Pflicht (Art. 10) Keine spezifischen Anforderungen
Technische Dokumentation Umfangreich (Art. 11 + Annex IV) Minimal
Aufzeichnungspflichten Automatisches Logging (Art. 12) Keine
Transparenz Gebrauchsanweisung für Deployer (Art. 13) Nur bei Interaktion mit Personen (Art. 50)
Menschliche Aufsicht Designpflicht (Art. 14) Keine
Konformitätsbewertung Pflicht (Art. 43) Nicht erforderlich
Registrierung EU-Datenbank (Art. 49) Nicht erforderlich
Post-Market-Monitoring Pflicht (Art. 72) Keine
Geschätzte Kosten 200.000–500.000 EUR+ Minimal

Einordnung

Für ein Startup ist der Unterschied zwischen Hochrisiko und Nicht-Hochrisiko möglicherweise der Unterschied zwischen Marktfähigkeit und Insolvenz. Für einen Investor ist er der Unterschied zwischen einer Bewertung mit und ohne regulatorisches Risiko.

5. Hochrisiko als M&A- und Bewertungsfrage

Due Diligence: In M&A-Prozessen ist die Klassifizierungsfrage ein Pflichtpunkt. Ist das KI-System des Zielunternehmens korrekt klassifiziert? Falls nein: Nachklassifizierung = nachträgliche Compliance-Kosten, die in keiner Integrationsprognose standen.

Bewertungsimplikation: Hochrisiko-Einstufung erhöht laufende Compliance-Kosten (Personal, Dokumentation, Monitoring) und Markteintrittszeit. Ein Investor kalkuliert diese Kosten in die EBITDA-Prognose ein – und diskontiert entsprechend ab.

Risiko der Umklassifizierung: Die größte Gefahr liegt in nachträglicher Umklassifizierung durch Aufsichtsbehoerden. Wenn die Regulatoren eine andere Einstufung vornehmen, entstehen Kosten, die in keiner Projektion standen. Das ist ein nicht-quantifizierbares Tail Risk.

Indikative Bewertungsabschläge: Laut Whitepaper-Analyse liegen die Bewertungsabschläge bei AI-Act-Defiziten bei 5–25%, abhängig von Sektor und Schwere. Im schlimmsten Fall (falsche Klassifizierung, bekannt geworden) können es 30–50% sein.

6. Fallstudie

Fallstudie · Die Grauzone

Ausgangssituation

Ein deutsches HR-Tech-Startup entwickelt ein KI-gestütztes Tool zur Vorauswahl von Bewerbungen. Das System analysiert Lebensäufe, Qualifikationen, Berufserfahrung und erstellt automatische Kandidaten-Rankings. Der Provider klassifiziert das System als Nicht-Hochrisiko.

Begründung der Klassifizierung

Argument: Das System hat eine «unterstützende Funktion» (Art. 6 Abs. 3 lit. a). Die finale Personalentscheidung trifft der Mensch. Das System ist ein Filter, kein Entscheider.

Series-B-Prozess

Der Investor beauftragt in der Due Diligence eine externe rechtliche Prüfung. Das Ergebnis ist unbequem: Das System fällt unter Annex III Nr. 4 (Beschäftigung – «KI zur Bewertung von Bewerbern»). Die Art. 6-Abs. 3-Ausnahme greift wahrscheinlich NICHT, weil das Ranking die menschliche Entscheidung de facto vorstrukturiert und der Rekrutierer faktisch selten gegen das Top-Ranking vorgeht.

Konsequenz

Das System hätte als Hochrisiko klassifiziert werden müssen. Nachzuhölung kostet ca. 350.000 EUR (internes Risikomanagementsystem, Daten-Governance, technische Dokumentation, Konformitätsbewertung). Zeitverzögerung: 6 Monate. Der Investor diskontiert die Runde um 15–20% oder zieht sich zurück.

Warum das typisch ist

Viele Provider nutzen Art. 6 Abs. 3 als Fluchtpunkt. Die Ausnahmeklausel ist aggressiv interpretierbar – besonders bei Systemen, die «unterstützend» oder «informativ» erscheinen. Aber Regulatoren und Investoren sehen das anders: Wenn das System ein Ranking erzeugt, das faktisch Entscheidungen trifft, ist es nicht unterstützend – es ist entscheidend.

7. Praxis-Box: Zwei Fragen für die nächste Board-Sitzung

Praxis-Impuls

(1) Haben wir für jedes KI-System eine dokumentierte Klassifizierungsentscheidung – einschließlich der Begründung, warum es KEIN Hochrisiko ist? Falls die Antwort «die Systeme sind implizit klassifiziert» oder «das ist offensichtlich, weil...» lautet: Das ist eine Ausfallstelle.

(2) Haben wir bewertet, was passiert, wenn eine Aufsichtsbehoerde diese Entscheidung anders sieht? Was kostet eine Nachklassifizierung? Wie lange däuert die Umstellung? Gibt es Due-Diligence-Risiken? Wer trägt das Risiko?

Diese zwei Fragen sind nicht paranoid. Sie sind Due Diligence. Wer sie nicht beantworten kann, hat ein nicht-dokumentiertes Risiko in seiner Compliance-Architektur.

Was bleibt

1

Die Hochrisiko-Klassifizierung ist eine Bewertungsfrage mit sechsstelligen Kostenfolgen. Provider klassifizieren selbst – aber Aufsichtsbehoerden können widersprechen. Eine falsche Einstufung ist keine Compliance-Verstöße, sondern ein Geschäftsrisiko.

2

Art. 6 Abs. 3 schafft eine Grauzone. Die Ausnahme von der Hochrisiko-Einstufung ist argumentativ nutzbar, aber nicht rechtssicher. Wer sie nutzt, braucht eine dokumentierte, prüfbare Begründung – nicht nur eine Vermutung.

3

Für Investoren ist die Klassifizierungsfrage ein Due-Diligence-Pflichtpunkt. Falsche Einstufung = nachträgliche Compliance-Kosten, erhöhte Markteintrittszeit und Reputationsrisiko. In M&A-Prozessen ist ein Klassifizierungs-Audit mittlerweile Standard.

4

Die Kosten der Hochrisiko-Compliance sind planbar. Die Kosten einer nachträglichen Umklassifizierung nicht. Wer zu Beginn richtig klassifiziert, spart Integrationskosten und Bewertungsabschläge.

Weiter vertiefen

← Deep Dive 21Alle Deep DivesDeep Dive 23 →
← Wissensraum