Transparenz und Nachvollziehbarkeit beim Einsatz von KI-Systemen in der öffentlichen Verwaltung der Freien und Hansestadt Hamburg stärken

Mittwoch, 03.04.2024

Der Einsatz von Künstlicher Intelligenz (KI) in der öffentlichen Verwaltung ist mit vielen Vorteilen verbunden und wird fester Bestandteil unserer Zukunft werden. Ihm und dem damit beispielsweise als Unterfall verbundenem maschinellen Lernen kommt dabei eine besondere Bedeutung zu. Im Rahmen von Automatisierungsprozessen innerhalb der öffentlichen Verwaltung spielt hier der Einsatz von Algorithmen, die entweder menschliche Entscheidungen unterstützen oder menschliche Entscheidungen sogar ersetzen können, eine besondere und aus rechtlicher und ethischer Sicht auch nicht unproblematische Rolle. Selbstlernenden Algorithmen haben die Fähigkeit, mit Problemstellungen umgehen zu können, deren Lösung im System nicht von vornherein klar definiert ist. Dafür nutzen sie ihre vorhandenen und wachsenden Datenbestände, in denen sie Muster und Gesetzmäßigkeiten erkennen und darauf aufbauend nicht vorprogrammierte Lösungen entwickeln.

 

Das Potenzial und die Bandbreite dieser neuen Technologien hat auch der Hamburger Senat erkannt. In der 2020 aktualisierten Digitalstrategie für Hamburg ist festgelegt, “KI als Querschnittstechnologie zu nutzen und ihren humanzentrierten Einsatz bereichsübergreifend zu fördern.“ Inzwischen liegen auch für Hamburg erste Studien zum verantwortungsvollen Umgang mit KI für Kleine und Mittelständische Unternehmen in Hamburg, aber auch für die öffentliche Verwaltung vor, die in Kooperation mit der Behörde für Wirtschaft und Innovation bzw. unterstützt durch die Hamburgische Investitions- und Förderbank entstanden sind.

 

Die Hamburger Verwaltung erprobt derzeit KI zur Unterstützung von datenbasiertem und serviceorientiertem Verwaltungshandeln in geeigneten Bereichen bzw. setzt sie bereits ein. Zu der wohl bekanntesten Anwendung gehört der Chatbot „Frag den Michel!“, der auf Sprachverarbeitung und maschinelles Lernen setzt, um Bürger:innen rund um die Uhr ihre Fragen zu beantworten. Auch bei der Beantwortung von Bürger:innenbriefen kommt maschinelles Lernen zum Einsatz, um Themen besser den zuständigen Behörden zuordnen zu können und damit insgesamt die Beantwortung von Anliegen zu beschleunigen. Ebenso kommen im Landesbetrieb Straßen, Brücken und Gewässer verschiedene Verfahren zum Einsatz, um beispielsweise Planungsprozesse zu unterstützen oder Staus auf den Straßen zu vermeiden. Ebenso wird die Arbeit der Finanzämter bei der Erstellung von Steuerbescheiden bereits durch den Einsatz von automatisierten Systemen unterstützt.

 

Unterstützung bei der Auswahl und Umsetzung von KI- und Automatisierungsinitiativen erhalten die einzelnen Fachbehörden durch das in der Senatskanzlei angesiedelte Amt IT und Digitalisierung.

 

Doch bei allen Vorteilen der sich ergebenden Potenziale dürfen die hiermit verbundenen Risiken nicht vernachlässigt werden. Welche Probleme beim Einsatz KI-gestützter Systeme entstehen können zeigt beispielhaft die sog. Toeslagenaffaire (dt. Kindergeldaffäre) in den Niederlanden. Dort hatte der Staat fälschlicherweise Beihilfen zur Kinderbetreuung zurückgefordert und damit zehntausende Familien in bedrohliche finanzielle Notlagen gebracht. In über 2.000 Fällen wurden Kinder aus den Familien genommen. Ein Aspekt dieses gravierenden Versagens war der Einsatz eines mit diskriminierenden Daten gespeister Algorithmus.

 

Dieses Beispiel zeigt exemplarisch die großen Schwierigkeiten, die beim Einsatz von KI-Systemen entstehen können. Denn auf Algorithmen basierende Lösungen sind per se nicht objektiver oder „besser“ als die von Menschen. Das hat verschiedene Gründe. Dazu kann auch die Voreingenommenheit der ihnen zugrundeliegenden Daten zählen, eine weniger stark ausgeprägte Kontextsensibilität oder mangelnde Transparenz und Nachvollziehbarkeit.

 

Während der Voreingenommenheit mit erhöhter Sensibilität und Problembewusstsein bei Entwicklung und Betrieb solcher Systeme entgegengewirkt werden kann, steht mit Blick auf Transparenz und Nachvollziehbarkeit der Gesetzgeber in besonderer Verantwortung. Diese Herausforderung adressiert auch die Digitalstrategie des Hamburger Senats, die diesen Technikeinsatz unter Vorbehalt stellt: „Entscheidend bleibt dabei, dass der Mensch im Mittelpunkt steht und der Rechtsstaat nicht ausgehöhlt wird. Nicht zuletzt unter Berücksichtigung der Erkenntnisse des Berichts der Datenethikkommission der Bundesregierung strebt auch Hamburg hohe Standards bei der Vermeidung jedweder Diskriminierung durch KI, bei der Gewährleistung der Reife und Transparenz der jeweils eingesetzten Algorithmen sowie Rechtssicherheit im Umgang mit KI an.“ (Drs. 21/19800).

 

Allerdings fehlt es bislang an ausreichenden rechtlichen Rahmenbedingungen, die den Handlungsrahmen des Staates abstecken, um den im Zusammenspiel von Bürokratie und komplexer Technologie entstehenden Risiken entgegenzuwirken. Mit der KI-Verordnung, die am 13. März 2024 mit überwältigender Mehrheit vom EU-Parlament beschlossen wurde, hat sich die EU auf den Weg gemacht, die weltweit erste umfassende Regelung zum Umgang mit KI-Systemen zu initiieren. Um deren zügige Umsetzung zu gewährleisten, um das Vertrauen der Bürger:innen in bereits jetzt im Rahmen der Verwaltung zum Einsatz kommende KI-Anwendungen zu stärken und um die deutschlandweite Vorreiterrolle Hamburgs als digitale Stadt weiter auszubauen lohnt es sich, in eine transparente KI-Infrastruktur zu investieren.

 

Verbraucher:innen erfahren in der Praxis derzeit selten, wenn sie mit algorithmenbasierten Entscheidungssystemen konfrontiert sind und was das bedeutet. Eine gelungene Anwendung der hamburgischen Verwaltung, bei der eine entsprechende Information stattfindet, ist der Chatbot „Frag den Michel!“, der die Nutzer:innen bereits in der Begrüßungsansprache über seine Eigenschaften informiert.

 

Um flächendeckend fehlender Transparenz entgegenzuwirken und um eine effektive Kontrolle der im Einsatz befindlichen Systeme zu gewährleisten, bedarf es beispielsweise einer Verpflichtung zur Offenlegung der vom System genutzten Daten, die es derzeit noch nicht gibt. Gleiches gilt für eine vollumfängliche Einsicht in die angewandten Entscheidungskriterien und ihre Gewichtung. Das wären insgesamt grundlegende Voraussetzungen, um die Nachvollziehbarkeit algorithmenbasierter Entscheidungen und Informationen zu ermöglichen.

 

Weder Betroffene noch Kontrollinstanzen, Behörden, Zivilgesellschaft oder Wissenschaft können derzeit ein systematisches Bild zeichnen, wie es um den Einsatz algorithmenbasierter Entscheidungssysteme in gesellschaftlich relevanten Bereichen – mit potenziellen Auswirkungen auf individuelle Rechte oder kollektive Interessen – steht. Hierdurch wird es schwierig, sowohl für staatliche Prüfungsstellen als auch für Betroffene, beispielsweise Diskriminierungen zu erkennen, sodass Schutzlücken zulasten der Betroffenen entstehen bzw. bereits existieren.

 

Gerade der Einsatz von algorithmenbasierten Systemen durch den Staat muss unter einem besonderen Vorbehalt stehen. Denn anders als in der Interaktion mit Anbietern aus der freien Wirtschaft haben Bürger:innen bei der öffentlichen Verwaltung keine Wahl zwischen verschiedenen Anbietern, sondern sind unausweichlich und alternativlos der zuständigen Verwaltung unterworfen. Behörden haben zudem privilegierte Zugriffe auf sensible personenbezogene Daten, und ihre Entscheidungen haben für die betroffenen Personen weitreichende Folgen.

 

Ohne die entsprechenden Informationen über das System besteht auch seitens des Verwaltungspersonals die Gefahr, dass sie selbst nicht nachvollziehen können, wie und warum algorithmenbasierte Entscheidungen letztlich zustande gekommen sind. Diese Umstände müssen daher bei der fortschreitenden Integration von KI-Leistungen in das öffentliche Verwaltungshandeln Berücksichtigung finden. Das betrifft sowohl die spezifischen rechtlichen Rahmenbedingungen als auch die Gestaltung der Verwaltungsstrukturen, in denen KI, maschinelles Lernen oder algorithmenbasierte Entscheidungssysteme zum Einsatz gelangen.

 

Um die Verwaltung in Hamburg unter den zuvor genannten Prämissen zukunftsfest aufzustellen, bietet es sich an, ein öffentlich einsehbares Algorithmen-Register zu entwickeln, beispielsweise in einem ersten Schritt ähnlich wie es die niederländische Stadt Amsterdam seit kurzem anbietet.

 

Im Hamburger Algorithmen-Register sollte angegeben werden, in welchen Bereichen, in welcher Form, zu welchem Zweck und mit welcher Wirkung algorithmenbasierte Entscheidungssysteme zum Einsatz gelangen, vom wem sie entwickelt und welche Daten in das System eingespeist wurden oder werden. Um die Sensibilität beim Einsatz solcher Systeme zu verbessern sollte zudem angegeben werden, wo mögliche Risiken bestehen und mit welchen Maßnahmen möglichen Diskriminierungen verhindert werden sollen. Da das Register auch der Information von Bürger:innen und Zivilgesellschaft dienen soll, sollte es entsprechend verständlich gestaltet sowie möglichst frei und leicht zugänglich sein.

 

Für den Einsatz algorithmenbasierter Systeme bedarf es parallel dazu einer systematischen und für die Zwecke der Verwaltung geeigneten Variante einer risikobasierten Folgenabschätzung in Bezug auf den Einsatz der Systeme. Zielstellung hier sollte sein, vor und während des Einsatzes der Systeme deren potenziellen Risiken beispielsweise mit Blick auf Grundrechtsverbürgungen, grundsätzliche ethische Fragestellungen oder Fehleranfälligkeit bei Entscheidungen systematisch zu untersuchen und fortschreitend zu evaluieren. Die Ergebnisse dieser Folgenabschätzungen sollten im öffentlich Algorithmen-Register in geeigneter Weise publik gemacht werden, ohne dabei ggf. gegenläufige Interessen wie beispielsweise das Staatswohl zu beeinträchtigen. Nur so kann die gebotene Transparenz sichergestellt und potenzielle Risiken erkannt und minimiert werden.

 

Letztlich sollten generell für alle, beispielsweise im Bereich der Grundrechtsrelevanz, risikoreichen Anwendungen von algorithmenbasierten Entscheidungssystemen erweiterte Informations- und Kennzeichnungspflichten gelten.

 

So sollten Betroffene entsprechender Entscheidungen verpflichtend darüber informiert werden, dass sie mit einem entsprechenden Entscheidungssystem interagieren und entweder unmittelbar darüber informiert werden, von wem das System entwickelt wurde, zu welchem Zweck, auf welcher Datenbasis und wie weitreichend die Entscheidung ist, die dieses System in der Lage ist zu treffen, ob es also beispielsweise lediglich Entscheidungen vorbereitet oder vorstrukturiert oder eigenständige Entscheidungen ohne menschlichen Einfluss trifft. Alternativ könnten entsprechende Verwaltungsvorgänge, zumal wenn sie durch die Freie und Hansestadt Hamburg digital angeboten werden, durch ein entsprechendes Symbol gekennzeichnet werden, über dessen Verlinkung die Bürger:innen unmittelbar zu den relevanten Informationen im Algorithmen-Register weitergeleitet werden. Dennoch braucht es immer auch die Möglichkeit, mit einem Menschen in Kontakt treten zu können, diese Option sollte neben der Kennzeichnung bestehen.

 

Insgesamt kann mit dem Instrument des Registers, dem Instrument der permanenten Folgenabschätzung und dem Instrument der Kennzeichnungspflicht risikoreicher Anwendungen sichergestellt werden, dass Bürger:innen besser vor Fehlentscheidungen und Diskriminierungen durch algorithmische Systeme geschützt werden. Dadurch wachsen Akzeptanz und Vertrauen in die Systeme. Auch die Mitarbeitenden der Verwaltung erlangen so gesicherte Kenntnisse über die Systeme, die in ihrem Verwaltungsalltag zum Einsatz kommen. Insgesamt würde Hamburg damit auch den Forderungen der Datenethikkommission gerecht, denen man sich in der Digitalstrategie im Jahr 2020 verschrieben hat.

 

Da bislang noch keine gesetzlichen Verpflichtungen bestehen, die benannten Instrumente einzuführen, bietet es sich zudem an zu prüfen, ob Hamburg für die eigene öffentliche Verwaltung ein wirksames und effizientes Regulierungsregime entwickeln könnte. Alternativ oder ergänzend sollte sich der Senat in geeigneter Weise dafür einsetzen, dass entsprechende Regelungen oder ein entsprechender Rechtsrahmen geschaffen wird, der die Etablierung der genannten Instrumente beispielsweise auch auf Länderebene zulässt.

 

Die in Hamburg zunächst auf freiwilliger Basis insbesondere für die Bürger:innen etablierten Instrumente könnten dann insoweit als eine Blaupause für den notwendigen rechtlichen Regelungsrahmen dienen. Zum wiederholten Male würde Hamburg so seine Vorreiterrolle in Deutschland im Bereich der Digitalisierung positiv unterstreichen.

 

Die Bürgerschaft möge daher beschließen:

Der Senat wird ersucht,

 

1. zu prüfen, in welcher Form

a. das Instrument eines Algorithmen-Registers eingeführt werden kann, in dem Sinne, dass es für Bürger:innen verständlich beschrieben wird,

b. eine systematische und für die Zwecke der Verwaltung geeignete risikobasierte Folgenabschätzung vor und während des Einsatzes algorithmenbasierter Systeme gewährleistet und deren Ergebnis veröffentlicht werden kann,

c. eine unmittelbare Kennzeichnungs- und Informationspflicht risikoreicher Anwendungen algorithmenbasierter Systeme im Wege der freiwilligen Selbstverpflichtung umgesetzt werden kann und dabei auch die für Hamburg angefertigten Studien zu berücksichtigen,

d. der Code von algorithmenbasierter Systemen im Sinne von Open Source, Sicherheit und Transparenz veröffentlicht werden kann;

2. zu prüfen, ob und in welcher Form entsprechende Regulierungsansätze für die öffentliche Verwaltung der Freien und Hansestadt Hamburg etabliert werden können;

3. sich auf Bundesebene für einen entsprechenden gesetzlichen Regelungsrahmen für den Einsatz algorithmenbasierter Systeme in der öffentlichen Verwaltung einzusetzen und die dazu erforderlichen Ressourcen bereitzustellen, und

4. der Bürgerschaft bis zum 31. August 2024 zu berichten.