In unserer Blogserie über ethische Datenanalyse haben wir die folgenden Themen behandelt:
Ethische Probleme durch datengesteuerte Entscheidungen.
Daraus resultierende Herausforderungen für Unternehmen, Verbraucher und Gesellschaft.
Strategien, um diesen Problemen zu begegnen.
Im dritten und letzten Teil dieser Reihe geht es darum, wie man ethische Risiken bei der Datennutzung komplett vermeiden oder zumindest reduzieren kann.
Der IG&H Ethical Risk Quick Scan ist ein Tool zur schnellen Bewertung möglicher ethischer Risiken schon vor dem Projektstart. Er wurde speziell zur Anwendung in der Initialphase von Projekten entwickelt, in der es noch viele unbekannte Faktoren gibt. So können die ethische Risikodimension und die Komplexität eines Projekts durch Priorisierung der Anwendungsfälle und eine entsprechende Herangehensweise berücksichtigt werden.
Sobald das Projekt angelaufen ist, kann das Team die Daten, die Funktionsweise des Modells und die Implementierungsanforderungen besser verstehen und das Ethical Risk Quick Scan Framework einsetzen. Es beinhaltet Bewertungsdimensionen, detailliertere Kontrollfragen und mögliche Lösungen.
Unser Framework basiert auf vier Dimensionen und richtet den ethischen Kompass der Teams aus. [1] Im Gegensatz zum Quick Scan, der vor Projektbeginn eingesetzt wird, eignet es sich für den gesamten Projektlebenszyklus.
Wir haben jede Dimension mit Fragen und Beispielen für Risikominimierung konkretisiert [2]. Zunächst veranschaulichen wir die Anwendung des Frameworks anhand eines Fallbeispiels, anschließend stellen wir eine Tabelle mit Fragen und Lösungsbeispielen bereit.
Ethische Beratung in der Praxis: Fallbeispiel Taxiunternehmen
Erinnern Sie sich noch an unser Taxiunternehmen, das die Fahrten seiner Angestellten digital auswerten wollte? Es plante ein Modell, mit dem die Leistung der Fahrer bewertet und deren individuelle Vergütung automatisch angepasst werden kann. Dieses Beispiel spiegelt typische Kundenanforderungen, beruht aber nicht auf einem realen Fall.
Als wir vor Projektbeginn den Quick Scan einsetzten, zeigten sechs der acht Kategorien ein mittleres bis hohes Risiko. Es ist daher nicht verwunderlich, dass wir bei der Entwicklung eines automatischen Bewertungs- und Entscheidungsmodells [3] für das Unternehmen auf diverse ethische Herausforderungen stießen:
Sicherheit
Der Quick Scan warnte uns vor dem Risiko, dass durch das Fehlen einer menschlichen Instanz entsteht. Das ist deshalb kritisch, weil das Modell eine wichtigen Aspekt im Leben der Fahrer beeinflusst – ihre finanzielle Situation. Eine Abnahme der Modell-Genauigkeit, etwa durch Modelldrift oder Schwankungen der Datenqualität, würde erst auffallen, wenn Fahrer sich über sinkende Vergütungen beschweren. Mit Blick auf die Dimension „Sicherheit“ innerhalb unseres Frameworks haben wir zwei Lösungsansätze bzw. Maßnahmen implementiert: eine Sensitivitätsanalyse und ein statistisches Monitoring des vom Modell genierten In- und Outputs.
Fairness
Im Quick Scan haben wir ein mittleres Risiko für Verzerrungen in den Daten identifiziert. Dies erfordert möglicherweise zusätzliche Anstrengungen, um die Fairness im Sinne des Frameworks sicherzustellen. Bei der Analyse der Modell-Testergebnisse stellten wir fest, dass weibliche Fahrer signifikant besser bewertet wurden als männliche Fahrer [4].
An diesem Punkt mussten wir prüfen, ob das Modell bei der Bewertung versehentlich geschlechtsspezifisch verzerrt war [5]. Nach sorgfältiger Prüfung des Sacherhalts kamen wir zu dem Schluss, dass das Modell gültige, objektive Merkmale für die Bewertung verwendet, und dass weibliche und männliche Fahrer für das gleiche Fahrverhalten die gleiche Punktzahl erhalten. Gemeinsam mit dem Taxi-Unternehmen haben wir daher beschlossen, dass keine Änderungen erforderlich und dies für künftige Referenzen dokumentiert.
Transparenz
Wie wir im Quick Scan gesehen haben, stellt die Beeinflussung konkreter Lebensumstände – in diesem Fall die finanzielle Situation der Fahrer – einen Risikofaktor dar. Bei Finanzdienstleistungen könnte dies beispielsweise Kreditzusagen und -konditionen betreffen, im Gesundheitswesen den Zugang zu bestimmten Behandlungen oder Methoden.
Das Modell kann zudem das persönliche Verhalten beeinflussen – was wir in diesen Fall als mittleres Risiko einschätzen. Ein Fahrer könnte sich aus finanziellen Gründen dazu gedrängt fühlen, Fahrten durchzuführen, die ihm anderenfalls zu gefährlich erschienen.
Ein möglicher Lösungsansatz sieht vor, den Taxifahrern das Modell zu erklären. Dazu muss geregelt sein, wie auf Fragen reagiert wird. Zudem stellen wir gemeinsam mit dem Auftraggeber und seiner Personalabteilung sicher, dass die Auswirkungen des Modells auf Vergütung und Fahrverhalten überwacht werden. Auf diese Weise kann das Taxi-Unternehmen die Klarheit und Transparenz innerhalb dieses Prozesses gewährleisten und unbeabsichtigten Effekten entgegenwirken.
Wir möchten an dieser Stelle auch erwähnen, dass stets ein Unternehmensvertreter definiert werden sollte, der für die Auswirkungen eines Entscheidungsmodells auf die Mitarbeiter und das Geschäft verantwortlich ist. Im konkreten Fall war dies der COO.
Datenschutz
Der Datensatz des Taxi-Unternehmens enthielt Standortdaten der Fahrzeuge, die sich in Kombination mit anderen, öffentlich zugänglichen Daten zur (Re-)Identifizierung von Personen eignen. Andere sensible, personenbezogene Daten wie „Geschlecht“ und „Alter“ wurden nicht berücksichtigt, um unerwünschte Verzerrungen zu vermeiden. Wir behielten sie dennoch im Datensatz, um die Fairness des Modells testen zu können. Die Mitarbeiter sollten darauf vertrauen können, dass ihre Privatsphäre respektiert wird und ihre personenbezogenen Daten sicher verarbeitet und gespeichert werden. Deshalb führen wir eine Datenschutz-Folgenabschätzung durch und wenden innerhalb des Unternehmens alle technischen und betrieblichen Maßnahmen an, um den Schutz der Daten zu gewährleisten.
IG&H: Ethik im Fokus
Unser Fall zeigt, dass Datenethik viele potenzielle Probleme vermeidet oder entschärft. Wir bei IG&H widmen ethischen und wirtschaftlichen Aspekte die gleiche Aufmerksamkeit – und wissen, dass dies auch für unsere Kunden gilt. Die scheinbaren Gegensätze ins Gleichgewicht zu bringen, ist einer der faszinierenden Aspekte unserer täglichen Arbeit.
Da die ethischen Aspekte eines Datenprojekts auf den ersten Blick oftmals weniger offensichtlich sind als die wirtschaftlichen, haben wir einen Leitfaden entwickelt. Das unseren Kunden dabei helfen, ihrem moralischen Kompass zu folgen und entsprechende Maßnahmen zu ergreifen. So kann jedes Unternehmen die Vorteile von Daten und KI auf sichere und faire Weise nutzen.
Kontakt
Mando Rotman
Authoren
Tom Jongen
Floor Komen
[1] Die SFTP-Leitlinien wurden von IG&H aus einer Metastudie über 36 prominente AI-Prinzipiendokumente extrahiert.
[2] Das Gebiet der Datenethik entwickelt sich rasch weiter– das gilt auch für unser Framework. Wenn wir auf neue relevante Themen stoßen, werden weitere Kontrollfragen und Lösungen hinzugefügt.
[3] Ein solches Modell würde in der kommenden KI-Regulierung als „KI-System mit hohem Risiko“ bezeichnet werden.
[4] Wir haben die Variable "Geschlecht" nicht im Modell selbst verwendet, sondern sie zu Validierungszwecken im Datensatz belassen. So wurden sensible Daten für ein Modell gesammelt, was aber lediglich dazu diente, der Sensibilität dieser Daten gerecht zu werden.
[5] Selbst wenn die Ungleichheit in einem Modell nicht das Ergebnis einer Verzerrung ist, gibt es gute Gründe, derartige Ungleichheiten zu beseitigen. Wir haben uns entschieden, dies in diesem Artikel nicht zu behandeln, weil Verzerrungen bzw. Ungleichheiten ein gutes Thema für einen eigenen Artikel wären.
Bình luận