Magst du diese "enorme Gefahr" kurz begründen? Aus meiner Erfahrung mit den Flugtauglichkeitsuntersuchungen kann ich das nicht bestätigen.
Im "Mathematik-Kalender" von Harenberg wurde die Gefahr der "Falsch Positiven" bzw. "Falsch Negativen" vor kurzem mit einem ähnlichen Beispiel ganz anschaulich erklärt:
Gesichtserkennung am Bahnhof
In einer Stadt mit einer Millionen Einwohnern wird ein
Kameraüberwachungssystem zur Gesichtserkennung
eingeführt, um gesuchte Terrorverdächtige
zu finden. Das System hat eine Fehlerrate
von 1 %. Was bedeutet das? Wenn das System
einen Verdächtigen erkennt, wird es
die Person in 99 % der Fälle als Treffer
registrieren und in 1 % der Fälle nicht.
Wenn das System aber einen Unverdächtigen
entdeckt, wird die Person in 99 % der
Fälle nicht markiert, in 1 % der Fälle schon.
Wie hoch ist die Wahrscheinlichkeit,
dass eine von diesem System gekennzeichnete
Person einer der gesuchten
Terrorverdächtigen
ist?
Intuitiv, aber – Sie ahnen es – falsch schätzt man die Wahrscheinlichkeit
auf 99 %, dass diese Person terrorverdächtig ist. Und schon
haben Sie einen Prävalenzfehler gemacht, denn Sie haben die
Fehlerrate der Treffererkennung nicht berücksichtigt, die zu sogenannten
Falsch-Positiven führt. In Wirklichkeit liegt die Wahrscheinlichkeit,
dass die markierte Person gesucht wird, näher bei 1 % als
bei 99 %.
Wie kommt man darauf? Wir nehmen an, dass von den 1 Millionen
Einwohnern 999 900 gesetzestreu sind und dass es 100 gesuchte
Terrorverdächtige gibt. Die Anzahl der wahren Positiven, die von
dem Überwachungssystem registriert werden, ist dann 99, die
Anzahl der falschen Positiven liegt dagegen bei 9999. Insgesamt
10 098 Menschen – 9999 Unverdächtige und 99 tatsächlich Verdächtige
– werden einen Terroralarm auslösen. Aufgrund der hohen
Anzahl von Falsch-Positiven beträgt also die Wahrscheinlichkeit,
dass das System einen Terroristen oder eine Terroristin registriert,
nicht 99 %, sondern liegt unter 1 %. Völlig unbrauchbar.
Die Suche in großen Datensätzen nach wenigen Verdächtigen
bedeutet allgemein, dass nur eine geringe Anzahl von Treffern
jemals korrekt sein wird. Dies ist ein hartnäckiges mathematisches
Problem, das sich auch bei verbesserter Genauigkeit nicht vermeiden
lässt. Und das leider auch den Ermittlungsbehörden und politisch
Verantwortlichen nicht hinreichend klar ist.