Drei Regierungen benutzen dieselbe Software, um zu entscheiden, wer Sie sind. Ich habe jede von ihnen gefragt, wie oft sie damit falschliegt. Keine konnte es mir sagen.
Im Juni habe ich dieselbe Frage in zwei Sprachen an drei nationale Institutionen auf drei Kontinenten geschickt. Die Frage war einfach. Wenn Ihre Software entscheidet, dass zwei Datensätze zur selben Person gehören, wie oft liegt sie falsch?
Das Justizministerium in London antwortete am 15. Juli. Das Australian Bureau of Statistics antwortete am 8. September. Das Statistische Bundesamt antwortete am 26. August. Alle drei bestätigten, dass sie eine probabilistische Record-Linkage-Bibliothek namens Splink verwenden. Alle drei lehnten es auf unterschiedliche Weise ab, eine Zahl zu nennen.
Die Unterschiede zwischen den drei Ablehnungen sind die Geschichte.
Splink ist eine quelloffene Python-Bibliothek, gebaut von einem Team im britischen Justizministerium. Sie setzt ein Verfahren um, das Statistiker seit 1969 verwenden, das Fellegi-Sunter-Modell. Aus zwei Datensätzen mit Name, Geburtsdatum, Adresse und vielleicht Geschlecht berechnet sie für jedes Feld ein Gewicht, addiert diese und erzeugt eine Wahrscheinlichkeit dafür, dass die Datensätze denselben Menschen beschreiben. Oberhalb eines Schwellenwerts werden die Datensätze zusammengeführt. Darunter nicht.
Es ist gute Software. Sie ist schnell, gut dokumentiert und kostenlos. Deshalb hat sie sich verbreitet. Das australische Papier, das ihre Einführung empfahl, beschreibt einen Spine-Aufbau, der nach der alten Methode 73 Tage dauerte und mit Splink 1.5 Tage. Das Statistische Bundesamt nutzte sie für den Testlauf seines registergestützten Zensus 2031. In Großbritannien läuft sie im Echtbetrieb innerhalb des Justizsystems.
Nichts davon ist das Problem. Das Problem ist, was nach dem Schwellenwert kommt.
Jede probabilistische Verknüpfung erzeugt zwei Arten von Fehlern. Eine falsche Übereinstimmung führt zwei verschiedene Menschen zu einem Datensatz zusammen. Eine verpasste Übereinstimmung lässt einen Menschen in zwei geteilt zurück. Die Raten beider Fehler sind die wichtigste einzelne Tatsache über jedes Verknüpfungssystem, denn sie sagen einem, wie viele Menschen falsch identifiziert werden. Das Verfahren ist so angelegt, dass sich diese Raten schätzen lassen. Splink bringt für genau diesen Zweck Evaluationswerkzeuge mit.
Ich habe jede Institution nach den Raten gefragt. Das kam zurück.
Der eigene Transparenzeintrag des MoJ besagt, dass Splink ein Core Person Record in Echtzeit betreibt, das Personen über Gerichte, Gefängnisse und Bewährungshilfe hinweg verknüpft, darunter die Fallverwaltungssysteme DELIUS, NOMIS, Common Platform, LIBRA, FamilyMan und CaseMan. Ein Pilotprojekt gibt auf Grundlage dieser Verknüpfungen Police-National-Computer-Nummern an die Polizei weiter. Von den drei Systemen in diesem Text ist es das einzige, bei dem eine falsche Antwort unmittelbare operative Folgen für eine namentlich benannte Person hat.
Mein Antrag (Aktenzeichen 260616044) verlangte fünf Dinge: die Governance-Dokumente, die Modellkonfiguration, den Entscheidungsschwellenwert, die beobachteten Fehlerraten und den Punkt, an dem ein Mensch eine Übereinstimmung prüft.
Die Antwort des Ministeriums beginnt mit dem Satz “Wir können bestätigen, dass das MoJ über die von Ihnen angeforderten Informationen verfügt.”
Dann lehnte es die Herausgabe der Datenschutz-Folgenabschätzung nach Section 31 des Freedom of Information Act ab, der Ausnahme für die Verhütung und Aufklärung von Straftaten. Für die Modellkonfiguration, den Schwellenwert und die Fehlerleistung berief es sich auf Section 21, bereits zumutbar zugängliche Informationen, und gab für alle drei denselben GitHub-Link an.
Das Repository enthält Modelldateien. Modelldateien beschreiben, was das Modell über Namen, Daten und Adressen annimmt. Sie enthalten keine beobachtete Fehlpaarungsrate und können sie auch nicht enthalten, denn diese ist eine Messung, die nach dem Lauf des Modells erfolgt. Entweder besitzt das Ministerium diese Messung an anderer Stelle als im Repository, dann war Section 21 die falsche Ausnahme, oder es besitzt keine solche Messung, dann wäre die richtige Antwort “nicht vorhanden” gewesen, und der erste Satz des Schreibens ist falsch. Ich habe dazu eine interne Überprüfung beantragt. Eine Antwort steht Mitte September an.
Das Schreiben gab von sich aus drei Dinge preis, die mir vorher nicht gesagt worden waren. Bei der ersten Zusammenführung von Datensätzen gibt es keine Prüfung durch Sachbearbeiter. Ein Datensatz kommt erst dann in eine Prüfwarteschlange, wenn er bereits verknüpft wurde und später unter eine “Bruchschwelle von 18” fällt. Und, in den Worten des Ministeriums: “Es gibt keine Beschwerdeverfahren speziell für Splink selbst, da Splink nicht unmittelbar Entscheidungen über Einzelpersonen trifft.”
Der Ablauf ist also: Die Software führt zwei Datensätze zusammen, ohne dass ein Mensch hinsieht; die Zusammenführung wird in Abläufen von Gerichten und Bewährungshilfe genutzt; sie kann an die Polizei weitergegeben werden; und wenn sie falsch ist, gibt es keinen Beschwerdeweg gegen die Software, weil die Software als etwas gilt, das nichts entschieden hat.
Der ABS Person Linkage Spine führt drei nationale Datenbestände zusammen: das Medicare Consumer Directory, die Sozialleistungsdatei DOMINO von Centrelink und Einkommensteuerdaten des Australian Taxation Office. Der Stand von Juni 2025 umfasst 39.87 Millionen Menschen und war der erste, der Splink verwendete. Er gehört zum Person Level Integrated Data Asset, PLIDA, der Grundlage eines großen Teils der australischen Sozialforschung.
Mein Antrag (Aktenzeichen FOI2025-26_87) verlangte dasselbe. Das ABS gab zwölf Dokumente heraus, sechs teilweise, vier vollständig, und verweigerte zwei.
Bei den Fehlerraten war es deutlich. “Das ABS teilt mit, dass Falsch-Positiv- und Falsch-Negativ-Raten für den Person Linkage Spine nicht gemessen werden.”
Die freigegebenen Dokumente machen es schwer, diesen Satz wohlwollend zu lesen.
Dokument 8 ist das interne Papier, das das Methodology Design Committee des Bureau im Dezember 2024 dazu brachte, Splink zu befürworten. Es führt als einen Hauptgrund für den Wechsel von deterministischer zu probabilistischer Verknüpfung an, dass “ein probabilistisches Modell es uns erlaubt, ohne Umwege Schätzungen der Precision zu erhalten (des Anteils aller Verknüpfungen, die echte Verknüpfungen sind).” Und weiter: Geschätzte Übereinstimmungswahrscheinlichkeiten seien “besonders nützlich, wenn keine Ground-Truth-Daten vorliegen (das ist bei ABS-Verknüpfungen der Fall), weil sie die Berechnung mehrerer Schlüsselkennzahlen ermöglichen (etwa Precision und Recall).” Es warnt, “die Modellspezifikation und womöglich eine Form der Kalibrierung der geschätzten Übereinstimmungswahrscheinlichkeiten ist unerlässlich, um verzerrte Schätzungen zu vermeiden.”
Dokument 3, eine Präsentation vom Juni 2024 für das Data Integration Program Board, enthält einen Zeitplanpunkt für Juni bis Dezember 2024: “Qualitätsmaße aus Splink-Ausgaben entwickeln, um die künftige Qualitätssicherung der Verknüpfung zu unterstützen.”
Dokument 10 ist die Methoden- und Qualitätsbewertung vom Oktober 2025 für den Spine von Juni 2025. Es berichtet Verknüpfungsraten, fehlende Werte und Dublettenraten. Auf seinen 24 Seiten berichtet es nirgends eine Falsch-Positiv- oder Falsch-Negativ-Schätzung.
Die Schwellenwerte berichtet es sehr wohl. Verknüpfungen der Stufe 1 verlangen eine Übereinstimmungswahrscheinlichkeit über 0.99. Verknüpfungen der Stufe 2, rund 500,000 über die drei Datenbestände hinweg, werden ab einem Übereinstimmungsgewicht von 1.5 akzeptiert. Nach Splinks Standarddefinition entspricht ein Übereinstimmungsgewicht von 1.5 einer Posterior-Wahrscheinlichkeit von etwa 74 Prozent. Wenn das Modell auch nur annähernd kalibriert ist, was das eigene Papier des Bureau für unerlässlich hält, dann wäre zu erwarten, dass etwa jede vierte Verknüpfung der Stufe 2 falsch ist, und niemand prüft das nach. Das Dokument sagt, der Schwellenwert “wurde validiert, indem auf dieser Höhe gebildete Verknüpfungen überprüft wurden.” Eine Prüfung dieser Art ergibt eine Zahl echter und falscher Verknüpfungen. Eine solche Zahl wurde nicht herausgegeben.
Die Governance-Protokolle liefern den Ton dazu. Im Aufsichtsgremium vom Juni 2024 merkte ein Mitglied an, 98 Prozent der Splink-Verknüpfungen stimmten mit der alten Methode überein, und fragte, was in den übrigen 2 Prozent stecke, ob das “in einem bestimmten Bereich stark verzerrt” sei und ob “eine Verzerrungskorrektur erforderlich” sei. Ein anderes Mitglied sagte, es halte eine Genehmigung für einen Methodenwechsel nicht für nötig, und regte an, das Bureau “könnte einen Methodenwechsel bekannt machen, ohne öffentliche Beunruhigung auszulösen.” Zur Frage der Einbindung der Öffentlichkeit lautete die protokollierte Empfehlung “informieren statt konsultieren.”
Die beiden zurückgehaltenen Dokumente enthalten laut Bescheid “detaillierte Informationen über interne statistische Qualitätssicherung und operative Bewertungsprozesse.” Verweigert wurden sie nach Section 47G des FOI Act, der Ausnahme für die Geschäftsangelegenheiten einer Person oder Organisation. Die Organisation, deren Geschäftsangelegenheiten das Bureau schützt, ist das Bureau.
Das Statistische Bundesamt führte einen Methodentest Bevölkerung durch, nach dem Registerzensuserprobungsgesetz, als Vorbereitung auf den Zensus 2031, der aus Verwaltungsregistern statt aus einem Fragebogen aufgebaut werden soll. Meine Anfrage wurde als Antrag nach dem Informationsfreiheitsgesetz erfasst (Aktenzeichen A31-210-26).
Das Amt bestätigte, dass Splink verwendet wurde. Zu den Schwellenwerten erklärte es, pro Suchraum seien zwei Grenzwerte gesetzt worden, pro Datenquelle gebe es mehrere Suchräume, und es sei “nicht sinnvoll”, einen davon zu nennen. Zur Zahl der Datensätze, die nicht verknüpft werden konnten, hieß es, die Größe “unterscheide sich stark nach Quelle”, und sie wurde nicht genannt. Zu den Fehlerraten sagte es dies: Falsche Verknüpfungen “lassen sich nur mit Hilfe eines Referenzdatensatzes bestimmen, der die zugrunde liegende Wahrheit abbildet. Sie sind daher nicht ohne Weiteres quantifizierbar.” Nicht verknüpfte Datensätze, fügte es hinzu, seien quantifiziert worden, aber nach Quelle, und eine Zahl wurde nicht genannt.
Zwei Dinge fallen auf. Erstens ist ein nicht verknüpfter Datensatz keine verpasste Übereinstimmung. Ein nicht verknüpfter Datensatz ist einer ohne Partner; eine verpasste Übereinstimmung ist ein echtes Paar, das die Software nicht zusammengeführt hat. Die Antwort setzt eine Abdeckungsstatistik an die Stelle einer Fehlerstatistik. Zweitens hatte das Amt sehr wohl einen Referenzdatensatz. Es hat ausgewählte Fälle manuell geprüft, und genau das ist eine gelabelte Stichprobe, und derselbe Methodentest umfasste eine Wohnsitzanalyse, eine Erhebung zum Wohnsitz von bis zu 100,000 Personen, die so nahe an die Ground Truth heranreicht, wie ein statistisches Amt je kommt. Es hatte das Material, um eine Rate zu berechnen. Es berichtete keine.
Ich habe außerdem gefragt, ob der Bundesbeauftragte für den Datenschutz an der Folgenabschätzung beteiligt war. Die Antwort lautete, die Abschätzung sei “nach den Leitlinien” des Beauftragten durchgeführt worden. Das ist nicht dasselbe, und ich habe den Beauftragten direkt gefragt.
Auswertungsberichte, sagt das Amt, würden derzeit geschrieben, eine erste Veröffentlichung sei für 2027 vorgesehen. Die Ablehnungen im Bescheid nennen keine der gesetzlichen Ausnahmen, die das IFG verlangt. Ich habe Widerspruch eingelegt.
Man stelle die drei Antworten nebeneinander.
London sagt, die Zahl lasse sich aus dem veröffentlichten Modell ableiten.
Canberra sagt, die Zahl werde nicht gemessen.
Wiesbaden sagt, die Zahl lasse sich nicht messen.
Die Londoner Position unterstellt, es sei eine Frage des Lesens der Dateien. Die Position aus Canberra, gestützt durch das eigene Befürwortungspapier des Bureau, lautet, dass das Werkzeug die Zahl liefert und das Bureau sie schlicht nicht erzeugt hat. Die Wiesbadener Position lautet, es sei unmöglich ohne einen Referenzdatensatz, den das Amt tatsächlich besitzt. Die Organisation, die die Software gebaut hat, hat Evaluationsfunktionen für genau diese Messung veröffentlicht. Die Organisationen, die die Software übernommen haben, taten das zum Teil wegen dieser Fähigkeit.
Was keine von ihnen übernommen hat, ist die Disziplin, sie auch zu nutzen. Und diejenige, die sie gebaut hat, jene, deren Verknüpfungen in Echtzeit an die Polizei gehen, ist diejenige, die ihre Folgenabschätzung zurückhielt und mir sagte, die Software treffe keine Entscheidungen.
Es zeigt nicht, dass einer bestimmten Person durch eine falsche Verknüpfung in einem der drei Systeme geschadet wurde. Ich habe keinen solchen Fall, und die Dokumente enthalten keinen.
Es zeigt nicht, dass die Software fehlerhaft ist. Die Belege weisen in die andere Richtung: Splink ist leistungsfähig, das ABS fand es bei der manuellen Prüfung genauer als seinen Vorgänger, und die Fehler hier sind institutionell, nicht technisch.
Es zeigt nicht die tatsächlichen Fehlerraten. Das ist der Punkt. Niemand hat sie vorgelegt, und bei drei Institutionen, die zusammen weit über hundert Millionen Menschen erfassen, ist genau das der Befund.
Beim Justizministerium steht eine interne Überprüfung an. Beim Australian Bureau of Statistics wurde eine interne Überprüfung beantragt, zu den zurückgehaltenen Dokumenten der Qualitätssicherung, zu dem in den eigenen Protokollen erwähnten, fehlenden Methodenpapier und zu der Validierungsprüfung, die der eigene Bericht beschreibt. Beim Statistischen Bundesamt wurde Widerspruch eingelegt.
Am 9. September 2026 wurden die drei Antworten und ihre Anlagen an die folgenden Stellen geschickt:
Ausschüsse des House of Commons: Justiz; Inneres; Wissenschaft, Innovation und Technologie; öffentliche Verwaltung und Verfassungsfragen.
Ausschüsse des House of Lords: Justice and Home Affairs; Public Services; Constitution; Communications and Digital.
Gemeinsamer Ausschuss: Human Rights.
Aufsichtsbehörden und das Ministerium: das Office for Statistics Regulation; der Datenschutzbeauftragte des Justizministeriums.
Zivilgesellschaft: Big Brother Watch; Open Rights Group.
Presse: The Guardian; Computer Weekly; The Bureau of Investigative Journalism.
Am selben Tag gingen dieselben Unterlagen an australische Aufsichtsgremien, Ausschüsse und die Presse:
Statistik und Daten: Australian Bureau of Statistics; Australian Statistics Advisory Council; Office of the National Data Commissioner; Digital Transformation Agency.
Rechnungsprüfung und Aufsichtsbehörden: Australian National Audit Office; Office of the Australian Information Commissioner; Australian Human Rights Commission.
Ministerien: Department of Health, Disability and Ageing; Department of Social Services.
Parlamentsausschüsse: Joint Committee of Public Accounts and Audit; Senate Economics Committees; Senate Finance and Public Administration Committees; Senate Community Affairs Committees; Parliamentary Joint Committee on Human Rights.
Ministerien und Ministerbüros: Büro von Schatzminister Jim Chalmers; Büro von Senatorin Katy Gallagher.
Presse: Guardian Australia.
Sollte eine der drei Institutionen eine Fehlerquote vorlegen, werde ich sie hier veröffentlichen.
Die vollständigen Antworten aller drei Institutionen sind unten veröffentlicht. Dieser Beitrag wird aktualisiert, sobald die Überprüfungen abgeschlossen sind.
Dies sind die Antworten selbst, so wie sie eingegangen sind. Inhaltlich wurde nichts verändert: Die einzigen Änderungen sind, dass mein eigener Name und meine E-Mail-Adresse aus den Briefköpfen entfernt und die Metadaten der Dokumente um dieselben Angaben bereinigt wurden. Die veröffentlichten Kontaktdaten der Beamtinnen und Beamten, die auf dem Briefkopf der Institutionen selbst stehen, sind unverändert geblieben.
Lesen Sie sie gegen den Text weiter oben. Die hier zitierten Sätze sind kurz, und in den umliegenden Absätzen hält die Begründung einer Institution entweder stand oder eben nicht.