Ausreisser im Verborgenen: zellweise robuste Imputation an der EcoSta 2026

Matthias Templ (FHNW) stellte im August 2026 neue Arbeiten zur robusten Imputation vor, an der 9. International Conference on Econometrics and Statistics (EcoSta 2026), die vom 8. bis 10. August an der Ryukoku University in Kyoto stattfand. Der Vortrag «Imputation under cellwise contamination» erweitert VIM, das R-Paket zur Visualisierung und Imputation fehlender Daten, das Templ mitbetreut, auf ein schwierigeres Problem: Daten, in denen die Ausreisser selbst in sonst unauffälligen Zeilen versteckt sind.

Zellweise Kontamination ist die realistischere Verwandte des klassischen Ausreisserproblems: Statt einiger weniger vollständig verfälschter Datensätze sind einzelne Zellen betroffen, verstreut über sonst saubere Daten – ein vertippter Laborwert hier, ein fehlerhafter Sensorwert dort. Der Unterschied klingt klein, die Rechnung ist es nicht: Bei bescheidenen 5 % Kontamination pro Zelle und 20 Variablen enthalten rund 64 % aller Zeilen mindestens eine fehlerhafte Zelle. Jede Methode, die darauf mit dem Herabgewichten oder Verwerfen ganzer Zeilen reagiert (das Standardrezept der robusten Statistik), wirft zwei Drittel der Stichprobe weg, um eine viel kleinere Menge tatsächlich schlechter Daten zu behandeln.

Die Leitidee des Vortrags ist eine Umdeutung: Ein zellweiser Ausreisser ist ein fehlender Wert, der sich versteckt. Ein Detektor kann verdächtige Zellen markieren und sie einem Imputationsmodell übergeben, als wären sie NA – doch die Einschätzung des Detektors, welche Zellen kontaminiert sind, ist selbst unsicher, und eine harte Pipeline aus Markieren und Löschen verwirft diese Unsicherheit, statt sie ins Endergebnis mitzunehmen. Templs Alternative hält die Markierung weich: Jede Zelle erhält ein Gewicht zwischen 0 und 1, abgeleitet aus ihrem Residuum gegenüber einem Modell, das auf den übrigen Variablen angepasst wurde; Gewichte und Imputationen werden gemeinsam geschätzt und nicht in zwei getrennten Schritten. Herabgewichten, nicht löschen.

Drei Schätzer, die auf dieser Idee beruhen, sind nun in der Entwicklungsversion von VIM enthalten: imputeCellIRMI() verkettet zellgewichtete Regressionen über die Variablen; imputeCellM() passt pro Variable eine robuste M-Regression an und ist unter dem Modell zellweiser Kontamination nachweislich konsistent (die Methode, die Templ in der Praxis empfiehlt, mit vollständiger Konvergenz im gesamten Benchmark); und imputeCellEM() behandelt die Kontamination als latenten Zustand, der mit einem EM-Algorithmus geschätzt wird – das funktioniert bei geringer Kontamination gut, wird aber ab etwa 10 % unzuverlässig. Alle drei verarbeiten gemischte stetige und kategoriale Daten, wobei sich, vielleicht überraschend, die unberührten kategorialen Variablen als nützliche Anker erweisen: Sie helfen, stetige Ausreisser zu entlarven, die sich sonst tarnen würden, indem sie sich gemeinsam mit korrelierten Nachbarn verschieben.

In der Simulation mit 20 Variablen und 20 % Kontamination lagen die Regressionsschätzungen von imputeCellM() näher an den wahren Parametern als bei vier konkurrierenden Pipelines, darunter das weit verbreitete Paket mice. Die Methode wurde auch an einem echten Datensatz getestet: 300 Pferde, 10 Variablen unterschiedlichen Typs, ein bekanntes Problem fehlender Daten in Veterinärdaten. Sie markierte 123 von 3 000 Zellen als kontaminiert, dünn verteilt auf 110 Zeilen mit je etwa einer markierten Zelle – genau das verstreute Muster, für das der Ansatz gebaut ist, und nicht eine Handvoll schwer beschädigter Zeilen. In einer logistischen Regression auf denselben Daten blieb ein Prädiktor (Atemfrequenz), der bei der herkömmlichen Pipeline aus Markieren und Löschen seine statistische Signifikanz verlor, mit der neuen Methode signifikant.

Templ benannte auch offen, wo die neuen Methoden an Grenzen stossen. Die Konvergenz von imputeCellEM() erwies sich bei höherer Kontamination als fragil, und mice, eine viel einfachere bestehende Methode, erwies sich durchgehend als überraschend starke Vergleichsbasis. Robustheit begrenzt, wie viel Schaden Kontamination anrichtet; sie kann keine Information zurückgewinnen, die die Kontamination bereits zerstört hat. Als Nächstes folgt im Paket eine vierte, fortgeschrittenere Methode: ein MCD-basierter Schätzer für gemischte Daten, imputeCellMCD(), gestützt auf ein separates Paper, das derzeit bei Statistics and Computing in Begutachtung ist.

Die zellweise robusten Erweiterungen sind jetzt auf GitHub verfügbar (statistikat/VIM), eine CRAN-Veröffentlichung ist geplant; der Ansatz geht zurück auf die Arbeit von Templ, Kowarik und Filzmoser aus dem Jahr 2011 zur iterativen schrittweisen Regressionsimputation in Computational Statistics & Data Analysis, und VIM selbst wird seit weit über einem Jahrzehnt auf CRAN gepflegt.