Valori anomali sotto copertura: l'imputazione robusta cella per cella a EcoSta 2026

Matthias Templ (FHNW) ha presentato nell’agosto 2026 nuovi lavori sull’imputazione robusta, alla 9ª International Conference on Econometrics and Statistics (EcoSta 2026), che si è tenuta dall’8 al 10 agosto alla Ryukoku University di Kyoto. L’intervento, «Imputation under cellwise contamination», estende VIM, il pacchetto R per la visualizzazione e l’imputazione dei dati mancanti che Templ contribuisce a mantenere, a un problema più difficile: dati in cui i valori anomali stessi si nascondono in righe altrimenti d’aspetto ordinario.

La contaminazione cella per cella è il cugino più realistico del classico problema dei valori anomali: invece di pochi record interamente corrotti, a essere compromesse sono singole celle, sparse in dati altrimenti puliti – un valore di laboratorio digitato male qui, una lettura difettosa di un sensore là. La distinzione sembra marginale, ma l’aritmetica no: con un modesto tasso di contaminazione del 5 % per cella e 20 variabili, circa il 64 % di tutte le righe contiene almeno una cella difettosa. Qualunque metodo che reagisca riducendo il peso o scartando intere righe (la ricetta standard della statistica robusta) butta via due terzi del campione per trattare una quantità molto più piccola di dati davvero cattivi.

L’idea guida dell’intervento è una riformulazione: un valore anomalo a livello di cella è un valore mancante che si nasconde. Un rilevatore può segnalare celle sospette e passarle a un modello di imputazione come se fossero NA – ma la stima del rilevatore su quali celle siano contaminate è a sua volta incerta, e una catena rigida «segnala e poi elimina» scarta quell’incertezza invece di portarla fino al risultato finale. L’alternativa di Templ mantiene la segnalazione morbida: a ogni cella viene assegnato un peso tra 0 e 1, ricavato dal suo residuo rispetto a un modello adattato sulle altre variabili, con pesi e imputazioni stimati congiuntamente anziché in due passi separati. Ridurre il peso, non eliminare.

Tre stimatori costruiti su questa idea sono ora disponibili nella versione di sviluppo di VIM: imputeCellIRMI() concatena regressioni pesate per cella attraverso le variabili; imputeCellM() adatta una M-regressione robusta per variabile ed è dimostrabilmente consistente sotto il modello di contaminazione cella per cella (è quello che Templ raccomanda nella pratica, con convergenza completa lungo tutto il benchmark); e imputeCellEM() tratta la contaminazione come uno stato latente stimato con un algoritmo EM, che funziona bene a bassi livelli di contaminazione ma diventa inaffidabile oltre il 10 % circa. Tutti e tre gestiscono dati misti, continui e categoriali, dove, forse in modo controintuitivo, le variabili categoriali intatte si rivelano ancore utili: aiutano a smascherare valori anomali continui che altrimenti si camufferebbero spostandosi insieme ai vicini correlati.

Nelle simulazioni, con 20 variabili e il 20 % di contaminazione, le stime di regressione di imputeCellM() sono risultate più vicine ai veri parametri rispetto a quattro catene concorrenti, tra cui il diffuso pacchetto mice. Il metodo è stato provato anche su un dataset reale: 300 cavalli, 10 variabili di tipo misto, un noto problema di dati mancanti nelle cartelle cliniche veterinarie. Ha segnalato 123 celle su 3 000 come contaminate, distribuite in modo rado su 110 righe con circa una cella segnalata ciascuna – esattamente lo schema sparso per cui l’approccio è pensato, e non una manciata di righe gravemente danneggiate. In una regressione logistica sugli stessi dati, un predittore (la frequenza respiratoria) che perdeva significatività statistica con la catena convenzionale «segnala e poi elimina» è rimasto significativo con il nuovo metodo.

Templ ha anche detto apertamente dove i nuovi metodi mostrano i loro limiti. La convergenza di imputeCellEM() si è rivelata fragile a livelli di contaminazione più alti, e mice, un metodo esistente molto più semplice, si è dimostrato per tutto il tempo un riferimento sorprendentemente solido. La robustezza limita il danno che la contaminazione può fare; non può recuperare l’informazione che la contaminazione ha già distrutto. Un quarto metodo, più avanzato, è il prossimo del pacchetto: uno stimatore basato sull’MCD per dati misti, imputeCellMCD(), sostenuto da un articolo separato attualmente in revisione presso Statistics and Computing.

Le estensioni robuste cella per cella sono già su GitHub (statistikat/VIM), con una pubblicazione su CRAN prevista; l’approccio risale all’articolo di Templ, Kowarik e Filzmoser del 2011 sull’imputazione iterativa per regressione graduale in Computational Statistics & Data Analysis, e VIM stesso è mantenuto su CRAN da ben più di un decennio.