Esploratore della pipeline
Vista completa della pipeline
Vista completa della pipeline
L’esempio riassume la logica completa della pipeline: si parte dall’immagine aerea originale, si produce una mappa di anomalia, poi una maschera sogliata che può essere post-processata in rilevamenti localizzati.
Vista modello AE / VAE
Il modello impara a ricostruire ciò che sembra normale. Oggetti o texture che non vengono ricostruiti bene diventano segnale residuo, poi una maschera più pulita per la localizzazione.
AE
x → z → x′
Usa il reconstruction error come score di anomalia.
VAE
μ, σ → z
Campiona il codice latente per rendere la rappresentazione più regolare.
Post-process
heatmap → box
Soglia e componenti trasformano il segnale in localizzazione.
Struttura della pipeline
1
Ricostruzione
Si addestra un AE / VAE su immagini normali o dominate dallo sfondo, in modo che il modello impari a riprodurre la scena attesa.
2
Score di anomalia
Si calcola uno score pixel-wise o patch-wise dalla differenza tra input e ricostruzione.
3
Soglia & pulizia
La mappa di anomalia viene trasformata in una maschera e ripulita con denoising / logica di connected components.
4
Localizzazione & crop
Si estraggono bounding box e crop da passare a un classificatore a valle, se si vuole una pipeline completa di detection + classification.
Cosa ho imparato
L’aspetto interessante di questo progetto è che sfrutta la struttura del problema. Quando lo sfondo è relativamente stabile, i modelli di anomalia possono funzionare come meccanismo leggero di proposal generation.
Allo stesso tempo, la parte difficile è il rumore: i VAE possono rilevare anomalie utili ma produrre heatmap sporche, quindi il post-processing conta moltissimo. Qui sogliatura, denoising e connected components diventano fondamentali.