
Valutazione strumenti
Parte di IA per l'estrazione di dati
Confrontare l'estrazione da tabelle differenti: criteri
Un sistema può leggere tutte le parole di una tabella e assegnarle alle colonne sbagliate. Per un processo aziendale conta la struttura: ogni importo deve restare …
Per confrontare l’estrazione da tabelle differenti, osservate sia i valori sia i rapporti tra celle: una cifra corretta può finire nella riga o nella colonna sbagliata. Usate criteri distinti per verificare associazioni, valori, tenuta alle variazioni di struttura, completezza e metriche.
Variare la struttura, non solo il contenuto
Nel campione considerate colonne regolari, intestazioni su più righe, celle unite, righe vuote, subtotali e tabelle che continuano nella pagina successiva. Confrontate le estrazioni con la struttura annotata, non soltanto con il testo riconosciuto.
- Associazione riga-colonna. Verificate che ogni importo resti collegato alla voce, all’intestazione e al periodo corretti, anche quando la tabella prosegue su un’altra pagina.
- Conservazione del valore. Controllate che i valori estratti corrispondano a quelli presenti nel documento: la correttezza delle parole, da sola, non garantisce quella delle cifre.
- Robustezza strutturale. Confrontate i risultati nelle diverse configurazioni della tabella, incluse intestazioni articolate, celle unite e righe vuote. Distinguete le prestazioni sulle tabelle semplici da quelle sulle strutture più articolate.
- Completezza e coerenza. Verificate identificatori e colonne obbligatorie, oltre alla coerenza delle somme. Un totale corretto non esclude che un importo sia stato associato alla riga sbagliata.
I modelli possono restituire risultati diversi perché hanno obiettivi differenti. Microsoft Document Intelligence Layout estrae testo, tabelle e struttura; il modello fatture estrae campi chiave e voci da fatture, bollette e ordini, restituendo dati strutturati in JSON.
Per una fattura con intestazioni su più righe e una tabella che continua nella pagina successiva, confrontate le celle ricavate con Layout con le voci restituite dal modello fatture. Applicate gli stessi criteri a entrambi, senza presumere che i risultati siano equivalenti.
Valutare l'errore nel flusso a valle
- Precisione e richiamo. Google Document AI calcola queste metriche confrontando le entità restituite da un processor con le annotazioni dei documenti di test. Mostra i risultati per tutte le etichette e per ciascuna etichetta, così potete confrontare i campi annotati.
Precisione e richiamo sulle entità non indicano, da sole, se righe, colonne e associazioni tra celle sono corrette. Per questi aspetti affiancate alle metriche il confronto della struttura tabellare secondo i criteri precedenti.
Eseguite il confronto sugli stessi documenti e riportate i risultati separatamente per le diverse strutture. Una media unica può nascondere buoni risultati sulle tabelle semplici e problemi sulle fatture più frequenti nel vostro lavoro.
In Document AI la valutazione viene eseguita automaticamente quando si addestra o aggiorna la versione di un processor; può anche essere avviata manualmente per aggiornare le metriche dopo una modifica del set di test o per valutare una versione preaddestrata.
Metriche di valutazione nei flussi a valle (Google Document AI)
- Precisione
- Misura la percentuale di entità correttamente estratte
- Richiamo
- Misura la percentuale di entità presenti nel documento che sono state estratte
- Valutazione automatica
- Disponibile durante addestramento o aggiornamento del processor
- Aggiornamento manuale
- Possibile dopo modifiche al set di test o per versioni preaddestrate



