Foto per l'articolo Confrontare l'estrazione da tabelle differenti: criteri
Foto di Yan Krukau su Pexels

Valutazione strumenti

Parte di IA per l'estrazione di dati

Confrontare l'estrazione da tabelle differenti: criteri

Un sistema può leggere tutte le parole di una tabella e assegnarle alle colonne sbagliate. Per un processo aziendale conta la struttura: ogni importo deve restare …

Questo è uno pseudonimo editoriale della testata, non una dichiarazione di identità personale verificata in modo indipendente. Firma editoriale originale: Redazione IA.

Per confrontare l’estrazione da tabelle differenti, osservate sia i valori sia i rapporti tra celle: una cifra corretta può finire nella riga o nella colonna sbagliata. Usate criteri distinti per verificare associazioni, valori, tenuta alle variazioni di struttura, completezza e metriche.

Variare la struttura, non solo il contenuto

Nel campione considerate colonne regolari, intestazioni su più righe, celle unite, righe vuote, subtotali e tabelle che continuano nella pagina successiva. Confrontate le estrazioni con la struttura annotata, non soltanto con il testo riconosciuto.

  1. Associazione riga-colonna. Verificate che ogni importo resti collegato alla voce, all’intestazione e al periodo corretti, anche quando la tabella prosegue su un’altra pagina.
  2. Conservazione del valore. Controllate che i valori estratti corrispondano a quelli presenti nel documento: la correttezza delle parole, da sola, non garantisce quella delle cifre.
  3. Robustezza strutturale. Confrontate i risultati nelle diverse configurazioni della tabella, incluse intestazioni articolate, celle unite e righe vuote. Distinguete le prestazioni sulle tabelle semplici da quelle sulle strutture più articolate.
  4. Completezza e coerenza. Verificate identificatori e colonne obbligatorie, oltre alla coerenza delle somme. Un totale corretto non esclude che un importo sia stato associato alla riga sbagliata.

I modelli possono restituire risultati diversi perché hanno obiettivi differenti. Microsoft Document Intelligence Layout estrae testo, tabelle e struttura; il modello fatture estrae campi chiave e voci da fatture, bollette e ordini, restituendo dati strutturati in JSON.

Per una fattura con intestazioni su più righe e una tabella che continua nella pagina successiva, confrontate le celle ricavate con Layout con le voci restituite dal modello fatture. Applicate gli stessi criteri a entrambi, senza presumere che i risultati siano equivalenti.

Valutare l'errore nel flusso a valle

  1. Precisione e richiamo. Google Document AI calcola queste metriche confrontando le entità restituite da un processor con le annotazioni dei documenti di test. Mostra i risultati per tutte le etichette e per ciascuna etichetta, così potete confrontare i campi annotati.

Precisione e richiamo sulle entità non indicano, da sole, se righe, colonne e associazioni tra celle sono corrette. Per questi aspetti affiancate alle metriche il confronto della struttura tabellare secondo i criteri precedenti.

Eseguite il confronto sugli stessi documenti e riportate i risultati separatamente per le diverse strutture. Una media unica può nascondere buoni risultati sulle tabelle semplici e problemi sulle fatture più frequenti nel vostro lavoro.

In Document AI la valutazione viene eseguita automaticamente quando si addestra o aggiorna la versione di un processor; può anche essere avviata manualmente per aggiornare le metriche dopo una modifica del set di test o per valutare una versione preaddestrata.

Metriche di valutazione nei flussi a valle (Google Document AI)

Precisione
Misura la percentuale di entità correttamente estratte
Richiamo
Misura la percentuale di entità presenti nel documento che sono state estratte
Valutazione automatica
Disponibile durante addestramento o aggiornamento del processor
Aggiornamento manuale
Possibile dopo modifiche al set di test o per versioni preaddestrate

Altro su Valutazione strumenti

Valutazione strumenti

Testare fatture con risposte note

Per valutare l'estrazione automatica delle fatture servono valori corretti con cui confrontare l'output. Senza un riferimento verificato, un'interfaccia ordinata …

Valutazione strumenti

Affidabilità degli strumenti IA

Come valutare ripetibilità, documenti lunghi, recupero degli errori e garanzie di servizio di uno strumento IA usato nel lavoro.