Foto per l'articolo Misurare il lavoro necessario per correggere gli errori
Foto di Hans su Pixabay

Costi e licenze

Parte di IA per l'estrazione di dati

Misurare il lavoro necessario per correggere gli errori

Il costo dell'estrazione automatica non finisce quando il servizio restituisce un file strutturato. Bisogna trovare gli errori, correggerli e verificare che i dati …

Questo è uno pseudonimo editoriale della testata, non una dichiarazione di identità personale verificata in modo indipendente. Firma editoriale originale: Desk Processi.

undefined

Il costo dell’estrazione non finisce quando il servizio restituisce un file strutturato: bisogna individuare gli errori, correggerli e verificare che i dati siano entrati nel sistema giusto. Google Document AI e i modelli prebuilt-invoice e prebuilt-layout di Azure Document Intelligence restituiscono campi e tabelle da controllare. Registrate i minuti di ogni attività e il costo orario interno, poi aggiungete il corrispettivo del servizio o della licenza indicato in offerta o fattura.

Misurare i minuti di correzione per documento

Per ogni documento registrate separatamente i minuti di lavoro attivo per caricamento, revisione, correzione e conferma, oltre al tempo di attesa. L’attesa misura la durata del processo, ma non va conteggiata come lavoro se nessuno interviene. Distinguete un campo ritoccato da una tabella ricostruita e includete i documenti rifiutati o inseriti manualmente; approvare valori senza controllarli non misura la qualità.

Categorizzate gli errori: testo illeggibile, valore nel campo sbagliato, riga spostata, campo mancante o dato incoerente con altri. Secondo la documentazione di Google Document AI, le metriche generate includono precisione e richiamo e confrontano le entità restituite dal processore con le annotazioni dei documenti di test. Usatele insieme al tempo registrato per capire quali errori richiedono correzione e quali producono problemi a valle.

Senza un test set le metriche non esistono: la documentazione di Google Document AI chiede di creare un dataset e annotare i documenti di test, e la valutazione viene eseguita automaticamente quando addestrate o riaddestrate una versione del processore, oppure manualmente.

Metriche chiave per la valutazione della qualità dell'estrazione

Precisione
Misurata rispetto alle annotazioni di test
Richiamo
Percentuale di entità correttamente recuperate
Errore tipo testo illeggibile
Da classificare separatamente
Errore tipo campo mancante
Da tracciare nel tempo di correzione

Calcolare il costo per documento approvato, licenza compresa

Il corrispettivo di licenza o abbonamento si isola per documento. In Azure Document Intelligence i livelli si distinguono per la dimensione del file analizzabile: 500 MB nel livello a pagamento (S0) e 4 MB in quello gratuito (F0), quindi la scelta del livello dipende dal formato dei documenti. Prendete l’importo dall’offerta o dalla fattura e dividetelo per i documenti approvati.

Calcolate il costo del lavoro moltiplicando i minuti complessivi di preparazione, revisione, correzione e gestione delle eccezioni per il costo orario applicabile, poi dividendo per i minuti contenuti in un’ora. Il costo per documento approvato si ottiene sommando al costo del lavoro il corrispettivo effettivo del servizio o della licenza e dividendo per il numero di documenti con dati approvati, non per tutti quelli elaborati.

Il costo orario non arriva solo dai dati interni: il Ministero del Lavoro e delle Politiche Sociali pubblica con decreti direttoriali le tabelle del costo medio orario del lavoro per settore, tra cui industria metalmeccanica e installazione impianti, pulizie e multiservizi, istituti di vigilanza privata e servizi di sicurezza.

Separate i risultati per formato: una media buona può nascondere fatture scansionate che richiedono quasi tutto il lavoro manuale. Definite un criterio di qualità adeguato al processo e inviate a revisione manuale i documenti che non lo rispettano; misurate anche il tempo di quel passaggio. Confrontate il risultato con il processo precedente sugli stessi tipi di documenti e con la stessa qualità richiesta: la misura deve guidare una scelta di processo, non giustificare l’acquisto di uno strumento.

Anche le condizioni di licenza entrano nel conto: la politica di deprecazione di Document AI è quella dei Google Cloud Platform Terms of Service, e la tabella delle deprecazioni elenca funzioni e versioni di processore con le relative date di spegnimento, come Human in the Loop, deprecato il 16 gennaio 2024. Se la scadenza impone un passaggio a una nuova versione del processore, cronometrate anche quel lavoro.

Confronto tra livelli di Azure Document Intelligence per dimensione file

  • 4MBLivello gratuito (F0)
  • 500MBLivello a pagamento (S0)

Altro su Costi e licenze

Valutazione strumenti

Testare fatture con risposte note

Per valutare l'estrazione automatica delle fatture servono valori corretti con cui confrontare l'output. Senza un riferimento verificato, un'interfaccia ordinata …