Foto per l'articolo Prevedere revisione umana per dati incerti: criteri
Foto di Anna Tarazevich su Pexels

Riunioni e trascrizioni

Parte di IA per l'estrazione di dati

Prevedere revisione umana per dati incerti: criteri

Un valore estratto con confidenza alta può comunque essere sbagliato. La revisione umana serve dove un errore avrebbe conseguenze e dove i dati non superano …

Questo è uno pseudonimo editoriale della testata, non una dichiarazione di identità personale verificata in modo indipendente. Firma editoriale originale: Desk Prove.

Fermate il dato prima dell’invio al sistema finale quando presenta almeno uno dei segnali verificabili qui sotto. Per le fatture, i campi possibili includono nome del cliente, indirizzo di fatturazione, data di scadenza e importo dovuto.

  1. Campo atteso assenteinviate a revisione un campo previsto dal vostro flusso che non compare nell’estrazione. Il fatto che un campo sia estraibile non significa che sia obbligatorio: stabilite quali campi devono essere presenti nel vostro caso.
  2. Valore non corrispondente all’originalebloccate il campo quando il valore proposto non coincide con quello leggibile nel documento. Il confronto va fatto sul singolo campo, per esempio sulla data di scadenza o sull’importo dovuto.
  3. Struttura dubbiaconsiderate dubbia la struttura quando un dato è attribuito alla regione o al ruolo sbagliato, oppure quando una tabella o le sue righe non sono riconoscibili nell’estrazione. Il layout distingue elementi geometrici, come testo e tabelle, da ruoli logici, come titoli, intestazioni e piè di pagina.
  4. Etichetta sotto il criterio di accettazioneconfrontate le previsioni con le annotazioni dei documenti di test e inviate a revisione le etichette che non raggiungono il criterio stabilito. Valutate precisione e richiamo sia complessivamente sia per singola etichetta, quando disponibili.
  5. Dato sotto sogliase il sistema fornisce un punteggio e il dato non raggiunge la soglia scelta sui vostri documenti di test, trattenetelo. Fissate la soglia considerando gli errori che accettate e i casi da controllare: una soglia più alta può ridurre gli errori accettati ma aumentare le revisioni.

Creare una coda spiegabile

Inviate alla coda i campi assenti o non corrispondenti all’originale, le anomalie di struttura e i dati che non superano i criteri o la soglia definiti. Mostrate al revisore il file originale, la posizione del dato, il valore proposto e il motivo preciso del blocco.

Consentite la correzione e l’approvazione prima dell’invio al sistema finale. Se il problema riguarda un solo campo, indicate con chiarezza quale dato richiede il controllo.

Verificare le funzioni disponibili

Per calibrare i criteri, confrontate le previsioni con le annotazioni dei documenti di test. Per esempio, Google Document AI genera metriche di precisione e richiamo complessive e per singola etichetta; se il processore non ha un set di test, occorre prima creare un dataset e annotare i documenti.

Ripetete la valutazione dopo aver modificato il set di test o quando valutate una versione preaddestrata. Usate i risultati per individuare le etichette che non raggiungono il criterio di accettazione e applicate loro regole di revisione più prudenti.

Google Cloud elenca Human in the Loop (HITL) di Document AI tra le funzioni deprecate dal 16 gennaio 2024. Verificate le note di rilascio per lo stato aggiornato delle funzioni e organizzate la revisione come flusso distinto dal motore di estrazione, senza presupporre che HITL sia disponibile.

Metriche chiave per valutare l’estrazione

  • Precisione complessivaMisura la proporzione di etichette corrette tra quelle predette
  • Richiamo complessivoProporzione di etichette vere trovate rispetto a quelle presenti nei documenti di test
  • Soglia di confidenzaLivello minimo di punteggio per accettare un dato senza revisione

Altro su Riunioni e trascrizioni

Valutazione strumenti

Testare fatture con risposte note

Per valutare l'estrazione automatica delle fatture servono valori corretti con cui confrontare l'output. Senza un riferimento verificato, un'interfaccia ordinata …