Foto per l'articolo Provare documenti più lunghi senza cambiare il compito
Foto di Pexels su Pixabay

Valutazione strumenti

Parte di Affidabilità degli strumenti IA

Provare documenti più lunghi senza cambiare il compito

Come preparare documenti più lunghi con la stessa domanda e verificare acquisizione, posizione del dato e correttezza della risposta.

Questo è uno pseudonimo editoriale della testata, non una dichiarazione di identità personale verificata in modo indipendente. Firma editoriale originale: Desk Prove.

Per capire se uno strumento mantiene lo stesso compito con documenti più lunghi, tenete fermi domanda, dato decisivo e criteri di approvazione. Cambiate una variabile per volta: prima la lunghezza, poi, in una prova separata, la posizione del dato.

Costruire una serie confrontabile

Partite da un documento breve con un'informazione verificabile e una domanda precisa. Create versioni più lunghe aggiungendo sezioni dello stesso genere, senza modificare l'informazione richiesta né introdurre regole che la contraddicano. Conservate formato, istruzione e struttura quanto più possibile. Annotate lunghezza, numero di pagine e posizione del passaggio da trovare.

Esempio ipotetico: una procedura fittizia stabilisce che una richiesta incompleta resti in sospeso. Aggiungete altre sezioni nelle versioni successive, ma lasciate invariata quella regola. Chiedete sempre quale stato assegnare alla richiesta incompleta. Le sezioni aggiunte devono restare realistiche, ma una nuova eccezione cambierebbe la risposta attesa e quindi il compito.

Per misurare la posizione, preparate versioni di lunghezza comparabile con la regola all'inizio, nel mezzo e alla fine. Riportate questi esiti separatamente da quelli della serie sulla lunghezza.

Controllare il percorso del file

Un caricamento riuscito non dimostra che ogni pagina sia stata usata nella risposta. Controllate formato, limiti e modalità di aggiunta del file nell'account scelto.

Annotate se l'informazione decisiva è testo digitale, tabella, immagine o scansione. Se convertite il formato per renderla accessibile, registrate la conversione come una condizione diversa della prova.

Verificare la risposta

Confrontate ogni risposta con il passaggio originale. Cercate condizioni omesse, informazioni confuse con sezioni simili e conclusioni senza sostegno. Un riferimento indicato dal sistema può aiutare a trovare il punto, ma va controllato nel file.

EsitoChe cosa conclude
File rifiutatoIl percorso scelto non accetta quell'input nelle condizioni provate.
File accettato, risposta errataIl compito non è riuscito; la causa richiede un controllo ulteriore.
Risposta corretta dopo chiarimentoLa prima richiesta non ha prodotto la consegna prevista.
Risposta corretta subitoQuel caso è riuscito; non dimostra l'esito delle altre versioni.

Ripetete le versioni decisive se una singola esecuzione peserebbe troppo sulla conclusione. Riportate insieme lunghezza, posizione, formato e risultati.

Definite la classe di documenti per cui il percorso è utilizzabile e quella che richiede revisione o un metodo diverso. Suddividere un file può aiutare, ma cambia il flusso: occorre conservare i riferimenti fra parti e controllare le conclusioni che dipendono da più sezioni.

Altro su Valutazione strumenti

Valutazione strumenti

Affidabilità degli strumenti IA

Come valutare ripetibilità, documenti lunghi, recupero degli errori e garanzie di servizio di uno strumento IA usato nel lavoro.