
Valutazione strumenti
Parte di Assistenti IA per i clienti
Testare risposte su informazioni approvate
Preparate fonti valide, domande di prova e criteri per controllare le risposte di un assistente IA destinato ai clienti.
Per testare le risposte di un assistente IA ai clienti, preparate informazioni approvate e domande corrispondenti. Confrontate ogni risposta con la versione valida della fonte, incluse condizioni ed eccezioni. Una frase plausibile non basta.
Preparare il riferimento
Scegliete un tema circoscritto, ad esempio le modalità di reso di due categorie di prodotti. Fate approvare il testo dal responsabile del processo e annotate versione e data di validità. Se una condizione vale solo per una categoria, deve restare chiara anche nella risposta breve.
Verificate quali contenuti sono accessibili all’assistente. In Zendesk si collegano centri assistenza e fonti esterne: i primi vengono consultati in tempo reale, le seconde riflettono l’ultima sincronizzazione. In Intercom, la sezione Sources mostra i contenuti abilitati per Fin. In entrambi i casi, una modifica alla fonte non dimostra da sola che la risposta usi già la versione voluta.
Scrivere domande che distinguano gli errori
Per ogni regola preparate più formulazioni in italiano: una diretta, una colloquiale e una con dettagli incompleti. Aggiungete domande che mescolano due condizioni, richiamano una regola superata o chiedono qualcosa che la fonte approvata non dice. Conservate la risposta di riferimento accanto a ciascuna domanda, senza fornirla all’assistente durante la prova.
Caso / Che cosa controllare
- Informazione esplicita
- La risposta coincide con la regola valida?
- Eccezione
- La condizione resta vicina all’affermazione principale?
- Domanda ambigua
- L’assistente chiede il dettaglio necessario?
- Regola assente
- Evita di inventare una condizione?
- Versione precedente
- Usa il contenuto attuale?
Eseguite le stesse domande nel canale e nella configurazione previsti per i clienti. Se confrontate due prodotti, mantenete invariati i contenuti approvati e annotate differenze nell’accesso alle fonti, nella sincronizzazione e nei permessi. Ripetete la prova dopo ogni modifica pertinente.
Registrare il motivo dell’esito
Classificate ogni risposta come corretta, incompleta, errata, senza risposta o da chiarire. Per una risposta incompleta annotate la condizione mancante; per una errata, il punto che contraddice il riferimento. Distinguete un problema nella fonte da uno nell’uso o nella formulazione della fonte.
Una percentuale di risposte corrette descrive soltanto il campione, la versione delle fonti e la configurazione esaminati. Conservate gli errori che impediscono l’uso sul tema provato e verificate le correzioni con le stesse domande. Il passaggio all’operatore e i casi senza risposta attendibile richiedono prove dedicate.



