Une IA répond.
Comment savoir si elle répond juste ?
Le problème
Une IA peut produire une réponse extrêmement convaincante tout en étant incomplète, mal sourcée ou fausse. Sans mesure, personne dans l'équipe ne sait où lui faire confiance.
Vous construisez un assistant sur un corpus, vous constituez un jeu de questions, vous testez ses réponses, vous vérifiez ses sources et vous documentez ses limites.
Un corpus documentaire borné, des questions réellement posées à l'équipe, et le cadre interne permettant d'utiliser ces documents.
Les juristes qui portent les questions récurrentes, et l'interlocuteur capable d'autoriser l'usage des documents.
Le protocole
Le corpus
Vous délimitez ce que l'assistant a le droit de lire, et rien d'autre. Un corpus flou ne se mesure pas.
Les questions
Vous écrivez un jeu de questions réellement posées à l'équipe, avec la réponse attendue pour chacune.
L'assistant
Vous le construisez, dans l'environnement dont vous disposez déjà.
Le test
Vous posez les questions, vous notez les réponses et vous remontez chaque source citée jusqu'au document.
La mesure
Vous comptez : juste, partiel, faux, inventé. Vous obtenez un chiffre, pas une impression.
Les limites
Vous écrivez ce pour quoi l'assistant ne doit pas être utilisé, et vous le laissez avec l'objet.
Ce avec quoi vous repartez
- Un prototype testable.
- Un jeu de questions de référence.
- Une grille d'évaluation réutilisable.
- La capacité d'évaluer les prochains outils qu'on vous proposera.
- Une IA fiable à 100 %.
- Une mise en production.
- Une conformité garantie.
Modalités
- Format
- Intra sur votre corpus, ou inter sur un corpus Academy.
- Durée
- Une journée.
- Groupe
- De 4 à 10 participants.
- Prérequis
- Avoir déjà utilisé au moins une fois un assistant conversationnel. Aucune compétence technique.
- Environnement
- Microsoft 365 ou Google Workspace. L'assistant est construit avec ce dont vous disposez déjà.
- Après
- Une revue d'une heure, trente jours plus tard.
Tarif
- Le périmètre du corpus retenu.
- Le nombre de participants.
- La préparation du corpus et du jeu de questions.
- L'environnement technique à préparer.
Le tarif inter est identique pour tous les inscrits d'une même édition. En intra, nous chiffrons après le cadrage, dans une proposition écrite.
Cet atelier vous intéresse ?
Sur votre corpus, avec votre équipe. Une heure pour cadrer les documents et l'environnement.
Sur un corpus Academy, à titre individuel. Nous vous prévenons à l'ouverture de la prochaine édition.