OpenAI utilise une approche en deux étapes pour tester la précision de l’API ChatGPT. D’abord, elle est formée sur un large éventail de données sur Internet. Ensuite, OpenAI utilise un processus d’itération où ils collectent et testent les réponses potentielles du système, puis les ajustent en fonction des commentaires des utilisateurs et des évaluateurs.
Pour vérifier précisément le comportement du modèle, OpenAI utilise un ensemble de « sondes », qui sont des cas de test spécifiques pour évaluer certaines facettes du système. Les données d’évaluation sont collectées en générant des dialogues avec le bot et en les annotant pour leur précision. Ensuite, ces dialogues sont notés par des humains pour vérifier leur exactitude.
C’est un processus continu, car le but est d’affiner constamment le modèle pour diminuer les erreurs et augmenter sa compréhension des nuances du langage humain.
