Cela fait plus d’un an que la terre entière prompt (ou presque)… Alors comment cet art du prompt engineering a-t-il évolué depuis sa massification en novembre 2022 ? Comment faut-il prompter une IA en 2024 ?
Ce nouvel article vise à proposer un guide avec des instructions détaillées pour améliorer la qualité des prompts destinées aux Modèles de Langage à Grande Échelle (LLMs). Il se base sur le papier de Bsharat & al. (2023), disponible sur Arxiv et intitulé « Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4 ».
Les résultats de cette étude montrent que les modèles plus vastes simulent mieux les consignes, et que clairement la précision des directives améliore la performance des LLMs. Assigner un rôle spécifique aux LLMs s’avère donc utile pour obtenir des résultats en adéquation avec nos attentes. Autrement dit : « Garbage in, garbage out »… alors soignez vos prompts ! Quelques astuces plus exotiques (comme le pourboire, l’obligation ou l’absence de politesse) aident aussi à améliorer les réponses.
Plus précisément, le papier montre, avec le test de référence ATLAS conçu manuellement, qui comprend des questions multiples pour chaque principe, que les prompts proposés selon le guide ont amélioré la qualité et la précision des réponses LLM d’une moyenne de 57,7 % et de 67,3 %, respectivement, lorsqu’elles sont appliquées à GPT-4 (voir le repository GitHub d’Atlas).
par 
