Cela fait plus d’un an que la terre entiĂšre prompt (ou presque)… Alors comment cet art du prompt engineering a-t-il Ă©voluĂ© depuis sa massification en novembre 2022 ? Comment faut-il prompter une IA en 2024 ?
Ce nouvel article vise Ă proposer un guide avec des instructions dĂ©taillĂ©es pour amĂ©liorer la qualitĂ© des prompts destinĂ©es aux ModĂšles de Langage Ă Grande Ăchelle (LLMs). Il se base sur le papier de Bsharat & al. (2023), disponible sur Arxiv et intitulĂ© « Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4 ».
Les rĂ©sultats de cette Ă©tude montrent que les modĂšles plus vastes simulent mieux les consignes, et que clairement la prĂ©cision des directives amĂ©liore la performance des LLMs. Assigner un rĂŽle spĂ©cifique aux LLMs s’avĂšre donc utile pour obtenir des rĂ©sultats en adĂ©quation avec nos attentes. Autrement dit : « Garbage in, garbage out »… alors soignez vos prompts ! Quelques astuces plus exotiques (comme le pourboire, l’obligation ou l’absence de politesse) aident aussi Ă amĂ©liorer les rĂ©ponses.
Plus prĂ©cisĂ©ment, le papier montre, avec le test de rĂ©fĂ©rence ATLAS conçu manuellement, qui comprend des questions multiples pour chaque principe, que les prompts proposĂ©s selon le guide ont amĂ©liorĂ© la qualitĂ© et la prĂ©cision des rĂ©ponses LLM d’une moyenne de 57,7 % et de 67,3 %, respectivement, lorsqu’elles sont appliquĂ©es Ă GPT-4 (voir le repository GitHub d’Atlas).