Archives des Techniques IA

Comment je fais fonctionner un Deepseek-R1 en local sur mon ordinateur avec LM Studio ?

par Alain Goudey27 janvier 202526 janvier 20252

LM Studio est une application conviviale qui permet d’exécuter des modèles de langage (LLM) directement sur votre ordinateur, sans dépendre des services cloud. Elle est compatible Windows, MacOS et Linux et peut se trouver facilement à l’adresse officielle : https://lmstudio.ai/. Elle permet même de faire fonctionner en local des versions de Deepseek-R1… c’est encore qu’un début, mais déjà une belle prouesse !

Prompting en 2024 ? – Il n’est pas nécessaire d’être poli avec l’IA, mais de savoir lui « parler »

par Alain Goudey23 janvier 20244 mars 20248

Cela fait plus d’un an que la terre entière prompt (ou presque)… Alors comment cet art du prompt engineering a-t-il évolué depuis sa massification en novembre 2022 ? Comment faut-il prompter une IA en 2024 ?

Ce nouvel article vise à proposer un guide avec des instructions détaillées pour améliorer la qualité des prompts destinées aux Modèles de Langage à Grande Échelle (LLMs). Il se base sur le papier de Bsharat & al. (2023), disponible sur Arxiv et intitulé « Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4 ».

Les résultats de cette étude montrent que les modèles plus vastes simulent mieux les consignes, et que clairement la précision des directives améliore la performance des LLMs. Assigner un rôle spécifique aux LLMs s’avère donc utile pour obtenir des résultats en adéquation avec nos attentes. Autrement dit : « Garbage in, garbage out »… alors soignez vos prompts ! Quelques astuces plus exotiques (comme le pourboire, l’obligation ou l’absence de politesse) aident aussi à améliorer les réponses.

Plus précisément, le papier montre, avec le test de référence ATLAS conçu manuellement, qui comprend des questions multiples pour chaque principe, que les prompts proposés selon le guide ont amélioré la qualité et la précision des réponses LLM d’une moyenne de 57,7 % et de 67,3 %, respectivement, lorsqu’elles sont appliquées à GPT-4 (voir le repository GitHub d’Atlas).

Comment j’ai fait fonctionner un LLM Mistral-7B sur mon iPhone (sans internet) ?

par Alain Goudey9 janvier 20248 janvier 20241

Suite à l’annonce d’Apple de pouvoir faire fonctionner un LLM sur ses iPhones, je voulais tester la réelle faisabilité de la chose sur un device Apple Silicon (Puce A17) très portable : j’ai donc pris mon téléphone. J’ai pu trouver un process pour le faire… et je vous le partage ici. J’ai fait le test avec un modèle Mistral-7B-Instruct-v0.2 (format GGUF) qui en gros fournit un équivalent de GPT3.5 grâce à la start-up française Mistral (cocorico !). Cela fonctionne parfaitement !!