Comment j’ai fait fonctionner un LLM Mistral-7B sur mon iPhone (sans internet) ?
par Suite Ă l’annonce d’Apple de pouvoir faire fonctionner un LLM sur ses iPhones, je voulais tester la rĂ©elle faisabilitĂ© de la chose sur un device Apple Silicon (Puce A17) trĂšs portable : j’ai donc pris mon tĂ©lĂ©phone. J’ai pu trouver un process pour le faire… et je vous le partage ici. J’ai fait le test avec un modĂšle Mistral-7B-Instruct-v0.2 (format GGUF) qui en gros fournit un Ă©quivalent de GPT3.5 grĂące Ă la start-up française Mistral (cocorico !). Cela fonctionne parfaitement !!