Comment j’ai fait fonctionner un LLM Mistral-7B sur mon iPhone (sans internet) ?
par Suite à l’annonce d’Apple de pouvoir faire fonctionner un LLM sur ses iPhones, je voulais tester la réelle faisabilité de la chose sur un device Apple Silicon (Puce A17) très portable : j’ai donc pris mon téléphone. J’ai pu trouver un process pour le faire… et je vous le partage ici. J’ai fait le test avec un modèle Mistral-7B-Instruct-v0.2 (format GGUF) qui en gros fournit un équivalent de GPT3.5 grâce à la start-up française Mistral (cocorico !). Cela fonctionne parfaitement !!