Faire tourner une IA en local : le guide pragmatique

Faire tourner une IA en local, c'est exécuter un modèle de langage directement sur ta machine : tes données ne quittent jamais ton ordinateur, tu ne paies aucun abonnement, et ça marche sans internet. En 2026, un Mac avec 16 Go de RAM fait tourner des modèles sérieux via Ollama ou LM Studio, en une commande. La vraie question n'est plus "est-ce possible" mais "est-ce que c'est le bon choix pour ton usage". Ce guide répond aux deux.

Pourquoi tout le monde en reparle cette semaine

Le 14 juillet, PrismML, une startup issue de Caltech, a sorti Bonsai 27B : une version compressée en 1 bit du modèle open source Qwen3.6-27B. Le modèle passe de 54 Go à 3,9 Go, tout en gardant environ 90 % de ses capacités d'origine. Résultat : pour la première fois, un modèle de classe 27 milliards de paramètres tourne sur un iPhone. Pas en démo truquée, en vrai : environ 11 tokens par seconde sur un iPhone 17 Pro Max, licence Apache 2.0, poids téléchargeables sur Hugging Face.

Le même jour, CNBC révélait qu'Apple évalue la technologie de PrismML pour faire tourner plus d'IA directement sur l'iPhone, sans passer par le cloud. Le signal est clair : l'IA locale n'est plus un hobby de bidouilleur, c'est une direction que prend toute l'industrie.

Mais attention au raccourci. "C'est possible" ne veut pas dire "c'est ce qu'il te faut". Voyons ça honnêtement.

Ce que l'IA locale t'apporte vraiment

Quatre avantages concrets, sans marketing :

• Confidentialité totale. Tes prompts, tes documents, tes données clients ne quittent jamais ta machine. Pour un avocat, un médecin, un comptable ou n'importe qui manipule des données sensibles, c'est l'argument décisif. Aucune condition d'utilisation à lire, aucun fournisseur à croire sur parole.

• Coût marginal zéro. Une fois le matériel payé, tu génères autant de texte que tu veux. Pas d'abonnement, pas de quota, pas de compteur de tokens qui tourne.

• Fonctionnement hors ligne. Dans un train, en avion, dans une zone blanche : ton IA tourne. C'est aussi une assurance contre les pannes des fournisseurs cloud.

• Contrôle complet. Le modèle ne change pas sous tes pieds. Pas de mise à jour surprise qui casse tes workflows, pas de filtre qui évolue, pas de produit déprécié du jour au lendemain.

Le matériel : ce qu'il te faut vraiment

La règle qui simplifie tout : la taille du modèle que tu peux faire tourner dépend de ta mémoire (RAM unifiée sur Mac, VRAM sur PC avec GPU NVIDIA). Voici les ordres de grandeur en 2026 :

• 8 Go de RAM : modèles 7B quantisés. Suffisant pour du résumé, de la reformulation, des questions simples.

• 16 Go de RAM : le vrai point d'entrée sérieux. Gemma 4 12B de Google, sorti en juin, tourne dans 16 Go avec vision et audio natifs. C'est un laptop normal.

• 32 Go de RAM : les modèles MoE de classe 30B comme Qwen3.6-35B-A3B, ou la version ternaire de Bonsai 27B (5,9 Go, 94,6 % des capacités d'origine).

• 64 Go et plus : Qwen3.5 122B, un modèle qui rivalise avec des offres cloud payantes, sur un MacBook.

Un point que personne ne dit assez : les Mac Apple Silicon sont devenus la plateforme reine de l'IA locale grâce à la mémoire unifiée. Un Mac mini M4 à 700 euros fait tourner des modèles que seule une tour gaming à 2 000 euros faisait tourner il y a deux ans.

Les outils : par où commencer

Ollama, le standard de fait

Ollama est l'outil que tout le monde a fini par adopter. Installation en deux minutes, puis une commande dans le terminal :

ollama run gemma4:12b

C'est tout. Le modèle se télécharge, et tu discutes avec dans ton terminal. Ollama expose aussi une API compatible OpenAI en local, ce qui veut dire que n'importe quelle app conçue pour ChatGPT peut pointer vers ton modèle local à la place. Plus de 200 modèles optimisés au catalogue.

LM Studio, pour ceux qui veulent une interface

Si le terminal te rebute, LM Studio offre la même chose avec une vraie interface graphique : catalogue de modèles avec indication de compatibilité avec ton matériel, chat intégré, réglages visuels. C'est le choix le plus confortable pour découvrir.

Jan, l'alternative 100 % hors ligne

Jan se positionne comme un ChatGPT complet qui tourne entièrement sur ta machine, avec une bibliothèque de modèles intégrée. Open source, multiplateforme, zéro donnée qui sort.

Quels modèles choisir en 2026

Le paysage open weight a explosé. Les valeurs sûres du moment :

• Gemma 4 12B (Google, juin 2026) : le meilleur rapport capacités/matériel. Vision et audio natifs, 16 Go de RAM suffisent.

• Qwen3.6-35B-A3B (Alibaba, avril 2026) : architecture MoE ultra efficace, 3,5 milliards de paramètres actifs seulement, licence Apache 2.0.

• Bonsai 27B (PrismML, juillet 2026) : la nouveauté de la semaine. Qwen3.6-27B compressé en 1 bit ou en ternaire, à tester si ta machine est modeste ou si tu veux du 27B sur mobile.

• GPT-OSS 20B (OpenAI) : les premiers poids ouverts d'OpenAI, solides sur le raisonnement et l'usage d'outils.

• DeepSeek V3.2-Exp : le mode "réflexion" étape par étape en local, fort en maths et en analyse de code.

Le réflexe à prendre : ne choisis pas le modèle le plus gros que ta machine supporte, choisis le plus petit qui fait ton travail correctement. Un 12B rapide que tu utilises tous les jours bat un 70B qui rame et que tu abandonnes au bout d'une semaine.

Le test honnête : 30 minutes chrono

Voici le protocole que je recommande avant d'investir quoi que ce soit :

1. Installe Ollama (gratuit, 5 minutes)

2. Lance le modèle adapté à ta RAM (voir le barème plus haut)

3. Donne-lui trois tâches réelles de ta semaine : un email à rédiger, un document à résumer, une question de ton métier

4. Compare froidement avec ce que te donne ton IA cloud habituelle

Ce test te dit en 30 minutes si le local couvre TES usages. Pas ceux d'un benchmark, les tiens.

Ce que le local ne fait pas (et il faut le dire)

Ici, transparence complète sur nos propres choix. Chez Kryve, un Mac mini tourne 24h/24 avec un agent qui publie des articles, prépare des briefs et gère des workflows entiers. Et cet agent ne tourne PAS sur un modèle local. Il tourne sur un modèle frontier via API. Pourquoi ?

• L'écart de capacités reste réel. Un modèle local de 2026 écrit correctement, résume bien, répond juste. Mais sur les tâches d'agent (enchaîner 40 étapes, utiliser des outils, se corriger en cours de route), les modèles frontier comme Claude Fable 5 ou GPT-5.6 gardent une avance nette. Les compressions agressives le confirment d'ailleurs : les benchmarks de PrismML montrent que les builds classiques sous 4 bits s'effondrent précisément sur les tâches agentiques.

• La vitesse compte. 11 tokens par seconde sur téléphone, c'est un exploit technique, mais c'est lent à l'usage. Ton confort de travail en dépend.

• Un agent a besoin du monde extérieur. Recherche web, accès à tes outils, contexte long : le local progresse, mais l'écosystème d'outils reste centré sur le cloud. On a détaillé ça dans notre guide des serveurs MCP indispensables.

La bonne grille de lecture n'est pas "local OU cloud". C'est : local pour ce qui est sensible, répétitif et simple ; cloud pour ce qui demande le maximum d'intelligence. Les deux coexistent très bien, et si tu veux comprendre ce qu'un vrai agent change au quotidien, commence par comprendre ce qu'est un agent IA.

Trois cas d'usage où le local gagne aujourd'hui

1. Le tri de documents confidentiels. Contrats, dossiers médicaux, données RH : un Gemma 4 12B local résume et classe sans qu'aucun octet ne sorte de la machine.

2. La reformulation et la rédaction de masse. Réponses types, variations de textes, nettoyage de données : des tâches simples, en volume, où le coût par requête du cloud finit par se voir. Le local les absorbe gratuitement. Si ton budget est le point de départ, on a aussi listé les meilleures options d'agent IA gratuit.

3. Le prototypage d'applications IA. Tu développes une app qui appelle un LLM ? Développe contre ton Ollama local (API compatible OpenAI), et branche le cloud seulement en production. Zéro coût pendant toute la phase de dev, comparé à ce que coûtent les outils cloud.

Les erreurs fréquentes

• Télécharger un modèle trop gros. S'il ne tient pas en mémoire, il va "swapper" et tourner à 1 token par seconde. Respecte le barème RAM.

• Juger l'IA locale sur un vieux modèle. Si ton dernier essai date de 2024, tout a changé. Les modèles MoE de 2026 n'ont rien à voir.

• Ignorer la quantisation. Le même modèle existe en plusieurs niveaux de compression. Le Q4 est le standard équilibré ; en dessous, vérifie sur tes propres tâches que la qualité tient.

• Vouloir tout remplacer d'un coup. Le local se gagne usage par usage, pas en jetant ton abonnement cloud le premier jour.

FAQ

Est-ce que faire tourner une IA en local est légal ?

Oui, totalement. Les modèles open weight comme Gemma, Qwen ou Bonsai sont publiés sous licences permissives (souvent Apache 2.0) qui autorisent l'usage personnel et commercial. Vérifie juste la licence du modèle précis : certaines (NVIDIA, Kimi) ont des restrictions commerciales.

Quelle est la config minimale pour commencer ?

N'importe quelle machine avec 8 Go de RAM fait tourner un 7B quantisé. Mais l'expérience devient vraiment bonne à partir de 16 Go, le seuil qui débloque Gemma 4 12B.

Une IA locale peut-elle remplacer ChatGPT ou Claude ?

Pour la conversation, le résumé et la rédaction courante : oui, de plus en plus. Pour les tâches d'agent complexes, la recherche web et le raisonnement de pointe : pas encore. Le combo gagnant en 2026, c'est les deux.

C'est quoi la différence entre open source et open weight ?

Open weight signifie que les poids du modèle sont téléchargeables et utilisables, mais pas forcément que les données et le code d'entraînement sont publics. La plupart des modèles "open source" de 2026 sont en réalité open weight. Pour l'usage local, ça ne change rien en pratique.

La suite logique

Faire tourner un modèle en local, c'est la partie visible. La vraie transformation arrive quand tu construis autour : des agents qui utilisent le bon modèle pour la bonne tâche, tes données, tes outils. C'est exactement ce qu'on apprend à construire dans Kryve Hub, du premier modèle installé jusqu'à la couche de travail IA complète.

Avant de partir

Si cet article t'a donné envie de construire au lieu de juste lire : j'ai condensé le démarrage en un guide d'une soirée. Ton premier agent qui produit du travail réel, étape par étape, sans code. Gratuit, contre ton email. Tu recevras aussi Kryve Weekly quand elle sortira : le condensé hebdo de ce qui compte en IA, sans le bruit.

Recevoir le guide

Un email pour te l'envoyer. Pas de spam, désinscription en un clic.