N'importe quel modèle rentre dans ton GPU.Trop gros pour ton GPU ? Il le réduit, récupère après un plantage mémoire, et retient le réglage qui marche.
Gratuit pendant la bêta — sans compte, sans inscription.
VRAMPilot est un outil local gratuit qui fait tourner des modèles GGUF avec llama.cpp et récupère d'un out-of-memory à l'exécution au lieu de planter. Tu lui donnes un fichier .gguf ; il lit ton GPU, choisit une configuration qui tient, lance un llama-server, et si le modèle déborde quand même — au démarrage ou en pleine génération — il se replie, réessaie jusqu'à servir, et te dit ce qu'il a sacrifié pour que ça tienne.
C'est une couche d'automatisation et d'UX au-dessus de llama.cpp, qui fait l'inférence réelle : si llama.cpp ne peut pas faire tourner ton modèle, VRAMPilot non plus. Lire la documentation →
Trop gros pour ta VRAM ? Il réduit jusqu'à rentrer — quant, contexte, offload.
Un dépassement mémoire est capturé et récupéré. Le serveur reste debout.
Ton propre matériel — jamais un GPU loué.
Fait tenir les modèles sur le GPU que tu as déjà, au lieu d'en louer plus — moins de matériel, moins de gâchis.
Ajuste un modèle au-dessus de ton budget VRAM.
par conceptionCapture le dépassement mémoire et continue de servir.
mesuréNVIDIA, AMD, Apple — ou le CPU.
vérifiéChaque chiffre est mesuré et public. Lis les runs bruts et reproduis-les toi-même.
vrampilot est conçu par ZMLabs — un studio de deep-engineering à Sète, dans le sud de la France, qui rend le logiciel puissant accessible.
Pointe-le sur un modèle — il s'adapte et continue de servir.