Cualquier modelo cabe en tu GPU.¿Demasiado grande para tu GPU? Lo encoge, se recupera de los cierres y recuerda lo que funcionó.
Gratis durante la beta — sin cuenta, sin registro.
VRAMPilot es una herramienta local gratuita que ejecuta modelos GGUF con llama.cpp y se recupera de un out-of-memory en ejecución en lugar de fallar. Le das un archivo .gguf; lee tu GPU, elige una configuración que quepa, lanza un llama-server, y si el modelo se desborda igualmente — al arrancar o en plena generación — retrocede, reintenta hasta servir, y te dice qué ha sacrificado para que quepa.
Es una capa de automatización y de UX por encima de llama.cpp, que hace la inferencia real: si llama.cpp no puede ejecutar tu modelo, VRAMPilot tampoco. Leer la documentación →
¿Muy grande para tu VRAM? Se reduce hasta caber — quant, contexto, offload.
Un desbordamiento de memoria se captura y recupera. El servidor sigue en pie.
Tu propio hardware — nunca una GPU alquilada.
Ajusta los modelos a la GPU que ya tienes en vez de alquilar más — menos hardware, menos desperdicio.
Ajusta un modelo por encima de tu presupuesto VRAM.
por diseñoCaptura el desbordamiento de memoria y sigue sirviendo.
medidoNVIDIA, AMD, Apple — o la CPU.
verificadoCada número es medido y público. Lee los runs crudos y reprodúcelos tú mismo.
vrampilot está hecho por ZMLabs — un estudio de deep-engineering en Sète, sur de Francia, que hace accesible el software potente.
Apúntalo a un modelo — se adapta y sigue sirviendo.