IA local PA-CO

IA local para supervivencia: el sueño de llevar ChatGPT en la mochila​

Imagina una expedición en alta montaña, a cuatro días del hospital más cercano. Un compañero sufre una fractura abierta de tibia, el hueso atraviesa la piel. No hay señal de móvil, no hay internet. Pero en un portátil alimentado por una placa solar, un modelo de lenguaje local Gemma 4 sin censura responde con un protocolo médico detallado paso a paso: control de hemorragia, riesgo de infección, estabilización. "Ha seguido todas las pautas de diagnóstico y tratamiento de manera correcta", asegura quien lo probó.

No es un escenario de serie distópica. En círculos de preparacionismo, la idea de correr modelos de IA en local —en portátiles o incluso en un móvil con Termux y Ollama— ha pasado de ocurrencia de frikis a herramienta seria. Pero el debate está servido: ¿son realmente útiles estas IAs reducidas o solo un juguete que consume batería?

Modelos que caben en un bolsillo (casi)​

La barrera de entrada ha caído. Modelos cuantizados de 3GB como Phi4 mini abliterated funcionan en un Redmi Note 12 Pro. Para algo más serio, el Qwen3.5 de 8B cabe en cualquier portátil con 16GB de RAM y gráfica integrada. Y si tienes una RTX 5080 con 16GB de VRAM, puedes cargar un DeepSeek Coder 33B cuantizado a 4 bits o un Llama 3 70B a 3 bits. "Con modelos modestos tienes resultados", resumen los que trastean.

La clave está en la cuantización y en el uso de RAG (generación aumentada por recuperación). Un aficionado ha compartido un programa en Python que combina OCR, embeddings y un sistema de puntuación para extraer información de PDFs médicos o manuales de supervivencia, todo offline. Otro ha probado un adaptador LORA para especializar el modelo en un dominio concreto. La sofisticación técnica es real.

Sin censura, pero con alucinaciones​

El principal argumento a favor de la IA local es la ausencia de censura. Mientras que ChatGPT o Gemini se niegan a dar instrucciones sobre fabricación de pólvora negra, modelos como Gemma 4 uncensored o Qwen3.6-27B-uncensored-heretic responden sin tapujos. En las pruebas, han proporcionado desde recetas de pólvora (con errores: azúcar en lugar de azufre) hasta listas de setas venenosas de Madrid con nombres latinos. Pero la calidad es irregular: cuando se le pidió un protocolo médico, acertó; cuando se le pidió identificar una seta por foto, confundió una especie. "Se vuelve muy loca, se pregunta cosas que ya se ha respondido", cuenta un usuario que ajustó temperatura y top_p para domarla.

Hardware: el cuello de botella que no se menciona​

Aquí viene la bronca. Un sector mantiene que para algo mínimamente útil se necesita un PC con 16GB de RAM y 6GB de VRAM, y que en un móvil "ni de coña". Otro usuario, con 300GB de modelos descargados, replica que con una GPU de 16GB se pueden correr modelos de 27B que "tienen la calidad del ChatGPT de hace un año". La diferencia la marca la VRAM: "en RAM es más lento, pero funciona", matiza un experto técnico.

La propuesta más ambiciosa: montar un enlace WiFi punto a punto con antenas direccionales para conectar el móvil a un PC central que ejecute el modelo, todo en local y con alcance de kilómetros. Una infraestructura que ya no es de mochila, sino de puesto avanzado.

El dato que descoloca​

Con todos los avances, los modelos locales de 8B o 27B aún están lejos del rendimiento de GPT-4 o Gemini. La ventaja competitiva no es la calidad, sino la disponibilidad sin internet y la libertad de contenido. Y mientras los más entusiastas sueñan con una IA en su refugio alimentada por paneles solares, los escépticos recuerdan que un libro de medicina de 20 euros no sufre fugas de contexto ni alucina con el azúcar. Ambos tienen parte de razón.