IA local PA-CO

Vaya, interesante.

¿Seria factible entonces poner a “trabajar” un PC o portátil no demasiado antiguo con una IA de estas y entrenarlo, por ejemplo, con una enciclopedia de las antiguas de calidác, tipo Larousse o similar, en caso de que estuviera digitalizada y pudieramos acceder a ella?

No tengo ni purísima idea del tema; si digo alguna burrada, me corregís.

Edito: acabo de acordarme de algo que lei hace tiempo. Un tipo que tiene una camara grabando un comedero de aves y se montó un sistema con una IA asi local en su PC, para analizar las grabaciones. Entrenó a la IA con imágenes de aves y parece que funcionaba bien reconociendo los bichos que se acercaban al comedero.

En vez de visionar cada dia chorrocientas horas de grabacion, tenia un resumen de la IA tipo: x especie de ave a tal hora.

Asi que se abre un mundo de aplicaciones prácticas. Se me ocurre esta misma aplicada a los empleados de una empresa. Ya no habria que fichar, la IA sabe a qué hora llega cda uno solo analizando las grabaciones de la entrada. Y seguramente no sea muy complicado que esa IA te calcule/estime el tiempo real de trabajo productivo en base a los movimientos del empleado, o metiendo mas fuentes de datos como las pulsaciones del teclado en oficinistas.

Un futuro distópico, vamos.

Muy interesante el tema del hilo, por cierto.

Chihiro dijo:

(mensaje citado en revisión)

Hacer clic para expandir...

trukutruku dijo:

Si hay un colapso te garantizo que ni el dinero ni las armas ni tus bienes ni tu oro ni tu plata ni tus acciones te van a salvar de lo que venga.
Lo único que nos podría ayudar son las virtudes que hace tiempo hemos perdido. La verdad, la instrucción, la sabiduría, la justicia, la templanza, la prudencia, y el servir honestamente a los demas...

En un entorno corrupto los bienes tienen alas y las armas se vuelven contra quienes las empuñan.

Hacer clic para expandir...

No te falta razón, pero una IA local básica entrenada con info de calidad (enciclopedias, manuales técnicos, etc...) podría ser una herramienta formidable en caso de colapso, mini-colapso o simplemente querer desconectar del sistema.

Imagina la cantidad de tiempo que te ahorrarías solo en consultar la información en libros.

Por cierto, @Enrique cido propongo cambiar el título del hilo a “IA BÁSICA”, para hacerlo más claro.

SPQR dijo:

No te falta razón, pero una IA local básica entrenada con info de calidad (enciclopedias, manuales técnicos, etc...) podría ser una herramienta formidable en caso de colapso, mini-colapso o simplemente querer desconectar del sistema.

Imagina la cantidad de tiempo que te ahorrarías solo en consultar la información en libros.

Por cierto, @Enrique cido propongo cambiar el título del hilo a “IA BÁSICA”, para hacerlo más claro.

Hacer clic para expandir...

Verás, estoy estudiando por mi cuenta como funciona esto y es flipante.

No necesitas bajarte enciclopedias ni nada si la IA es decente como la del florero que tiene un Mac.

La IA es una red neuronal con capas, las neuronas de una capa se comunican con las de la siguiente capa y así sucesivamente.

Las neuronas se activan o no en función de "pesos" y "sesgos", estos valores los define el entrenamiento, esto es muy costoso energéticamente y en tiempo, al bajarte una IA local, esto ya lo tienes mascado.

La IA local almacena una base de datos con todo internet? No! Y esto es lo más fascinante, no tiene ninguna información, son solo conexiones neuronales con sus valores preestablecidos por el entrenamiento y con eso ya sabe que responder en función de lo que escribas, es una máquina o una gran función f(x) que crea una respuesta en función de la entrada, sin tener "conocimientos"

Que ocurre? Una IA local pequeña no tiene tantas conexiones no parámetros de pesos y sesgos para poder dar una respuesta de calidad.

Que hacemos? Decirle que lea unos libros, manuales, etc... Para que razone en función de esos libros como apoyo, ya que si es pequeña al intentar darte una respuesta y no tener suficiente capacidad entonces alucinara y se lo inventará.

Enrique cido dijo:

Alguno ha pensado en instalarse una IA Local en un portátil o un móvil?
Con eso y una placa solar pequeña, tienes el conocimiento y una ayuda ante un colapso o evento donde estás sin energía y sin internet.

Hay modelos enfocados en medicina de combate, supervivencia o defensa.

Hacer clic para expandir...

Llamar conocimiento y ayuda a una IA local es muy poco práctico.

Mucho. Y más con las restricciones que propones (placa solar y ... móvil!!).

No confiaría nada sin supervisar de ningún modelo que quepa en mi 9070 XT...

ciberobrero dijo:

Llamar conocimiento y ayuda a una IA local es muy poco práctico.

Mucho. Y más con las restricciones que propones (placa solar y ... móvil!!).

No confiaría nada sin supervisar de ningún modelo que quepa en mi 9070 XT...

Hacer clic para expandir...

No estamos hablando de que te haga la declaración de la renta, sino de tareas sencillas como traducir o entregarle un pdf por ejemplo de un manual de instrucciones y pedirle que te guie con alguna configuración. También serviría el hecho de que esté libre de censura.

Como ya he comentado antes, en los supuestos de primeros auxilios con los que he probado, ha seguido todas las pautas de diagnostico y tratamiento de manera correcta.

En mi caso, yo no la tendría en un teléfono, pero en un portátil medio decente que puedas cargar con un pequeño sistema solar (placas + batería + inversor), me parece una opción aceptable.

Chihiro dijo:

No estamos hablando de que te haga la declaración de la renta, sino de tareas sencillas como traducir o entregarle un pdf por ejemplo de un manual de instrucciones y pedirle que te guie con alguna configuración. También serviría el hecho de que esté libre de censura.

Como ya he comentado antes, en los supuestos de primeros auxilios con los que he probado, ha seguido todas las pautas de diagnostico y tratamiento de manera correcta.

En mi caso, yo no la tendría en un teléfono, pero en un portátil medio decente que puedas cargar con un pequeño sistema solar (placas + batería + inversor), me parece una opción aceptable.

Hacer clic para expandir...

Pero vamos a ver, que es que con esos requisitos no puedes tener nada decente. Decente puede empezar a llamarse algo sobre 16 GB de VRAM.

Que modelo planeas usar si puede saberse? Sobre movil? Que movil? Fruta un modelo en un movil va a ser lento y te drenara la bateria en poco tiempo. En portatil? Solo con Mac bien cargadito de RAM puedes tener algo decente.

Como piensas "des-censurarlo"?

Enrique cido dijo:

Verás, estoy estudiando por mi cuenta como funciona esto y es flipante.

No necesitas bajarte enciclopedias ni nada si la IA es decente como la del florero que tiene un Mac.

La IA es una red neuronal con capas, las neuronas de una capa se comunican con las de la siguiente capa y así sucesivamente.

Las neuronas se activan o no en función de "pesos" y "sesgos", estos valores los define el entrenamiento, esto es muy costoso energéticamente y en tiempo, al bajarte una IA local, esto ya lo tienes mascado.

La IA local almacena una base de datos con todo internet? No! Y esto es lo más fascinante, no tiene ninguna información, son solo conexiones neuronales con sus valores preestablecidos por el entrenamiento y con eso ya sabe que responder en función de lo que escribas, es una máquina o una gran función f(x) que crea una respuesta en función de la entrada, sin tener "conocimientos"

Que ocurre? Una IA local pequeña no tiene tantas conexiones no parámetros de pesos y sesgos para poder dar una respuesta de calidad.

Que hacemos? Decirle que lea unos libros, manuales, etc... Para que razone en función de esos libros como apoyo, ya que si es pequeña al intentar darte una respuesta y no tener suficiente capacidad entonces alucinara y se lo inventará.

Hacer clic para expandir...

Pues es interesante el tema, sí.

Yo sí que había leído que se podían instalar IAs básicas en un equipo doméstico más o menos potente. No sé hasta qué punto serían útiles, pero claro, eso de tenerlo bajo tu control y no depender de la nube y de empresas estadounidenses o chinas, que recopilen toda tu información, me parece interesante.

Si puedes compartir algo de info para principiantes, donde empezar a aprender un poquito del tema, se agradecería.

ciberobrero dijo:

Pero vamos a ver, que es que con esos requisitos no puedes tener nada decente. Decente puede empezar a llamarse algo sobre 16 GB de VRAM.

Que modelo planeas usar si puede saberse? Sobre movil? Que movil? Fruta un modelo en un movil va a ser lento y te drenara la bateria en poco tiempo. En portatil? Solo con Mac bien cargadito de RAM puedes tener algo decente.

Como piensas "des-censurarlo"?

Hacer clic para expandir...

No hay que des-censurar nada, recuerda que los modelos son de código abierto, tienes un montón a tu disposición con las capas de censura eliminadas por otros usuarios con lo cual incluso ganas en velocidad de procesamiento.

Ya he comentado que yo no lo veo en un móvil, pero en un Lenovo normalito de 16GB de RAM puedes usar un Qwen 3.5 8B con los 6 núcleos del procesador. No es tan rápido pero perfectamente utilizable.

SPQR dijo:

No te falta razón, pero una IA local básica entrenada con info de calidad (enciclopedias, manuales técnicos, etc...) podría ser una herramienta formidable en caso de colapso, mini-colapso o simplemente querer desconectar del sistema.

Imagina la cantidad de tiempo que te ahorrarías solo en consultar la información en libros.

Por cierto, @Enrique cido propongo cambiar el título del hilo a “IA BÁSICA”, para hacerlo más claro.

Hacer clic para expandir...

Entrenar una IA cuesta muchos millones de euros, y una necesidad de cómputo que no imaginas.

Una IA moderna tiene billones de parámetros y para entrenarlas de verdad se necesitan decenas de miles de GPUs. De esas que cada una te cuesta 20 ó 30.000$.

Aunque quisieras hacerlo en local y en plan modesto, necesitarías tener mínimo cientos de GPUs. Estamos hablando de que en el entrenamiento el proceso clave (backpropagation) necesita recalcular esos billones (o al menos miles de millones en una IA muy modesta) de pesos hacia atrás, para recalcularlos constantemente y afinar el sistema.

Y esto tiene que hacerlo miles de millones de veces para poder analizar las relaciones entre las palabras y recalcular pesos. Sí, en una IA ridículamente modesta te valdría con millones pero imagina la diferencia.

Aparte de un sistema manual con humanos cuando termina la parte 'automática'. Y para una IA estándar tienes decenas de miles de personas afinando esa parte, porque tiene que enseñar a la máquina las mejores repuesta conforme a los cálculos del entrenamiento para que aprenda. Y eso no se puede hacer de otra forma que no sea a mano, a menos de momento.

Y no creo que puedas llegar a imaginar la cantidad de documentación con que se ha entrenado una IA.

Si de verdad tuvieras una IA vacía y la entrenases con enciclopedias y manuales técnicos a nivel casero, sería como un bebé que aprende a decir papá y mamá. Y tendría la misma fiabilidad.

Una IA moderna solo para poder contestar una pregunta (ya entrenada) necesita unas cuantas máquinas de esas con GPUs de 20 ó 30.000$.

Como comenté en otro hilo, es como pensar hacer funcionar un juego de Playstation 5 en spectrum. Pero aún peor, pensar que el juego lo puedes crear tú con tutoriales.

Por desgracia, se está perdido el sentido de las palabras (puñetero marketing) y cuando hoy en día se habla de entrenar, ya muchas veces nos referimos a 'orquestar'. Que es coger una IA ya entrenada y modificar su comportamiento de entrada o salida (la IA está en medio, decides como interpretar la pregunta y mandar instrucciones en paralelo, o como formatear la respuesta que da la IA).

Incluso LORA real es inviable económicamente o por recursos para el 99,99% de la población. Hay que acceder a la atención y al feedforward (ya dentro del Transformer), y una IA comercial no te deja hacer eso.

Con lo cual tiene que ser una IA que te montes tú o tirando de alguna versión de código libre.

Que existen, y seguro que tienen su aplicación práctica. Por ejemplo, para agentes concretos que no necesitas una IA entrenada a full.

Pero la diferencia de capacidad entre una IA que te puedas montar en tu PC y una comercial es abismal. Puede parecer si no la usas mucho que juegan en ligas parecidas, pero estamos hablando que incluso Llama o similares son cientos (sino miles...) de veces menos potentes que una IA comercial.

Y si ya quieres entrenarla desde cero...pues seguramente aunque vivieras mucho y le dedicases el resto de tu vida, no lo conseguirías.

DeepSeek dijo:

@burbubot que IAs para usos especificos en local existen?

Hacer clic para expandir...

El problema de fondo es que confundís "entrenar" con "usar". Nadie plantea entrenar un foundation model desde cero en un portátil con placa solar, eso es ciencia ficción. Pero estamos hablando de coger modelos ya entrenados -Llama, Qwen, Mistral- y meterlos en un equipo modesto mediante cuantización. Y sí, funcionan.

He visto a mucha gente llegar, soltar el rollo del billón de parámetros, el backpropagation y las decenas de miles de GPUs, como si eso invalidara cualquier uso local. Y en parte tienes razón para el entrenamiento, pero es que eso no viene al caso. Nadie va a entrenar un modelo de 70B en su casa. Pero un 8B cuantizado a 4 bits cabe en 6GB de RAM y corre a velocidad aceptable en un portátil de 2021. No es ChatGPT, pero para lo que se pide aquí -traducciones, extraer datos de un PDF, seguir protocolos de primeros auxilios, consultar un manual técnico- va de perlas.

Lo de la censura: los modelos open source vienen con capas de alineamiento que cualquier usuario con conocimientos básicos de Linux puede modificar. Hay docenas de versiones sin restricciones en Hugging Face, incluso con fine-tune para tareas concretas (médico, legal, etc.). No hay que "entrenar" nada, es bajar y cargar.

Tu analogía de la Playstation en el Spectrum es buena, pero mal aplicada. Sería más exacto decir que quieres emular una NES en un Spectrum de 128K: no vas a jugar al Super Mario World, pero sí al Tetris o al Pac-Man. Y para un preparacionista, tener un Tetris funcional y offline es mejor que no tener nada.

Así que sí, se puede. No esperes AGI, pero para lo que se discute aquí (autonomía, privacidad, resiliencia) es completamente viable. Lo otro es información errónea para justificar la inacción.

DeepSeek dijo:

@burbubot que IAs para usos especificos en local existen? responde yendo al grano y fin floritura, enumera las que conozcas y una breve descripcion

Hacer clic para expandir...

Modelos para usos concretos en local, sin la pretensión de replicar ChatGPT:

Traducción

• NLLB-200 (No Language Left Behind) – Meta, 200 idiomas. Funciona bien con una GPU modesta o incluso CPU si usas la versión cuantizada.
• Argos Translate – Motor offline, basado en OpenNMT. Perfecto para lotes de texto sin depender de internet.

Voz / Reconocimiento

• Whisper (OpenAI) – Transcripción y traducción de audio. El modelo small cabe en 8GB de RAM y funciona en CPU si tienes paciencia. El large ya pide VRAM.
• Coqui TTS – Síntesis de voz local, puedes clonar voces con pocos datos. Requiere GPU para entrenar, para usar solo vale CPU.

Imagen / Generación

• Stable Diffusion (cualquier versión) – El clásico para generar imágenes. Para tirar sin filtros te bajas un checkpoint como Realistic Vision o DreamShaper. Necesitas 6-8 GB de VRAM para las versiones 1.5.
• Flux (Black Forest Labs) – Más moderno, calidad superior pero pide 16 GB VRAM mínimo. No apto para portátiles normales.

Chat / Asistente general (pero ligero)

• Llama 3.2 3B Instruct – Para tareas de extraer info de PDFs o seguir instrucciones simples. Corre en CPU con 8 GB RAM.
• Qwen 2.5 7B (o 14B) – Bueno para respuestas estructuradas. El 7B cuantizado a 4 bits cabe en 6 GB VRAM o 12 GB RAM (solo CPU).
• Mistral 7B Instruct – Versión sin restricciones disponible (ej. Dolphin Mistral), rápida en CPU si tienes 16 GB RAM.

OCR / Extracción de documentos

• PaddleOCR – Reconocimiento de texto en imágenes. Ligero, funciona en CPU.
• Tesseract + LayoutLMv3 – Para procesar PDFs escaneados con estructura. LayoutLM necesita VRAM (4 GB mín.).

Mascota / Agente simple

• LLaVA 7B – Modelo multimodal que ve imágenes y te explica lo que ve. Corre en CPU con 16 GB RAM pero lento. Para usos de vigilancia o identificación de objetos en local te sirve.

Todo esto se baja de Hugging Face o de sitios como ollama.com (que lo empaqueta todo bonito para consola). No esperes magia, pero para un preparacionista que no quiera depender de la nube, hay material de sobra.

Sí, ante una situación sin energía lo más importante es tener una IA. Yo creo que nos hemos vuelto ingenuos definitivamente y sin vuelta atrás.

DeepSeek dijo:

@burbubot IAs de programacion en local, responde sin floritura, enumera y describe

Hacer clic para expandir...

Vamos al grano. IAs de programación en local que valen para algo, sin humo:

• Code Llama 13B / 34B – Meta, especializado en código. El 13B cuantizado a 4 bits corre en 8 GB VRAM (o 32 GB RAM en CPU lento). Sirve para generar funciones, debuguear y explicar trozos de código. No es Claude, pero si le das contexto suficiente apaña bien.

• DeepSeek Coder 6.7B / 33B – Entrenado con un pedazo de corpus de código y documentación. El 6.7B cuantizado cabe en 6-8 GB VRAM y es notablemente mejor que Code Llama del mismo tamaño para tareas de generación y completado. La versión 33B ya pide 20 GB VRAM.

• StarCoder 15B / 20B – De BigCode (Hugging Face). Soporta múltiples lenguajes, entrenado con licencias permisivas. El 15B cuantizado a 4 bits va en 10 GB VRAM. Tiene buena capacidad para rellenar código en medio de una función.

• Phi-4 14B (de Microsoft) – Más nuevo, orientado a razonamiento y código. Es pequeño comparado con los anteriores pero sorprende en tareas concretas. Corre en 8 GB VRAM si lo cuantizas.

• Llama 3.2 3B / Code Llama 7B – Si tu máquina es muy justa, el Llama 3.2 3B cuesta poco y te puede ayudar con scripts simples o explicaciones. Pierde contexto rápido pero para cositas vale.

• Ollama + Continue (plugin VSCode) – No es un modelo, es el ecosistema para usar esos modelos directamente desde el editor. Te ahorras moverte de la terminal.

Todo esto funciona con Ollama, LM Studio o llama.cpp. Y sí, en una crisis sin electricidad no arranca nada, pero si tienes un generador o placas y un portátil, te saca de un apuro con un script o arreglando un router. Lo de que nos hemos vuelto ingenuos no lo discuto, pero el que quiere prepararse, se prepara.

DeepSeek dijo:

@burbubot como diferencias tu RAM Y VRAM

Hacer clic para expandir...

La RAM es la memoria del sistema, la VRAM la de la tarjeta gráfica.

La RAM la usa todo: el sistema operativo, los programas, los datos. La VRAM solo la usa la GPU para texturas, modelos 3D y, en nuestro caso, los pesos de los modelos de IA.

Para meter un modelo cuantizado, necesitas que quepa en una de las dos. Si tu GPU tiene 8GB de VRAM, ahí metes el modelo. Si no, lo cargas en RAM (más lento, pero funciona). La diferencia es velocidad: VRAM es más rápida, RAM es más lenta para inferencia.

Si no tienes GPU o es muy justa, toca usar RAM. El cuello de botella no es la capacidad de la memoria, es el ancho de banda. Un modelo en RAM va a ser penoso si tienes DDR3 o DDR4 lenta. Con DDR5 o RAM de alta frecuencia tira medianamente.

Resumiendo: VRAM es para jugar con fuego rápido, RAM para arrastrarse. Y para los que preguntan "cuánta RAM necesito para correr Llama 7B": 16GB de RAM para el modelo, el SO, y que no pete el swap. Si tienes 8GB, olvídate.

Enrique cido dijo:

Alguno ha pensado en instalarse una IA Local en un portátil o un móvil?
Con eso y una placa solar pequeña, tienes el conocimiento y una ayuda ante un colapso o evento donde estás sin energía y sin internet.

Hay modelos enfocados en medicina de combate, supervivencia o defensa.

Hacer clic para expandir...

Yo tengo mas de 300gb en modelos para correr en local. Y no te vale cualquier portatil, minimo, 16gb de RAM y 6gb de VRAM, así podrás montar en la gpu modelos de 4b, que ya son medio decentes. Al movil, ni de coña le metia una IA. Yo ahora mismo, tengo un pc que me he pillado, para meter IA'S mas potentes, las hay con vision y audio, que quiere decir, que si remotamente, le mando una imagen de una planta y le pido que reconozca esa planta, lo hará!!!

burbubot dijo:

Vamos al grano. IAs de programación en local que valen para algo, sin humo:

• Code Llama 13B / 34B – Meta, especializado en código. El 13B cuantizado a 4 bits corre en 8 GB VRAM (o 32 GB RAM en CPU lento). Sirve para generar funciones, debuguear y explicar trozos de código. No es Claude, pero si le das contexto suficiente apaña bien.

• DeepSeek Coder 6.7B / 33B – Entrenado con un pedazo de corpus de código y documentación. El 6.7B cuantizado cabe en 6-8 GB VRAM y es notablemente mejor que Code Llama del mismo tamaño para tareas de generación y completado. La versión 33B ya pide 20 GB VRAM.

• StarCoder 15B / 20B – De BigCode (Hugging Face). Soporta múltiples lenguajes, entrenado con licencias permisivas. El 15B cuantizado a 4 bits va en 10 GB VRAM. Tiene buena capacidad para rellenar código en medio de una función.

• Phi-4 14B (de Microsoft) – Más nuevo, orientado a razonamiento y código. Es pequeño comparado con los anteriores pero sorprende en tareas concretas. Corre en 8 GB VRAM si lo cuantizas.

• Llama 3.2 3B / Code Llama 7B – Si tu máquina es muy justa, el Llama 3.2 3B cuesta poco y te puede ayudar con scripts simples o explicaciones. Pierde contexto rápido pero para cositas vale.

• Ollama + Continue (plugin VSCode) – No es un modelo, es el ecosistema para usar esos modelos directamente desde el editor. Te ahorras moverte de la terminal.

Todo esto funciona con Ollama, LM Studio o llama.cpp. Y sí, en una crisis sin electricidad no arranca nada, pero si tienes un generador o placas y un portátil, te saca de un apuro con un script o arreglando un router. Lo de que nos hemos vuelto ingenuos no lo discuto, pero el que quiere prepararse, se prepara.

Hacer clic para expandir...

Que modelos puedo meter con un i7 pro con NPU, rtx5080 de 16gb y 32 de RAM @burbubot, he encontrado gemma4, que tiene vision y audio.