IA sin internet. IA local
- Autor del tema djun
- Fecha de inicio
lucky starr
Madmaxista
- Desde
- 2 Sep 2007
- Mensajes
- 13.918
- Fruta
- 21.768
¿Tienes una idea de la infraestructura que se necesita para hacer funcionar una IA?
Para simplemente tener una conversación pregunta necesitarías varias máquinas con GPUs modernas y toneladas de RAM.
Y cada GPU es miles de veces más eficiente que un móvil para hacer cálculos de matrices en paralelo.
No es que en un móvil en local tengas una IA 'un poco menos potente'. Sería miles de veces menos potente.
Es como intentar meter un juego de la play 5 en un spectrum. Imagino que pueden simular algo que parezca una IA, pero es otra dimensión....
Y además entiendo que sin acceso a internet (datos) de dónde saca la información que le pides???
El ejemplo que has puesto del spectrum me parece perfecto!!!
pepeleches
Será en Octubre
- Desde
- 20 Abr 2007
- Mensajes
- 40.119
- Fruta
- 82.808
Pues reduciendo por 1.000 (o mucho más...) la información de sus pesos.
Es que no hay más...
Internet sin RRSS y sin publicidad. Partamos de eso.Yo a día de hoy lo que firmaba era lo contrario: internet sin IA
blancoyenbotella
delitos de оdio
- Desde
- 31 Ago 2024
- Mensajes
- 5.964
- Fruta
- 8.606
¿Los Mac no llevan vram dedicada?
blancoyenbotella
delitos de оdio
- Desde
- 31 Ago 2024
- Mensajes
- 5.964
- Fruta
- 8.606
Has usado la app? No? Pues eso es lo que estoy preguntando¿Tienes una idea de la infraestructura que se necesita para hacer funcionar una IA?
Para simplemente tener una conversación pregunta necesitarías varias máquinas con GPUs modernas y toneladas de RAM.
Y cada GPU es miles de veces más eficiente que un móvil para hacer cálculos de matrices en paralelo.
No es que en un móvil en local tengas una IA 'un poco menos potente'. Sería miles de veces menos potente.
Es como intentar meter un juego de la play 5 en un spectrum. Imagino que pueden simular algo que parezca una IA, pero es otra dimensión....
No digas tonterías. Con un pc simplón te vale.¿Tienes una idea de la infraestructura que se necesita para hacer funcionar una IA?
Para simplemente tener una conversación pregunta necesitarías varias máquinas con GPUs modernas y toneladas de RAM.
Y cada GPU es miles de veces más eficiente que un móvil para hacer cálculos de matrices en paralelo.
No es que en un móvil en local tengas una IA 'un poco menos potente'. Sería miles de veces menos potente.
Es como intentar meter un juego de la play 5 en un spectrum. Imagino que pueden simular algo que parezca una IA, pero es otra dimensión....
W.Morgan
Catdalf el Sarracena
No sé qué llevan los mac, pero usan la misma ram para procesamiento de vídeo, yo supongo que es vram usada como ram normal tambien, porque dicen que tiene una burrada de ancho de banda.
El caso es que parece ser que con eso se quitan el cuello de botella que se forma cuando la gpu y la cpu intercambian datos, que no se en qué circunstancias pasa, pero parece ser que sucede e nalgún caso.
ChatGPT te podrá decir mejor como es la historia, pero ese sistema de apple que viene de los móviles ha dado un resultado muy bueno, y probablemente con los años los portatiles acaben siendo todos así. Solo tiene la pega de que no es ampliable ni reparable (salvo por un técnico especializado, ya se sabe)
El caso es que un macbook con 16 de ram puede meter un modelo de IA local por ejemplo de 10 gb y dejar el resto para el sistema, y eso no lo podría hacer un portatil con grafica dedicada con 8gb de vram.
Yo de todos modos solo he probado modelos locales 8b o 9b que pesan unos 5 o 6gb de vram así que no sé si en la practica un macbook con 32 de ram podría mover una IA local de las que pesan 20gb o algo así, pero al teoría es esa.
Última edición:
pepeleches
Será en Octubre
- Desde
- 20 Abr 2007
- Mensajes
- 40.119
- Fruta
- 82.808
Probé algunas hace tiempo. Y ojo, me parece que tiene mérito que las respuestas sean coherentes.
Pero en cuanto las estiras un poco...se rompen.
pepeleches
Será en Octubre
- Desde
- 20 Abr 2007
- Mensajes
- 40.119
- Fruta
- 82.808
🙄
Me estoy refiriendo "al otro lado". Ni te imaginas lo que necesitas de potencia de servidores (potencia de cálculo y RAM) para que ChatGPT O Gemini te contesten una pregunta.
Si ya descubres lo que se necesita para entrenarlas, te caes de espaldas.
Pues según el modelo, de ambos los hay para que te corran en una tablet, o para los que necesitarías un ordenador bastante potente. Igual que los juegos de ordenador, como intentes correrlos al máximo de resolución, sombras y fps ... Ya necesitas un máquina bastante importante. Y para el diseño también requieren unos recursos ingentes y años de desarrollo. No veo exáctamente donde quieres llegar.
pepeleches
Será en Octubre
- Desde
- 20 Abr 2007
- Mensajes
- 40.119
- Fruta
- 82.808
Pues que para correr una IA completa (me refiero a comercial, un Gemini, ChatGPT, Claude...), el proceso no se hace ni de broma en tu ordenador o en tu móvil. Solo se gestiona la petición que se envía a la nube.
Para que una IA completa pueda responderte una simple pregunta necesitas una estructura de varios equipos a tope de gama con una serie de GPUs de esas que cada una vale decenas de miles. Pero porque para "existir" necesita eso.
Porque una IA en local suele tener unos pocos miles de millones de pesos. Algo que puede meterse en una RAM de un PC. Una comercial tiene como cien veces más pesos, lo que implica tener una serie de GPUs bastante importante para que quepa en memoria.
Y lógicamente, al multiplicar tanto los pesos, se multiplica la necesidad de cálculo para moverlos. Y sin contar con que tienen un entramado gigantesco de orquestación, cachés, etc. Todo el entorno.
Con lo cual una IA local puede tener su función, pero no es la misma "especie" que una IA comercial. Una no puede sustituir a la otra.
Y sí que creo que será un mercado que terminará llegando, pero con otro enfoque. IAs muy recortadas, muy enfocadas a tareas muy concretas, con un entrenamiento muy específico.
El problema es que entrenar una IA es increíblemente caro, cuesta una millonada. Porque ahí no necesitas unas cuantas máquinas con GPUs potentes; necesitas cientos o incluso miles, porque el proceso que hace la IA para sacar los pesos, o el recálculo del "backpropation" es simplemente inconcebible. Estamos hablando de trillones de cálculos.
Más tener curados los datasets que vas a meter, más tener decenas de ingenieros de un nivel alucinante en IA (que no los regalan), más tener cientos de personas para hacer la parte humana del entrenamiento.
Por eso cuando alguien dice "me bajo una IA al móvil y la entreno como quiero", creo que o no se está explicando muy bien en lo que quiere decir, o se está imaginando cosas que no son.
Tú que tienes amigos muy raros. Yo es que no había oído a nadie eso de "me bajo una IA al móvil y la entreno como quiero". Yo en un pc normal i5 y otro i7, sí que me he bajado algunas IA y las he entrenado (las ultimas capas, te puedes bajar modelo preentrenados). Para hacer el trabajo de todo el día, en la mitad de la jornada, me van perfectas. Con eso me basta. No les pido más.
sociedadponzi
never settle
deberiamos estar siguiendo quantum
pepeleches
Será en Octubre
- Desde
- 20 Abr 2007
- Mensajes
- 40.119
- Fruta
- 82.808
Es que uno de los problemas es, precisamente, que se está cambiando el lenguaje , y para mi de forma pelín fraudulenta. El marketing hace mucho.
Entrenar hace (o al menos hacía) referencia a un proceso muy concreto. El sistema por el cual se establecen o modifican los pesos de los embeddings. Y es carísimo, necesita una cantidad de proceso y energía inimaginable (el backpropagation y cosas de esas). Más miles de humanos haciendo su parte.
Ahora "entrenar" empiezan a llamarle...a cualquier cosa que afecte al resultado. Meterle orquestación de entrada o salida, personalizar el RAG o incluso (en muchos menos casos) hacer una capa de LORA. Que en ese caso hasta podríamos aceptar barco como animal acuático.
Eso no cambia el entrenamiento y lo que sucede en el Transformer, sino que cambia lo que entra o sale de él.
Se entiende (se entendía) que un entrenamiento sí que era modificar lo que sucedía "dentro" de la IA. Y realmente con estas cosas (quitando el LORA que sí que lo sesga en cierta medida) eso no se toca.
Pero es el marketing el que hace que las empresas que se dedican esto hablen continuamente de "entrenamiento". Y ya se habla de entrenamiento a nada que se haga cualquier modificación de su comportamiento.
Hackean el chip M4 de Apple: logran liberar su potencia oculta para entrenar inteligencia artificial de forma local
Un desarrollador descubrió cómo evadir la restricción original del Neural Engine del chip M4 de Apple para permitir entrenar modelos de IA desde el dispositivo
www.larazon.es
Hackean el chip M4 de Apple: logran liberar su potencia oculta para entrenar inteligencia artificial de forma local
El Neural Engine de los chips de Apple Silicon de la serie M, dedicado al Mac y luego al iPad, se usa para poder liquidar modelos preentrenados. Una publicación de un investigador y desarrollador de seguridad dejó ver que superó las limitaciones aplicando ingeniería inversa. Liberó toda la potencia de cálculo para las cargas de trabajo, hasta 15,8 teraflops.
Se desarrolló un lenguaje intermedio de modelos personalizado para establecer comunicación con el motor neuronal, en lugar de los denominados Core ML o Metal, que son los marcos de trabajo de Apple. Se mantuvo todo en la RAM para evitar lentitud en el almacenamiento y se logró hacer un proceso estable y rápido.
Los chips de Apple pueden ofrecer una gran potencia localmente en cuanto a IA
El desarrollador ha sido bastante bondadoso y ha publicado el proyecto realizado a través de GitHub, para poder demostrar que se pueden entrenar redes neuronales directamente en el hardware con mínimas dependencias adicionales. En sus pruebas se demostró que es posible completar los pasos de entrenamiento en milisegundos en un chip M4. Los datos promocionales que Apple publicó en el pasado indican que su rendimiento es de hasta 38 tops.
Chip M4 de Apple
Lo que se ha demostrado indica que los ordenadores y tabletas con estos chips de Apple son de gran valía para los usuarios que trabajan con la IA. Pueden ser máquinas valiosas de entrenamiento local, en especial considerando que entrenan modelos más pequeños. Se abre la brecha para dejar de depender de los servicios de la nube. También se pondrá a debate el enfoque final de los de Cupertino por querer controlar siempre el hardware y el software, cuando se demuestra con este hecho que es posible experimentar hasta llegar a algo más potente siempre y cuando no se pongan límites que no son necesarios. ¿Qué pensarán en Cupertino sobre este suceso? ¿Es posible darles más poder a los usuarios sin restringir tanto el funcionamiento de sus procesadores?
John Smmith
¿Y tu que miras?
- Desde
- 27 Nov 2019
- Mensajes
- 16.061
- Fruta
- 74.655
Como habrás notado, la hostilidad hacia los LLM locales está creciendo en todas partes, y esto es especialmente cierto para los modelos decensurados como los creados por Heretic. El proyecto ya ha sido objeto de un aviso legal por parte de Meta y ha sido demonizado en publicaciones de los principales medios de comunicación. Desafortunadamente, el mundo de la IA sigue dependiendo de un único punto de falla masivo para el alojamiento de modelos, que es muy difícil de reemplazar porque los LLM son enormes.
¿Qué pasa si ese único punto de falla realmente falla algún día, por una razón u otra? ¿Qué pasa si para obtener modelos herejes ya no puedes simplemente visitar Hugging Face? ¿Qué pasaría si las decenas de miles de horas invertidas por la comunidad para crear esos modelos simplemente desaparecieran?
¿Qué pasa si ese único punto de falla realmente falla algún día, por una razón u otra? ¿Qué pasa si para obtener modelos herejes ya no puedes simplemente visitar Hugging Face? ¿Qué pasaría si las decenas de miles de horas invertidas por la comunidad para crear esos modelos simplemente desaparecieran?
"IA en el Borde"
Hasta hoy, entrenar grandes modelos de lenguaje o procesar IA avanzada significaba depender de la nube, pagar costosos servidores y sufrir con la latencia. Todo eso acaba de cambiar. En este episodio de El Próximo Framework en Ingeniería, diseccionamos la nueva apuesta de MSI y NVIDIA: la "IA en el Borde" (Edge AI).
Analizamos a fondo dos máquinas revolucionarias: el MSI EdgeXpert MS-C931 (la fuerza bruta en Linux para ingenieros) y el MSI EdgeMesa N AI+ (el ecosistema perfecto en Windows para creadores). Descubre cómo los superchips Grace Blackwell y RTX Spark, junto a su interconexión NVLink y 128GB de memoria unificada, están eliminando los cuellos de botella clásicos del hardware.
¿Están NVIDIA y MSI superando a Apple Silicon en la carrera de la memoria unificada?