IA sin internet. IA local

[Ibar]

Yo he usado alguna cosa en local, pero son modelos flojos que al final no te hacen gran cosa y fallan más que una escopeta de feria. Nada que ver con los modelos buenos.

Quizá algún día podamos tener todos algo decente en local como hoy tenemos un móvil en el bolsillo. Quien sabe.

 

[W.Morgan]

Yo he usado alguna cosa en local, pero son modelos flojos que al final no te hacen gran cosa y fallan más que una escopeta de feria. Nada que ver con los modelos buenos.

Quizá algún día podamos tener todos algo decente en local como hoy tenemos un móvil en el bolsillo. Quien sabe.

Las que hay ahora ya van bien para ciertas tareas. Por ejemplo, para web scraping y cosas así repetitivas y sencillas.

Yo tengo una app que revisa el BOE diariamente para encontrar cosas intesantes, y hace un primer filtrado con palabras clave como toda la vida pero luego le pasa el texto a una IA local en un macbook de 16gb de ram para el filtrado final, y a la IA se le pide una respuesta en un formato concreto (json), y da un resultado muy bueno. Luego eso el programa lo recibe y lo mete a una database.

Para cosas así las IAs locales actuales ya van sobradas. Y eso con 16 de ram, un portatil mas o menos normal. No merece la pena para esto meter un modelo local de los rellenitos porque enviarle el trabajo de esto a una IA de datacenter como GPT costaría cosa de 2 euros al mes o menos. Pero para cosas de datos personales o si tienes ya un cacharro medio competente para mover una IA local y que gaste poco y no te importa tenerlo encendido, pues eso, que van muy bien las IAs locales para estas cosas.

 

[dedalus]

Si, y lo de los ordenadores modulares no creo que aguante muchos años más ya.
Es el único aparato modular que ha logrado funcionar en el mercado, pero con esto de la IA me parece que se le acaba el tiempo.

Si empiezan a sacar ordenadores estilo apple, o como esos de nvidia pero mas baratos, que puedan mover IA local, juegos y tal, no creo que sea nada rentable seguir con las torres. A parte de que ahora mismo están ya carisimas.

Si fuerzan eso será una clara muestra de estancamiento porque así logran disminuir la reparabilidad y que sea mas fácil que alguien se compre otro igual siendo apenas superior por no poder arreglarlo cambiando piezas.
Pero ojo, que la mayoría de la reparabilidad de un pc la da la unidad de almacenamiento desmontable y sobre todo la fuente de alimentación universal. Una especie de SoC en zócalo en la placa no sería el fin del concepto.

En los 2000s los portátiles se volvieron lo bastante baratos y potentes para tenerlos de ordenador para todo y usarlos en casa. Ahora eso la gente ya no lo hace tanto porque cualquiera de mesa es mucho mas fiable, y hoy en día encuentras en cualquier esquina o hasta un hotel algo que te haga de monitor. Mas lo que puedan haberse comido las funciones de los móviles.

 

[deckard009]

LM Studio, una buena grafica con mucho vram y mucha ram en el pc, y a correr.

 

[djun]

 

[W.Morgan]

La gracia del agente local está en privacidad y en ahorrar 2 euros al mes en tokens de ChatGPT. A cambio ocupa el ordenador bastante. En mi caso, tiene sentido para la parte de revisarme los mails por privacidad, pero por ahorrarme 1 euro al mes en tonkens no mucho.

 

[sociedadponzi]

con esas generalidades no entendi nada

 

[djun]

con esas generalidades no entendi nada

Yo tampoco creas que lo entendí. Pero la IA me explota la cabeza.

 

[Ibar]

No sé, no soy un experto en el tema, pero en 10-15-20 años las cosas pueden cambiar mucho.

 

[djun]

Probando el MCP Viral que Puede Recrear Cualquier Software

 

[djun]

No te pongas a construir tu app con IA hasta que no tengas estos seis documentos.

El primero es el PRD, el documento de requisitos de producto. Ahí van todas las funcionalidades, qué estás construyendo exactamente y un resumen de la idea general.

El segundo es el TRD, el de requisitos técnicos. Aquí metes tus decisiones técnicas: el stack, las herramientas y las APIs que piensas usar. Le da a tu agente un plano para decidir sin tener que adivinar.

El tercero es el flujo de la app: las fases, la navegación, el recorrido del usuario y qué pasa exactamente cuando alguien pulsa un botón. El cuarto es el brief de diseño: pueblerino, tipografía, componentes y cómo tiene que verse cada pantalla.

El quinto es el esquema del backend: cómo se guardan los datos, el flujo de autenticación, cada tabla con sus columnas y relaciones. Y el sens es el plan de implementación: la secuencia exacta de construcción paso a paso.

Los seis los puedes crear con Claude en un rato. Juntos hacen que tu agente entienda tu app de verdad.

Lo que más me llama la atención es que el problema casi nunca es la IA, es la falta de contexto. Si el agente tiene que adivinar, adivina mal. Con estos seis documentos deja de improvisar y empieza a construir.

Primero los planos, después el código.

 

[chocolate]

Parecido:

https://www.reddit.com/r/BestGitHubRepos/comments/1x4wfct/project_nomad_project_nomad_is_an_offlinefirst

 

[djun]

¿Qué tal es el Open Code?

 

[djun]

Cómo crear Skills.

Spoiler

 

[djun]

AutoClaw te deja correr un agente IA en tu propio PC

 

[Perimetro]

aqui esperando a que salga el siguiente Qwen MoE "mediano"...dicen los rumores que para este mes.
abliterated + un poquito de LoRA cual aquarius para que recupere despues del mal trago y perfecto.

 

[Perimetro]

Las que hay ahora ya van bien para ciertas tareas. Por ejemplo, para web scraping y cosas así repetitivas y sencillas.

Yo tengo una app que revisa el BOE diariamente para encontrar cosas intesantes, y hace un primer filtrado con palabras clave como toda la vida pero luego le pasa el texto a una IA local en un macbook de 16gb de ram para el filtrado final, y a la IA se le pide una respuesta en un formato concreto (json), y da un resultado muy bueno. Luego eso el programa lo recibe y lo mete a una database.

Para cosas así las IAs locales actuales ya van sobradas. Y eso con 16 de ram, un portatil mas o menos normal. No merece la pena para esto meter un modelo local de los rellenitos porque enviarle el trabajo de esto a una IA de datacenter como GPT costaría cosa de 2 euros al mes o menos. Pero para cosas de datos personales o si tienes ya un cacharro medio competente para mover una IA local y que gaste poco y no te importa tenerlo encendido, pues eso, que van muy bien las IAs locales para estas cosas.

No solo es lo que ganas en privacidad e independiencia (que no es poco) sino lo que ganas en flexibilidad, sin negativas, sin inflado de tokens, sin caidas por razones ajenas, sin que entrenen a otros con tus modelos, sin filtracion de secretos profesionales, sin que usen tus conversaciones para acusarte en un juicio, y sobre todo: POR SOBERANIA de tu infraestructura.

 

[chocolate]

Vuestras plegarias han sido oidas!

https://www.reddit.com/r/LovingOpenSourceAI/comments/1xjg96n/someone_packed_930000_wikipedia_articles_fema_and

PD: Para inferencia local recomiendo pi-bolt que es lo más lonchafinista que hay ahora mismo

 

[djun]

Meten una IA de 2,78 Billones en 8 GB de RAM con 176 KB en C

Un programador metió una IA gigante de 2,78 billones de parámetros en 8 GB de RAM usando solo 176 KB en C​

​

1. Hablamos de Kimi K3 en C puro (+9.200 estrellas en GitHub).​

2. Cero PyTorch, cero librerías pesadas y sin necesitar tarjeta gráfica dedicada.​

3. Lee en 4 bits solo los expertos activos directo desde el SSD en cada paso, devolviendo exactamente la misma respuesta palabra por palabra que una máquina 25 veces más cara.​

 

[djun]

Olvida la Fruta Cuántica: Los Chips Neuromorficos son el Futuro

Exploramos la Fruta Neuromórfica, la tecnología revolucionaria que crea chips de silicio que imitan el cerebro humano. Descubre cómo las Redes Neuronales de Impulsos (SNN) y los memristores están solucionando el insostenible consumo energético de la Inteligencia Artificial. Analizamos sus orígenes, cómo funcionan, sus sorprendentes usos en robótica espacial, prótesis biónicas y los riesgos éticos de máquinas que reconfiguran su hardware para aprender en tiempo real.​