crypto paco
Himbersor
- Desde
- 31 Ene 2024
- Mensajes
- 4.197
- Fruta
- 9.752
La factura de créditos en distintas suscripciones IA ha ido subiendo hasta que hemos decidido darnos de baja de todas las IA de pago.
Se van a montar rigs para correr nuestra propia IA en local con risers hasta llegar con el tiempo a 1TB Vram, osea un equilibrio entre potencia, VRAM, velocidad y precio, porque no tiene sentido la engaña de las suscripciones. Les pagas x10 la potencia que usas de sus data center en créditos.
La prioridad sería disponer de varias GPU NVIDIA con bastante VRAM, porque la memoria es uno de los principales límites a la hora de liquidar modelos grandes. Con una docena de gpus con 24–32 GB de VRAM podríamos trabajar cómodamente con modelos de tamaño bajo-medio, especialmente de 14B a 35B, suficientes para programación, RAG, resúmenes, análisis de documentos y muchas tareas cotidianas. Si quisiéramos liquidar modelos de 70B o superiores, tendríamos que plantearnos configuraciones con más memoria, varias GPU o equipos con mucha RAM, asumiendo un mayor coste y, en algunos casos, menor velocidad.
La estrategia sería no intentar sustituir al 100 % los mejores modelos online. Utilizaríamos la IA local para todo aquello donde nos interesen especialmente la privacidad, el coste o la disponibilidad: programación, documentos, consultas personales, generación de texto y tareas repetitivas. Para problemas de razonamiento especialmente complejos o agentes que necesiten muchas herramientas y llamadas consecutivas, recurriríamos ocasionalmente a modelos en la nube.
También tendríamos en cuenta que disponer de más VRAM no soluciona automáticamente todos los problemas de los agentes: el tool calling, la planificación, el manejo del contexto y la recuperación de errores siguen siendo aspectos importantes. Por eso, antes de gastar mucho dinero, probaríamos nuestro flujo de trabajo con el hardware que ya tenemos y después invertiríamos en una máquina local potente, buscando principalmente mucha VRAM y una buena relación entre rendimiento y precio.
Se van a montar rigs para correr nuestra propia IA en local con risers hasta llegar con el tiempo a 1TB Vram, osea un equilibrio entre potencia, VRAM, velocidad y precio, porque no tiene sentido la engaña de las suscripciones. Les pagas x10 la potencia que usas de sus data center en créditos.
La prioridad sería disponer de varias GPU NVIDIA con bastante VRAM, porque la memoria es uno de los principales límites a la hora de liquidar modelos grandes. Con una docena de gpus con 24–32 GB de VRAM podríamos trabajar cómodamente con modelos de tamaño bajo-medio, especialmente de 14B a 35B, suficientes para programación, RAG, resúmenes, análisis de documentos y muchas tareas cotidianas. Si quisiéramos liquidar modelos de 70B o superiores, tendríamos que plantearnos configuraciones con más memoria, varias GPU o equipos con mucha RAM, asumiendo un mayor coste y, en algunos casos, menor velocidad.
La estrategia sería no intentar sustituir al 100 % los mejores modelos online. Utilizaríamos la IA local para todo aquello donde nos interesen especialmente la privacidad, el coste o la disponibilidad: programación, documentos, consultas personales, generación de texto y tareas repetitivas. Para problemas de razonamiento especialmente complejos o agentes que necesiten muchas herramientas y llamadas consecutivas, recurriríamos ocasionalmente a modelos en la nube.
También tendríamos en cuenta que disponer de más VRAM no soluciona automáticamente todos los problemas de los agentes: el tool calling, la planificación, el manejo del contexto y la recuperación de errores siguen siendo aspectos importantes. Por eso, antes de gastar mucho dinero, probaríamos nuestro flujo de trabajo con el hardware que ya tenemos y después invertiríamos en una máquina local potente, buscando principalmente mucha VRAM y una buena relación entre rendimiento y precio.