spamrakuen
Será en Octubre
Cada pocos meses aparece un nuevo modelo de Inteligencia Artificial prometiendo hacer el trabajo de programadores, diseñadores, arquitectos o prácticamente cualquier persona que tenga delante un ordenador. El problema llega cuando dejamos atrás las demostraciones preparadas por compañías como OpenAI, Anthropic o Google, y le pedimos a esa IA algo mucho más sencillo de explicar: hacer un trabajo real y entrégalo con una calidad por la que alguien estaría dispuesto a pagar, y ahí, llega el fracaso.
Eso es precisamente lo que hace el Remote Labor Index (RLI), desarrollado por el Center for AI Safety (CAIS) junto a Scale Labs. Los resultados son brutales, porque de la ficción de los laboratorios a la realidad hay un GAP, una distancia, que se podría considerar como sideral.
Y para sorpresa de unos pocos, solo unos pocos incautos, los resultados son bastante esclarecedores. Fable 5, el mejor modelo evaluado, únicamente consiguió completar satisfactoriamente el 15,8% de los trabajos. Opus 4.8 alcanzó un 8,3%, mientras que GPT-5.5 se quedó en un 6,3%. Dicho de otra forma, incluso el sistema que encabeza actualmente este benchmark fracasa en algo más del 84% de los encargos, de ahí ese 85% redondeado.
Es una cifra tan sumamente contundente que apenas se puede considerar el pagar por ello, ya que viendo los datos se puede llegar a entender que la IA es, actualmente, un fracaso, aunque eso sí, avanza rápido.
El problema es que hacer algo aparentemente correcto no significa entregar un trabajo profesional. En uno de los ejemplos, Fable 5 debía recrear un anillo de compromiso mediante CAD. El resultado mejoró enormemente frente a modelos anteriores, pero los propios investigadores seguían calificando su acabado como poco profesional.
Más llamativo todavía fue GPT-5.5. En un trabajo de arquitectura debía generar planos y renders de un baño. Su imagen final parecía convincente, pero al abrir el proyecto 3D aparecía una geometría defectuosa y sin texturas. La buena imagen presentada como render había sido generada mediante IA y no correspondía realmente al modelo 3D entregado.
Y aquí está probablemente la lectura más interesante. La IA ya puede ahorrarnos enormes cantidades de tiempo e incluso completar determinados trabajos de principio a fin, pero todavía existe una distancia enorme entre generar algo que parece profesional y entregar algo que realmente lo sea. Por ahora, ese último vistazo humano sigue teniendo bastante trabajo por delante.
Eso es precisamente lo que hace el Remote Labor Index (RLI), desarrollado por el Center for AI Safety (CAIS) junto a Scale Labs. Los resultados son brutales, porque de la ficción de los laboratorios a la realidad hay un GAP, una distancia, que se podría considerar como sideral.
La IA es un fracaso en entornos reales y dispara los costes para hacer un trabajo realmente deficiente
Aquí no tenemos preguntas de examen ni problemas matemáticos especialmente diseñados para una IA, o benchmarks para comprobar su rendimiento y poder compararlas, sino encargos profesionales reales de diseño 3D y CAD, arquitectura, diseño gráfico, animación, audio, análisis de datos o desarrollo web. Después, evaluadores humanos comparan el resultado de la IA con el trabajo entregado originalmente por un profesional.Y para sorpresa de unos pocos, solo unos pocos incautos, los resultados son bastante esclarecedores. Fable 5, el mejor modelo evaluado, únicamente consiguió completar satisfactoriamente el 15,8% de los trabajos. Opus 4.8 alcanzó un 8,3%, mientras que GPT-5.5 se quedó en un 6,3%. Dicho de otra forma, incluso el sistema que encabeza actualmente este benchmark fracasa en algo más del 84% de los encargos, de ahí ese 85% redondeado.
Es una cifra tan sumamente contundente que apenas se puede considerar el pagar por ello, ya que viendo los datos se puede llegar a entender que la IA es, actualmente, un fracaso, aunque eso sí, avanza rápido.
Mejora muchísimo, pero todavía necesita que revisemos su trabajo
Que nadie interprete estos datos como que la IA no está avanzando. Todo lo contrario. Cuando se estrenó el Remote Labor Index, el mejor sistema apenas conseguía automatizar un 2,5% de los trabajos, por lo que pasar al 15,8% en menos de un año muestra hasta qué punto están evolucionando estos modelos.El problema es que hacer algo aparentemente correcto no significa entregar un trabajo profesional. En uno de los ejemplos, Fable 5 debía recrear un anillo de compromiso mediante CAD. El resultado mejoró enormemente frente a modelos anteriores, pero los propios investigadores seguían calificando su acabado como poco profesional.
Más llamativo todavía fue GPT-5.5. En un trabajo de arquitectura debía generar planos y renders de un baño. Su imagen final parecía convincente, pero al abrir el proyecto 3D aparecía una geometría defectuosa y sin texturas. La buena imagen presentada como render había sido generada mediante IA y no correspondía realmente al modelo 3D entregado.
Y aquí está probablemente la lectura más interesante. La IA ya puede ahorrarnos enormes cantidades de tiempo e incluso completar determinados trabajos de principio a fin, pero todavía existe una distancia enorme entre generar algo que parece profesional y entregar algo que realmente lo sea. Por ahora, ese último vistazo humano sigue teniendo bastante trabajo por delante.