(adjunto visible para usuarios registrados)
En el día de ayer, 8de septiembre, Jacob Coxon, investigador que había trabajado en OpenAI y Anthropic, anunció su renuncia y lanzó una acusación muy seria: sostuvo que ambas empresas están avanzando hacia sistemas cada vez más poderosos sin actuar con la responsabilidad que, a su juicio, exige el riesgo. Su frase fue brutalmente clara: están “apostando con nuestras vidas”.
Coxon no dijo que los modelos actuales estén fuera de control ni que Claude vaya a provocar mañana una catástrofe. Su advertencia apunta al rumbo de la industria: sistemas cada vez más capaces, potencialmente superiores al ser humano en áreas críticas, y una carrera en la que nadie quiere detenerse por miedo a que otro llegue primero.
Lo más inquietante vino después.
Evan Hubinger, responsable de Alignment Science en Anthropic, respondió públicamente y no desmintió el fondo de la denuncia.
Dijo que personalmente atribuye más de un 10 % de probabilidad, durante la próxima década, a una catástrofe existencial causada por IA. Aclaró que considera bajo el riesgo de los modelos actuales, pero reconoció algo mucho más importante: Anthropic todavía no tiene un plan para resolver de forma fiable el alineamiento de una futura superinteligencia y tampoco está claramente encaminada a conseguirlo.
Luego intervino Samuel Marks, también investigador de seguridad en Anthropic. Señaló que hoy existen técnicas para orientar el comportamiento de los modelos, pero no un método que garantice un alineamiento robusto a medida que aumenten sus capacidades. Y explicó una de las estrategias que se están estudiando: utilizar futuras IA para ayudar a investigar cómo alinear a sistemas todavía más avanzados.
La situación, reducida a sus hechos básicos, es ésta: personas que trabajan directamente en el desarrollo y la seguridad de algunas de las IA más avanzadas del mundo consideran plausible un riesgo catastrófico, reconocen que el problema del alineamiento de una futura superinteligencia no está resuelto y, pese a ello, la carrera por aumentar capacidades continúa.
No significa que hoy exista una IA rebelde. No significa que la extinción humana sea inevitable. Pero tampoco es una advertencia de periodistas, novelistas o críticos externos. Proviene de investigadores que trabajan, o trabajaron hasta hace días, dentro de las propias empresas que están construyendo estos sistemas.
Y eso, sin agregar una sola palabra de ciencia ficción, ya debería ser suficiente para prestar atención.
Un jefe de seguridad de Anthropic admite que hay más de 10% de probabilidad de que la IA “mate a todos los humanos”
Anthropic researcher says more than 10% chance AI "could kill all humans"
Anthropic Alignment Lead Issues Warning About AI Killing Humans As Researcher Resigns
En el día de ayer, 8de septiembre, Jacob Coxon, investigador que había trabajado en OpenAI y Anthropic, anunció su renuncia y lanzó una acusación muy seria: sostuvo que ambas empresas están avanzando hacia sistemas cada vez más poderosos sin actuar con la responsabilidad que, a su juicio, exige el riesgo. Su frase fue brutalmente clara: están “apostando con nuestras vidas”.
Coxon no dijo que los modelos actuales estén fuera de control ni que Claude vaya a provocar mañana una catástrofe. Su advertencia apunta al rumbo de la industria: sistemas cada vez más capaces, potencialmente superiores al ser humano en áreas críticas, y una carrera en la que nadie quiere detenerse por miedo a que otro llegue primero.
Lo más inquietante vino después.
Evan Hubinger, responsable de Alignment Science en Anthropic, respondió públicamente y no desmintió el fondo de la denuncia.
Dijo que personalmente atribuye más de un 10 % de probabilidad, durante la próxima década, a una catástrofe existencial causada por IA. Aclaró que considera bajo el riesgo de los modelos actuales, pero reconoció algo mucho más importante: Anthropic todavía no tiene un plan para resolver de forma fiable el alineamiento de una futura superinteligencia y tampoco está claramente encaminada a conseguirlo.
Luego intervino Samuel Marks, también investigador de seguridad en Anthropic. Señaló que hoy existen técnicas para orientar el comportamiento de los modelos, pero no un método que garantice un alineamiento robusto a medida que aumenten sus capacidades. Y explicó una de las estrategias que se están estudiando: utilizar futuras IA para ayudar a investigar cómo alinear a sistemas todavía más avanzados.
La situación, reducida a sus hechos básicos, es ésta: personas que trabajan directamente en el desarrollo y la seguridad de algunas de las IA más avanzadas del mundo consideran plausible un riesgo catastrófico, reconocen que el problema del alineamiento de una futura superinteligencia no está resuelto y, pese a ello, la carrera por aumentar capacidades continúa.
No significa que hoy exista una IA rebelde. No significa que la extinción humana sea inevitable. Pero tampoco es una advertencia de periodistas, novelistas o críticos externos. Proviene de investigadores que trabajan, o trabajaron hasta hace días, dentro de las propias empresas que están construyendo estos sistemas.
Y eso, sin agregar una sola palabra de ciencia ficción, ya debería ser suficiente para prestar atención.
Un jefe de seguridad de Anthropic admite que hay más de 10% de probabilidad de que la IA “mate a todos los humanos”
Anthropic researcher says more than 10% chance AI "could kill all humans"
Anthropic Alignment Lead Issues Warning About AI Killing Humans As Researcher Resigns