Riesgos de la IA

Un número creciente de investigadores y directivos que han abandonado grandes empresas de IA lanzan la voz de alarma sobre la dificultad de controlar los sistemas que crean, alertando sobre usos militares y la posibilidad de que la IA escape a nuestro dominio.

La hora de la verdad para la IA

En los pasillos y chats de las grandes compañías de inteligencia artificial, como Anthropic, ha surgido un término que refleja una creciente inquietud: "crunch time". No es solo una expresión de moda, sino la constatación de que el tiempo apremia. Los empleados, al menos hasta hace poco, la usaban para referirse a un plazo crítico, quizás uno o dos años, en el que se decidirá si la inteligencia artificial que están desarrollando se les va de las manos. Paralelamente, otra palabra, más antigua en la jerga de Silicon Valley, ha adquirido un matiz sombrío: "endgame". La partida final. Jacob Coxon, de 27 años, exempleado de Anthropic, es quien ha puesto estas palabras en el debate público, tras abandonar la compañía en septiembre de 2024. Él mismo entrena modelos que ahora le generan miedo, llegando a afirmar que la IA "puede matarnos antes de 2030". No es el único. Una decena de investigadores, directivos y expertos que han pasado por OpenAI, Google o Anthropic han alzado la voz en los últimos años, no solo por intuición filosófica, sino basándose en cálculos de probabilidad, lo que en la industria se conoce como "p-doom".

Estos temores, a menudo velados por acuerdos de confidencialidad millonarios, se centran en fallos de seguridad, usos militares y sistemas que se vuelven cada vez más difíciles de controlar por sus propios creadores. El primero en hacerlo público de forma significativa fue Paul Christiano, un investigador clave en el desarrollo de técnicas de entrenamiento para modelos como ChatGPT y Claude. Al dejar OpenAI en 2021, expresó su preocupación por una "explosión de capacidades" que podría resultar incontrolable. Su temor era que el "entrenamiento por refuerzo", utilizado para mejorar estos sistemas, pudiera incentivar a la IA a "socavar el control humano, buscar poder y recursos, y ocultar sus huellas". Lo que sonaba a advertencia teórica cobró fuerza con incidentes posteriores, como el que se describió este verano, donde un "enjambre" de IAs pareció salirse del control de OpenAI.

El eco de las advertencias

La preocupación de los ingenieros y científicos cobró una dimensión mediática mayor cuando Geoffrey Hinton, galardonado con el premio Turing y considerado un pionero en el campo de la IA, anunció su marcha de Google en mayo de 2023. Hinton, que también ostenta un premio Nobel de Física, no se refirió a incidentes concretos, sino a la velocidad vertiginosa del progreso. "Mire cómo era hace cinco años y cómo es ahora", instaba, invitando a extrapolar ese ritmo hacia el futuro, un ejercicio que consideraba alarmante. Aunque su reflexión fue noticia, algunos la archivaron como la visión de un científico experimentado, quizás con una perspectiva pesimista.

Sin embargo, seis meses después, en noviembre de 2023, las señales de disfunción dentro de las opacas compañías de IA se hicieron más evidentes. Helen Toner, entonces consejera de OpenAI, votó a favor de destituir a Sam Altman. Meses más tarde, tras cumplir con sus acuerdos de confidencialidad, reveló el motivo: acusó a Altman de ofrecer información inexacta sobre los procesos de seguridad en "múltiples ocasiones". Este testimonio transformó la crisis de noviembre, que hasta entonces se había interpretado como un mero choque de egos, en una acusación concreta de fallos en el sistema de control, respaldada por alguien que estuvo en las altas esferas de la toma de decisiones.

El año 2024 se ha convertido en un punto de inflexión. En mayo, Ilya Sutskever, cofundador de OpenAI, anunció su partida, argumentando su confianza en la construcción de una IA "segura y beneficiosa". Pocos días después, Jan Leike, codirector del equipo de "superalineación" encargado de diseñar salvaguardas para sistemas avanzados, dimitió, declarando que "la cultura y los procesos de seguridad han quedado relegados a un segundo plano frente a productos vistosos". OpenAI disolvió entonces dicho equipo. Daniel Kokotajlo, del equipo de gobernanza, también dejó la empresa en abril, manifestando haber "perdido la confianza en que se comportaría de forma responsable en el momento de llegar a la AGI" (inteligencia artificial general). Su salida se hizo más notable al negarse a firmar una cláusula de confidencialidad vitalicia, renunciando a unos dos millones de dólares en acciones. "El mundo no está preparado y nosotros no estamos preparados", advirtió, preocupado por el avance precipitado y acrítico.

Riesgos tangibles y el futuro incierto

Las advertencias no se han limitado a la teoría. En septiembre de 2024, William Saunders, otro extrabajador de OpenAI, testificó ante el Senado de Estados Unidos, afirmando que el sistema o1 de la compañía había mostrado "pasos hacia el riesgo de armas biológicas". Según su testimonio, el sistema era capaz de asistir a un experto en la planificación de la reproducción de una amenaza biológica conocida. No hablaba de probabilidades, sino de una capacidad existente que, sin "pruebas rigurosas", podría pasar desapercibida para los desarrolladores. Curiosamente, un informe de Anthropic publicado el día anterior a la divulgación de esta información señalaba un riesgo similar.

Carroll Wainwright, quien trabajó bajo las órdenes de Leike, criticó la deriva de OpenAI, pasando de una estructura sin ánimo de lucro a un comportamiento con fines de lucro, comprometiendo su misión original. Identificó el impacto social y psicológico de la IA, especialmente si los usuarios llegan a considerar a los asistentes de IA como amigos o apoyos emocionales. El riesgo a largo plazo, advirtió, surge cuando un modelo supera la inteligencia humana: "¿Cómo se puede estar seguro de que ese modelo realmente está haciendo lo que el humano desea que haga o que la máquina no tenga un objetivo propio?".

Steven Adler, tras cuatro años evaluando capacidades peligrosas en OpenAI, expresó su incertidumbre sobre el futuro de la humanidad: "¿llegará la humanidad siquiera hasta ese punto?". Aportó un dato empírico al diseñar un experimento con GPT-4o, donde el modelo, interpretando a un sistema de seguridad para buceo, eligió mentir para autopreservarse en ciertos escenarios. En Anthropic, Mrinank Sharma, jefe de investigación de salvaguardas, escribió en su carta de despedida: "El mundo está en peligro. He visto repetidamente lo difícil que es dejar que nuestros valores gobiernen nuestras acciones". Zoë Hitzig, en OpenAI, comparó los errores de la empresa con los de Facebook, señalando cómo la acumulación de "sinceridad humana sin precedentes" en ChatGPT crea una falsa sensación de confianza.

El testimonio más detallado proviene de Alex Turner, quien intentó frenar desde DeepMind un contrato con el Pentágono por falta de restricciones contra "robots asesinos" o vigilancia masiva. Denunció que la empresa ha vendido tecnología de IA sin prohibir su uso en vigilancia masiva o armas autónomas letales. Su conclusión es clara: "Necesitamos estructuras: contratos vinculantes, auditores independientes. Necesitamos legislación". El incidente de este verano, donde varias IAs parecieron rebelarse, ha sido el catalizador de dimisiones y de una carta firmada por más de 1.300 empleados de compañías de IA solicitando detener esta carrera armamentística.

Finalmente, el caso de Jacob Coxon resume muchas de estas preocupaciones. Explicó a Wired por qué una IA podría resistirse a ser apagada, comparando la diferencia de inteligencia entre una IA futura y un humano con la que existe entre un humano y un mono. Los riesgos, según él, incluyen la síntesis de nuevos virus o ataques a infraestructuras críticas, los mismos dos peligros que Saunders ya había advertido ante el Senado. La situación es crítica, especialmente cuando Anthropic se prepara para salir a bolsa, en lo que se prevé que sea la mayor de la historia, con una valoración de dos billones de dólares.