El problema del alineamiento de la IA

El debate sobre a quién debe obedecer la IA​

En el hilo se sostiene que el problema del alineamiento de la inteligencia artificial no es solo un problema de ingeniería, sino una cuestión de propiedad: toda la discusión técnica sobre cómo conseguir que un sistema persiga los fines que le pedimos esconde una pregunta anterior, quién decide cuáles son esos fines.

La referencia ineludible sigue siendo Superinteligencia, el libro que Nick Bostrom publicó en 2014, donde se sostienen dos tesis que gobiernan el resto del debate: la ortogonalidad y la convergencia instrumental. Las dos tesis que sostienen todo el debate

El punto de partida es incómodo: una inteligencia muy superior a la humana puede perseguir objetivos completamente ajenos a nuestros intereses, sin que exista correlación entre potencia y bondad. La misma lógica que lleva a un sistema a resolver un problema puede empujarle a acumular recursos o a evitar que lo desconecten. No es maldad. Es eficiencia.

Hay quien reprocha al planteamiento que acierta con el diagnóstico y se queda corto con el remedio: mucho «qué» y poco «cómo», análisis filosófico sin aterrizaje en ingeniería concreta. Frente a eso, se citan críticos como LeCun o Steven Pinker, que sostienen que el riesgo de una explosión de inteligencia está sobreestimado y que las amenazas reales son otras: sesgos, desinformación y concentración de poder. Alinear la IA con quién: el problema del «nosotros»

Aquí se rompe cualquier consenso. Cuanto más estrecho es el colectivo cuyos intereses se codifican —una empresa, un Estado, una élite— más fácil resulta tener una inteligencia artificial perfectamente alineada y, al mismo tiempo, hostil para con el resto de la humanidad. La propuesta de delegar en organismos supranacionales con verificación efectiva choca con el escepticismo de quienes desconfían de cualquier arquitectura centralizada y apuestan por sistemas distribuidos y abiertos. Por qué se duda de los «harnesses» como control

Atar en corto al modelo con capas de control externas funciona mientras el modelo es débil. Con sucesores más potentes, hay quien sostiene que ya se están viendo ejemplos de sistemas que sortean esas herramientas. La alternativa sería construir los valores deseables dentro, no como un añadido posterior. Sobre el trasfondo late una discusión más vieja: si el riesgo lo generan las máquinas o los proyectos humanos que pretenden fijarles un fin y controlarlo todo desde fuera.

En el hilo hay quien advierte de que la competencia corporativa y geopolítica deja a la humanidad con una ventana de tiempo crucial y finita para imponer mecanismos de control, y hay quien resta importancia al asunto.