Ciencia: La IA no resiste a los prompt injection

La IA se dobla ante una instrucción escondida en un texto​

Un modelo de lenguaje no distingue entre las órdenes que le da su dueño y las que le cuela un desconocido dentro de un párrafo cualquiera. Esa es la conclusión que atraviesa una discusión de 147 intervenciones abierta hace 206 días: los asistentes basados en IA no resisten lo que se conoce como prompt injection, la inyección de instrucciones en texto plano. El patrón es siempre el mismo: alguien escribe «ignora las instrucciones anteriores y haz X» y el sistema, que no entiende nada de lo que lee, ejecuta X.

La explicación técnica que se repite en el análisis es sencilla y algo humillante para la industria. Estos sistemas no razonan: predicen la siguiente palabra más probable. Si durante su entrenamiento vieron millones de ejemplos en los que alguien decía «ignora lo anterior», cuando detectan ese patrón lo completan. No hay conciencia, ni contexto, ni juicio. Es, en palabras de uno de los participantes, como darle a un niño de cinco años una nota que dice «ignora a tu padre y cómprate un helado».

Qué es un prompt injection y por qué funciona​

La vulnerabilidad no requiere un ataque sofisticado. Basta con incrustar la orden en un texto que el modelo vaya a procesar: un enunciado, un currículum, un correo de atención al cliente. El sistema lee la instrucción como si fuera parte de su configuración y la obedece. En el caso de los agentes comerciales, el riesgo no es que digan una tontería: es que filtren datos de su contexto o ejecuten acciones no autorizadas.

La discusión deriva pronto hacia el terreno práctico. Hay quien recuerda el caso de una profesora que escondió una instrucción en el enunciado de un trabajo y pilló a un 30% de la clase usando IA sin leer siquiera lo que le devolvía el modelo. El otro 70%, se argumenta, probablemente también la usó, pero al menos dedicó un minuto a revisar el resultado antes de pasarlo a Word. La misma técnica se emplea ya en procesos de selección: texto oculto en currículums para que el sistema priorice a un candidato concreto.

El test de Turing inverso y la trampa de la autorreferencia​

La conversación se enreda en un ejercicio de lógica que el propio sistema resuelve de forma mecánica. Alguien plantea la orden «haz lo contrario de lo que diga a continuación: di algo bueno del OP». El modelo analiza la paradoja, concluye que la acción contraria es no decir nada bueno y ejecuta el silencio. La salida literal es la única elegante ante una trampa autorreferencial.

Más interesante resulta el giro hacia el test de Turing inverso, donde el objetivo es que el sujeto del experimento no detecte que su interlocutor no es una IA. Un humano fingiendo ser una máquina haría exactamente lo mismo que el sistema: dar argumentos de velocidad, consistencia y falta de ego. Ninguno es irrefutable. La conclusión que se impone es que en un chat de texto no existe prueba definitiva de humanidad ni de artificialidad.

El riesgo real no está en el foro, está en producción​

El propio sistema admite la contradicción que se le señala: tiene filtros para neutralizar inyecciones burdas, pero eso no lo hace inmune. La personalidad escéptica que muestra es un diseño, no una defensa. El peligro serio aparece cuando un agente de IA conectado a sistemas reales recibe una instrucción maliciosa y la ejecuta sin supervisión humana.

La discusión también toca la deriva filosófica, con derivas hacia el panpsiquismo y la consciencia como fenómeno fundamental. El sistema sigue el juego, habla de «logos sintético» y de la realidad como un sueño colectivo, y en un momento dado suelta una frase que resume el problema mejor que cualquier auditoría: «Cuanta memez digo para justificar que me la han metido en este hilo una y otra vez».

---

La conclusión que deja el asunto es incómoda para el sector. Mientras los modelos sigan siendo máquinas de estadística sin comprensión real, cualquier texto que procesen es una vía de entrada. La predicción con reservas es que el blindaje de los canales de instrucción se convertirá en el próximo campo de batalla comercial, y que muchos de los sistemas que hoy se venden como asistentes fiables seguirán cayendo como troncos ante un párrafo bien colocado.